使用登录信息刮网站与python

Question

我正试图使用lxml从我订阅的新闻网站上刮取文章。

我在电脑上的每个浏览器上都登录了网站（这不重要吗？），但每当我试图从特定文章中获取任何文本时，请使用以下命令：

页面=请求。得到（”http://www.SomeWebsite.com/blah/blah/blah.html")

tree=html。fromstring（page.text）

文章=tree.xpath（'//div/p/text（）'）

我得到以下回应：

['您已经查看了您的免费文章。如果您想查看更多，请单击下面的按钮。']

有什么想法或建议来解决这个问题吗？

免责声明：我是Python和网络抓取的新手

编辑：下面发布的解决方案使用硒库

Answer 1

因此，基本上你想刮一个网站，并显示在你的网站，可能在一个更好的方式。

因此，我建议使用和服，它是一种网络抓取服务，它将为您提供api，以便以适当的模型获取数据。

看看吧，IT应该能完成你的工作。

如果没有，您可以用PHP（PHP简单HTML DOM解析器）或Javascript创建自己的scraper，Javascript中也有库。

很抱歉，对Python一无所知，但是使用Kimono的api，您也可以在Python中实现。

希望有帮助！

快乐编码！！！

Answer 2

因此，我试图抓取的网站拒绝了我将发送的所有post请求（我尝试了Python、R和PHP），我发现我只能用实际的浏览器加载新闻文章。

多亏了@duhaime，我用Selenium实现了这一点。这是我的密码：

import selenium
from selenium import webdriver

# I used Firefox, but you could use Chrome or IE
browser = webdriver.Firefox()

browser.get('http://www.SomeWebsite.com/login')
# I needed to stop the script here to actually login.
# I tried to use an existing profile w/ my username & password but the website
# rejected my profile info and locked me out of the account

browser.get('http://www.SomeWebsite.com/blah/blah/blah.html')

element = browser.find_element_by_id("TheElementYouNeed").text
# This downloads all the text from the article at this particle 'id' element

硒绑定文档：http://selenium-python.readthedocs.org/en/latest/installation.html#introduction