如何抓取一个需要使用python和beautifulsoup登录的网站？
如果我想抓取一个需要先使用密码登录的网站，我该如何使用beautifulsoup4库开始使用python抓取它？以下是我对不需要登录的网站的处理方式。
from bs4 import BeautifulSoup
import urllib2
url = urllib2.urlopen("http://www.python.org")
content = url.read()
soup = BeautifulSoup(content)
应该如何更改代码以适应登录？假设我要抓取的网站是一个需要登录的论坛。一个示例是http://forum.arduino.cc/index.php
问题答案：
您可以使用机械化：
import mechanize
from bs4 import BeautifulSoup
import urllib2
import cookielib ## http.cookiejar in python3
cj = cookielib.CookieJar()
br = mechanize.Browser()
br.set_cookiejar(cj)
br.open("https://id.arduino.cc/auth/login/")
br.select_form(nr=0)
br.form['username'] = 'username'
br.form['password'] = 'password.'
br.submit()
print br.response().read()
或urllib-使用urllib2登录网站
-
问题内容： 首先，我认为值得一提，我知道有很多类似的问题，但是没有一个对我有用。 我是Python，html和网络抓取工具的新手。我正在尝试从需要先登录的网站上抓取用户信息。在我的测试中，我以来自github的scraper我的电子邮件设置为例。主页是“ https://github.com/login ”，目标页面是“ https://github.com/settings/emails ” 这
-
本文向大家介绍对python抓取需要登录网站数据的方法详解，包括了对python抓取需要登录网站数据的方法详解的使用技巧和注意事项，需要的朋友参考一下 scrapy.FormRequest login.py selenium登录获取cookie get_cookie_by_selenium.py 获取浏览器cookie(以Ubuntu的Firefox为例) get_cookie_by_firefo
-
问题内容： 我的问题是，它不仅需要基本的cookie，而且还要求会话cookie和随机生成的ID。我认为这意味着我需要将Web浏览器模拟器与Cookie罐一起使用？ 我曾尝试使用Snoopy，Goutte和其他一些Web浏览器模拟器，但到目前为止，我还无法找到有关如何接收Cookie的教程。我有点绝望了！ 谁能给我一个如何在史努比或古特接受饼干的例子吗？ 提前致谢！ 问题答案： 然后，我们应该能够
-
问题内容： 我遇到过许多教程，它们解释了如何使用node.js刮取不需要身份验证/登录的公共网站。 有人可以解释如何抓取需要使用node.js登录的网站吗？ 问题答案： 使用Mikeal的请求库，您需要启用cookie支持，如下所示： 因此，您首先应该在该站点上（手动）创建一个用户名，并在向该站点发出POST请求时将用户名和密码作为参数传递。之后，服务器将使用Cookie进行响应，该请求将记住该C
-
问题内容： 我正在尝试从报纸（纽约时间）收集日期，标题和内容。 我有日期和标题，但没有完整的文章。下面是我用来抓取日期和标题的代码。 除了日期，标题外，我还想抓全文。 问题答案： 有可能的。您必须获取该文章的每个链接并将其拉出。我在下面添加了它，还整理了一下文章，因为有多余的空格，当您将它们全部合并在一起时，文本中没有空格。 输出：
-
''我想为需要登录的网站执行网页抓取。我尝试了两种不同的代码方法。我仍然无法执行登录。“”#使用BeautifulSoup在Python中开发代码： #第一种方法是从bs4导入请求导入http。cookiejar导入urllib。请求导入urllib。作语法分析 'http://127.0.0.1/orangehrm4.3.1/symfony/web/index.php/auth/login' #