如何使用node.js抓取需要身份验证的网站？
我遇到过许多教程，它们解释了如何使用node.js刮取不需要身份验证/登录的公共网站。
有人可以解释如何抓取需要使用node.js登录的网站吗？
问题答案：
使用Mikeal的请求库，您需要启用cookie支持，如下所示：
var request = request.defaults({jar: true})
因此，您首先应该在该站点上（手动）创建一个用户名，并在向该站点发出POST请求时将用户名和密码作为参数传递。之后，服务器将使用Cookie进行响应，该请求将记住该Cookie，因此您将能够访问要求您登录到该站点的页面。
注意：如果在登录页面上使用了诸如reCaptcha之类的方法，则此方法无效。
-
问题内容： 我收到错误 NOAUTH必需的身份验证 。我的laravel版本是5.3，我正在使用predis 1.1.1连接redis。 在etc / redis / redis.conf中，我有： 在.env文件中 在config / database.php中，我有： 我通过以下方式连接redis： 并像这样使用它： 因此，当我注释掉并将密码发送为null时，它可以工作，但在密码到位后却无法工
-
我们正在开发一个iOS应用程序，它使用谷歌来验证firebase。根据https://www . Firebase . com/docs/IOs/guide/user-auth . html # section-log in Firebase说，auth令牌每24小时过期一次。我们想知道以下场景是否是我们需要考虑的: 用户通过Google和Firebase进行身份验证 我们的应用程序将获得一个24
-
问题内容： 我必须在公司的Intranet上刮一个非常非常简单的页面，以使我们的内部流程之一自动化（使函数的输出成功与否）。 我发现以下示例： 来自http://blog.sitescraper.net/2010/06/scraping-javascript-webpages-in- python.html ，它几乎是完美的。我只需要能够提供身份验证即可查看页面。 我一直在浏览PyQt4的文档，但
-
问题内容： 是否存在node.js的现有用户身份验证库？特别是，我正在寻找可以对用户进行密码身份验证的东西（使用自定义后端身份验证数据库），并将该用户与会话相关联。 在编写身份验证库之前，我认为我会看看人们是否知道现有的库。通过Google搜索找不到任何明显的内容。 -Shreyas 问题答案： 看起来连接中间件的connect-auth插件正是我所需要的：http : //wiki.github
-
问题内容： 我已经通过使用nodejs + express制作了简单的nodejs应用程序。现在，我要进行用户身份验证。我想通过使用猫鼬来实现会话处理。你能举个例子吗？ 问题答案： 一些有用的链接： 如何在node.js中实现登录身份验证 在node.js和mongodb中创建注册和登录表单 另外，会话管理不是由Mongoose完成，而是由connect-mongodb或connect- redi
-
问题内容： 首先，我认为值得一提，我知道有很多类似的问题，但是没有一个对我有用。 我是Python，html和网络抓取工具的新手。我正在尝试从需要先登录的网站上抓取用户信息。在我的测试中，我以来自github的scraper我的电子邮件设置为例。主页是“ https://github.com/login ”，目标页面是“ https://github.com/settings/emails ” 这