如何使用Got-in节点重定向最终url。js

Question

我需要访问十万个或更多的url，并检查它们是否重定向到不同的最终url。

我正在使用https://www.scrapeulous.com这样做。但我需要编写一个简单的自定义函数来实现它。他使用了got图书馆。其中的文档在以下重定向选项中指出：

跟随重定向

类型：布尔值默认值：true

定义重定向响应是否应自动执行。

注意，如果服务器响应任何请求类型（POST、DELETE等）发送303，则Got将通过GET自动请求位置标头中指向的资源。这符合规范。

以及回应的注意事项。网址：

网址

类型：字符串

请求URL或重定向后的最终URL。

我尝试了以下代码，但没有用：

class Get extends HttpWorker {
  async crawl(url) {
    let result = await this.Got(encodeURI(url),
    {followRedirect: true});
    return result.url;
  }
}

我从未编写过任何javascript或节点。所以要温柔。让我们使用debianit。com，它重定向到experait。com作为我的例子。旁注：我还希望能够提供代码域而不是URL，以确定站点默认为http://还是https://。但对我来说，一次一个解决方案就足够了：）。

我还尝试返回整个结果对象并查看它，但没有发现任何有用的内容。

Answer 1

编辑：这一点要更清楚。

首先，有三种类型的重定向（根据这个答案）：

1. HTTP-作为响应头中的信息（代码为301、302、3xx）
2. HTML-作为HTML中的标记（wikipedia:Meta refresh）
3. JavaScript-作为类似于代码的窗口。位置=新的url

关于示例域，debianit。通用域名格式。它重定向到experait。com通过javascript。特别是这个脚本：

  <script>
   var url= "https://www.experaIT.com"; 
    window.location = url;
  </script>

得到的留档状态，它将遵循重定向：

如果服务器发送303以响应任何请求类型

换句话说，它似乎没有得到将遵循meta或javascript重定向。尽管您可以解析生成的html并从javascriptwindow.location或meta标签中提取url。

显然，使用BrowserWorker类而不是HttpWorker类也可以。这是一个很难用的代码。

class Render extends BrowserWorker {
  async crawl(url) {
    await this.page.goto(url, {
      waitUntil: 'networkidle2', // two open connections is okay
    });

    return await this.page.url();
  }
}

至于我的旁白，关于如何找出附加到域名的正确协议。根据这个答案，chromium没有与chrome相同的omnibox功能，但是，根据关于selenium python浏览器的这个答案，您可以通过添加http://来解决这个问题，并让chromium在页面是否重定向到https://时进行排序。