打开被阻止的站点以进行抓取
我需要从一个网站上收集一些细节，问题是这个特定的网站在印度被禁止了，没有VPN我无法打开这个网站，但是VPN使废弃速度慢了很多，程序崩溃了很多，因为网站的响应时间增加了。还有其他方法可以访问网站吗？
共有2个答案
您可以使用抓取 API https://www.scraperapi.com/ 它为您提供动态 IP。它支持所有语言，您只需要在开头附加抓取器API的URL并将URL作为参数。
试试这种方法，这是一个私有DNS，可让您访问被阻止的网站。它比VPN更快更好。
仅适用于 Chrome：
- 转到 Chrome 设置。
- 单击“安全性”。
- 在安全 DNS 上，选择 Cloudflare （1.1.1.1）。。
-
问题内容： 我正在遵循本指南http://doc.scrapy.org/en/0.16/topics/practices.html#run-scrapy-from- a-script 从我的脚本中运行scrapy。这是我脚本的一部分： 它的工作原理应该是：访问页面，抓取所需信息，并将输出json存储在我告诉它的位置（通过FEED_URI）。但是，当蜘蛛完成他的工作（我可以在输出json中通过数字看
-
在少数网站中，很少有脚本可能需要一些时间来运行，这会导致网站刮取工作效率低下，或者从刮取器返回的html不完整。如何在网站脚本完全运行后刮取网站。 我在java中使用URL连接，当我从中读取文本时，我得到的HTML是预成熟的（即，我有一个脚本，它有点长，需要一些时间来加载，它会改变文本的颜色，而这不会反映在使用URL连接读取的文本中。
-
本文向大家介绍JS打开新窗口防止被浏览器阻止的方法，包括了JS打开新窗口防止被浏览器阻止的方法的使用技巧和注意事项，需要的朋友参考一下 本文实例讲述了JS打开新窗口防止被浏览器阻止的方法。分享给大家供大家参考。具体分析如下： 用传统的window.open()方式打开新窗口，会被浏览器阻止，那么，我们如何才能让JS打开新窗口不被浏览器阻止呢？其实办法还是有的，这里我们就来分析一下如何解决这个问题
-
我实际上正在尝试从不同的网站中删除一些汽车数据，我一直在chromebrowser中使用selenium，但一些网站实际上通过验证码验证（例如:https://www.leboncoin.fr/)，阻止了selenium，而这只需要一到两个请求。我尝试在chromebrowser中更改$_cdc，但这没有解决问题，我一直在chromebrowser中使用这些选项 我试图刮的网站使用DataDome
-
我有一个小的vertx应用程序。一个超文本传输协议垂直获取一个请求，并通过带有请求-响应模式的eventbus发送它。所以类似于： 在DB Vertical中，我使用消费者获取一条消息，发送到DB，进行一些更改并发送回HTTP verticle。我的问题是，我有一个必须进行大量检查的删除操作，所以这个过程可能需要10秒钟。此时HTTP verticle仍然可以获得一些新请求，但DB consume
-
我需要从网站上删除一些细节，问题是该特定网站在印度被禁止，没有VPN我无法打开该网站，但VPN使删除速度变慢，程序崩溃很多，因为网站的响应时间增加。我还有其他方法可以访问该网站吗？