如何停止元刷新重定向？

Question

[scrapy] DEBUG: Redirecting (meta refresh) to <GET https://www.propertyguru.com.my/distil_r_captcha.html?requestId=9f8ba25c-3673-40d3-bfe2-6e01460be915&httpReferrer=%2Fproperty-for-rent%2F1> from <GET https://www.propertyguru.com.my/property-for-rent/1>

class MySpider(CrawlSpider):

    name = 'myspider'

    start_urls = [
        'https://www.propertyguru.com.my/property-for-rent/1',
    ]

    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36'
    }
    meta = {
        'dont_redirect': True
    }


    def parse(self, response):    
        items = response.css('div.header-container h3.ellipsis a.nav-link::attr(href)').getall()

        if items:
            for item in items:
                if item.startswith('/property-listing/'):
                    yield scrapy.Request(
                        url='https://www.propertyguru.com.my{}'.format(item),
                        method='GET',
                        headers=self.headers,
                        meta=self.meta,
                        callback=self.parse_items
                    )

    def parse_items(self, response):
        from scrapy.shell import inspect_response
        inspect_response(response, self)

更新：我试过那些设置，但它们也不起作用。

custom_settings = {
    'DOWNLOAD_DELAY': 5,
    'DOWNLOAD_TIMEOUT': 360,
    'CONCURRENT_REQUESTS_PER_DOMAIN': 1,
    'CONCURRENT_ITEMS': 1,
    'REDIRECT_MAX_METAREFRESH_DELAY': 200,
    'REDIRECT_MAX_TIMES': 40,
}

Answer 1

本网站受Distil网络保护。他们正在使用JavaScript来确定你是一个机器人。他们是允许一些请求通过还是根本不允许？你也许能用硒取得一些成功，但根据我的经验，它们最终会流行起来的。该解决方案涉及随机化整个浏览器指纹从屏幕大小和其他一切你能想到的。如果其他人有更多的信息，我会很有兴趣听到它。我不确定对这种东西是否有兴趣。

如果您加载了一个代理，比如charles proxy或其他什么，这样您就可以看到正在进行的一切，那么您就可以查看它们在您身上运行的所有JS。

如果他们让0个请求通过，我会建议使用硒看看你的运气。

#settings.py

HTTP_RETRY_CODES = [404, 303, 304, ???]
RETRY_TIMES = 20

DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware': None,
}

meta={'dont_redirect': True}

另外，值得注意的是，您可以在中间件的process_response方法下捕获302并让它抛出另一个请求。如果您有一个好的UA列表和IP源，那么这与HTTP重试代码相结合是一种很好的暴力方式。

我建议您试试https://scrapinghub.com/crawlera。他们最近提高了价格，但他们提供良好的IP和检测禁令。如果你需要得到某些信息，这真的是值得的。他们的网络是聪明的，不像大多数IP循环网络便宜得多。他们正在进行试用，这样您就可以验证它是否工作，并且它是由scrapy的开发人员制作的，所以请遵循文档以便于安装

pip install scrapy_crawlera

然后你可以重试所有他们，直到你的旋转器给你一个好的IP，我怀疑你会看到，在短时间内，他们都将被禁止。