如何禁用scrapy中的缓存？
我正在尝试在特定网站上抓取网页。该网页因我发送的不同Cookie的设置而有所不同scrapy.Request()。
如果我一一请求到网页，它给我正确的结果，但是当我在for循环中发送这些cookie时，它给了我相同的结果。我认为scrapy正在为我创建缓存，并在第二个请求中从缓存中获取响应。这是我的代码：
def start_requests(self):
meta = {'REDIRECT_ENABLED':True}
productUrl = "http://xyz"
cookies = [{'name': '', 'value': '=='},{'name': '', 'value': '=='}]
for cook in cookies:
header = {"User-Agent":"Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.85 Safari/537.36"}
productResponse = scrapy.Request(productUrl,callback=self.parseResponse,method='GET',meta=meta,body=str(),cookies=[cook],encoding='utf-8',priority=0,dont_filter=True)
yield productResponse
def parseResponse(self,response):
selector = Selector(response)
print selector.xpath("xpaths here").extract()
yield None
我希望print语句应为两个请求提供不同的结果。
如果不清楚，请在评论中提及。
问题答案：
-
问题内容： 当我使用Alamofire两次发送GET请求时，我得到的响应是相同的，但是我期望得到不同的响应。我想知道这是否是由于缓存造成的，如果是这样，我想知道如何禁用它。 问题答案： 迅捷3，alamofire 4 我的解决方案是： 为Alamofire创建扩展： 并使用它：
-
问题内容： 使用时出现缓存问题。 我用来将数据插入MySQL数据库。然后，我有另一个应用程序处理此数据，并直接对其进行更新。 但是总是返回旧数据而不是更新数据。我认为已缓存了我的请求……所以……我应如何禁用它？ 问题答案： 人们通常认为，除了在事务本地使用的常规SQLAlchemy身份映射之外，还存在“缓存”的作用，这是因为他们正在观察事务隔离的影响。默认情况下，SQLAlchemy的会话在事务模
-
问题内容： 我正在尝试编写一个单元测试类，该类必须使用相同的查询以相同的测试方法两次从数据库中获取结果。但是，由于第二次启用了Hibernate缓存，因此它实际上并没有访问数据库，只是从缓存中获取结果。 有人可以回答如何禁用中的缓存。 但是它没有用。 问题答案： 有人可以回答如何在persistence.xml中禁用缓存。 默认情况下，第二级缓存和查询缓存是禁用的（除非您显式缓存它们，否则不会缓存
-
问题内容： 在我的Web应用程序中，当用户注销时，他应该无权访问他登录时先前查看过的页面。但是，由于浏览器缓存，他可以在单击后退按钮时查看这些页面。 我定义了一个拦截器来处理此问题： 并在： 发生的事情是，添加此代码后，运行应用程序时出现404错误。 我尝试在页面中添加响应标题： 但是必须将它一个接一个地添加到所有页面上是很麻烦的。另外，用户始终可以重新提交表单并再次访问那些页面，而无需实际输入其
-
问题内容： 在我的Django应用程序中，我反复在数据库上运行相同的查询（例如，每10秒运行一次）。然后，我在收到的查询集上创建一个MD5和，并将其与上一次运行中创建的MD5和进行比较。如果两者相等，则数据没有更改，并且不需要更新网页。 在执行此操作时，数据库中的数据可能会更改。 但是，显然由于查询缓存，该查询返回相同的查询集。 如何禁用查询缓存并在数据库上显式执行查询？ 问题答案： 我遇到了我认
-
在定义缓存时，不管提供程序是什么（对于intance Caffeine来说），我们通常将它们定义为bean，然后通过Spring Boot的自动配置将bean解析为。例如 不幸的是，这在Redis中是不可能的，因为它的实现不是公共的。 我们喜欢做的另一件事是定义bean，例如使用咖啡因 因此，目前唯一的解决方案是创建我们自己的RedisCacheManager，但这会阻止的使用。 所以这是我的问题