scrapy+splash问题504 Gateway Time-out解决办法
本地用scrapy + splash调试的时候好好的，到了服务器上就奇慢无比，爆出来的错误是：
504 Gateway Time-out
这明显是在服务器上，splash渲染页面的时候超时了。
而且在服务器上用curl，或者用浏览器访问，都是非常快的，就是走splash慢了。
导致这个问题的主要原因是：splash在下载某些资源的时候，花的时间太长了，这些资源可能是某个链接，也可能是某张图片、某个js文件或者css文件。
解决办法就是：
- 增加splash请求的超时时间
- 禁止splash下载图片
- 限制资源下载的时间，超过就断开，一般这不会影响页面DOM的下载
具体代码如下：
def start_requests(self):
for url in self.start_urls:
yield SplashRequest(url,
self.parse,
args={'wait': 0.5, 'viewport': '1024x2480', 'timeout': 90, 'images': 0, 'resource_timeout': 10},
)
参考地址：
- 504 Gateway Time-out
- scrapy splash 504错误解决以及若干建议
-
本文向大家介绍Android Splash界面白屏、黑屏问题的解决方法，包括了Android Splash界面白屏、黑屏问题的解决方法的使用技巧和注意事项，需要的朋友参考一下 前言 我相信很多Android开发同学都遇到过这样的需求： 1.实现一个Splash界面,界面上有应用相关的背景图片和一个开始按钮. 2.点击按钮之后进入主页,以后用户再打开应用就不显示这个Splash界面了. 也相信
-
本文向大家介绍C# SESSION丢失问题的解决办法，包括了C# SESSION丢失问题的解决办法的使用技巧和注意事项，需要的朋友参考一下 我们在用C#开发程序的时候经常会遇到Session很不稳定，老是数据丢失。下面就是Session数据丢失的解决办法希望对您有好处。 1、在WEB.CONFIG文件中修改SESSION状态保存模式，如：<sessionState mode='StateServe
-
本文向大家介绍Mysql闪退问题图文解决办法，包括了Mysql闪退问题图文解决办法的使用技巧和注意事项，需要的朋友参考一下 之前在使用MySQL 5.5 Command Line Client时， 无论输入什么密码，都出现闪退的情况，后来查找资料才发现原来是之前使用360时，将mysql服务给关了，现将解决办法总结如下： 1.桌面找到计算机-->右键选择管理； 2.在管理页面点击服务，展开服务项；
-
本文向大家介绍Android getBackground().setAlpha遇到问题解决办法，包括了Android getBackground().setAlpha遇到问题解决办法的使用技巧和注意事项，需要的朋友参考一下 Android getBackground().setAlpha遇到问题解决办法 前言： 使用getBackground().setAlpha，导致其他布局背景透明度都改变的问
-
本文向大家介绍Nginx 499错误问题及解决办法，包括了Nginx 499错误问题及解决办法的使用技巧和注意事项，需要的朋友参考一下 Nginx简介 Nginx ("engine x") 是一个高性能的HTTP和反向代理服务器，也是一个IMAP/POP3/SMTP服务器。Nginx是由Igor Sysoev为俄罗斯访问量第二的Rambler.ru站点开发的，第一个公开版本0.1.0发布于2004
-
我试图用刮擦和飞溅来刮取衣服的图像和一些产品信息。我想得到的形象，只有产品（所以没有模型）。比如这张照片https://www2.hm.com/nl_nl/productpage.0220094001.html 然而，如果我试图让src在Scrapy shell中 回答xpath（'//figure[包含（@class，“secondary”）]///img//@src'）。摘录（） 返回一个空列