# Obey robots.txt rules##默认遵循robots协议的，默认去读取每个网站上的robots协议
ROBOTSTXT_OBEY = False
4-2 setting中一定要将ROBOTSTXT_OBEY = False的注释去掉
东方宜
转载于:https://www.cnblogs.com/xudj/p/10163723.html
类似资料：