scrapy错误:yield scrapy.Request()不执行、失效、Filtered offsite request to错误

时间:2018-02-09 15:09:41作者:scrapy中文网阅读:

scrapy错误:yield scrapy.Request()不执行、失效、Filtered offsite request to错误。首先我们在Request()方法里面添加这么一个东东:

yield Request(url, callback=self.parse_item, dont_filter=True)

如果发现成功执行,那你就得检查一下你的:allowed_domains,看看前面是不是添加了:http://  ,如(错误写法):

 allowed_domains = ["http://www.baidu.com"]

正确写法:

allowed_domains = ["www.baidu.com"]

去掉之后,把dont_filter=True也去掉,也能正常执行,其实这里是allowed_domains和去重出现了冲突,scrapy allowed_domains判断不严谨产生的问题,所以书写allowed_domains的时候一定不要加:http://

有疑问,请scrapy中文网留言呦!