DEBUG: Forbidden by robots.txt

有些网站跟目录中有robots.txt,用于申明不让爬虫爬取。所以Scrapy默认就是遵守协议,不爬取这些网站。

为了能继续爬取,则需要去设置:

ROBOTSTXT_OBEY = False

即可。

results matching ""

    No results matching ""