如何防止死循环

在Scrapy的默认配置中,是根据url进行去重的。这个对付一般网站是够的。但是有一些网站的SEO做的很变态:为了让爬虫多抓,会根据request,动态的生成一些链接,导致爬虫 在网站上抓取大量的随机页面,甚至是死循环。。

为了解决这个问题,有2个方案:

(1) 在setting.py中,设定爬虫的嵌套次数上限(全局设定,实际是通过DepthMiddleware实现的):

  1. DEPTH_LIMIT = 20

(2) 在parse中通过读取response来自行判断(spider级别设定) :

  1. def parse(self, response):
  2. if response.meta['depth'] > 100:
  3. print 'Loop?'