Spider Middleware Activating a spider middleware Writing your own spider middleware Built-in spider middleware reference DepthMiddleware HttpErrorMiddleware HttpErrorMiddleware ...

数据收集(Stats Collection) 常见数据收集器使用方法 可用的数据收集器 MemoryStatsCollector DummyStatsCollector 数据收集(Stats Collection) Scrapy提供了方便的收集数据的机制。数据以key/value方式存储，值大多是计数值。该机制叫做数据收集器(Stats Co...

Scheduler Overriding the default scheduler Minimal scheduler interface Default Scrapy scheduler Scheduler The scheduler component receives requests from the engine and store...

长任务爬虫 长任务爬虫 长任务爬虫（Long-Task Spiders）是一种特殊的 自定义爬虫 ，这种爬虫跑任务不会停止，一般会一直获取消息队列中的 URL 并抓取，只有当用户主动停止或遇到错误时才会停止运行。长任务爬虫通常是分布式运行的，为的是有效的利用网络带宽资源和其他计算资源，将分布式节点的效率利用到极致。典型的例子就是基于 Scrapy 的...

长任务爬虫 长任务爬虫 长任务爬虫（Long-Task Spiders）是一种特殊的 自定义爬虫 ，这种爬虫跑任务不会停止，一般会一直获取消息队列中的 URL 并抓取，只有当用户主动停止或遇到错误时才会停止运行。长任务爬虫通常是分布式运行的，为的是有效的利用网络带宽资源和其他计算资源，将分布式节点的效率利用到极致。典型的例子就是基于 Scrapy 的...

Item Pipeline 编写你自己的item pipeline Item pipeline 样例 验证价格，同时丢弃没有价格的item 将item写入JSON文件 Write items to MongoDB 去重 启用一个Item Pipeline组件 Item Pipeline 当Item在Spider中被收集之后，它将会被传递...

选择器(Selectors) 使用选择器(selectors) 构造选择器(selectors) 使用选择器(selectors) 嵌套选择器(selectors) 结合正则表达式使用选择器(selectors) 使用相对XPaths 使用EXSLT扩展 正则表达式 集合操作 Some XPath tips Using text nodes ...

Spider Middleware Activating a spider middleware Writing your own spider middleware Built-in spider middleware reference DepthMiddleware HttpErrorMiddleware HttpErrorMiddleware ...

Spider Middleware Activating a spider middleware Writing your own spider middleware Built-in spider middleware reference DepthMiddleware HttpErrorMiddleware HttpErrorMiddleware ...

使用Firebug进行爬取 介绍 获取到跟进(follow)的链接 提取数据 使用Firebug进行爬取 注解 本教程所使用的样例站Google Directory已经 被Google关闭 了。不过教程中的概念任然适用。如果您打算使用一个新的网站来更新本教程，您的贡献是再欢迎不过了。详细信息请参考 Contributing to Scrap...