例子 例子 学习的最好方法就是参考例子，Scrapy也不例外。Scrapy提供了一个叫做 dirbot 的样例项目供您把玩学习。其包含了在教程中介绍的dmoz spider。 您可以通过 https://github.com/scrapy/dirbot 找到 dirbot 。项目中包含了README文件，对项目内容进行了详细的介绍。 如果您...

Chapter 18. Boost.Intrusive Chapter 18. Boost.Intrusive Boost.Intrusive is a library especially suited for use in high performance programs. The library provides tools to crea...

Feed exports 序列化方式(Serialization formats) JSON JSON lines CSV XML Pickle Marshal 存储(Storages) 存储URI参数 存储端(Storage backends) 本地文件系统 FTP S3 标准输出 设定(Settings) FEED_URI ...

Select​ Selecting objects​ Selecting objects​ Shapes​ Nested shapes​ Filtering​ Filtering by ID​ Nested filters​ Ordering​ Pagination​ Computed fields​ Backlinks​ Subquer...

核心API Crawler API 设置(Settings) API SpiderLoader API 信号(Signals) API 状态收集器(Stats Collector) API 核心API 0.15 新版功能. 该节文档讲述Scrapy核心API，目标用户是开发Scrapy扩展(extensions)和中间件(middlewa...

Telnet终端(Telnet Console) 如何访问telnet终端 telnet终端中可用的变量 Telnet console usage examples 查看引擎状态 暂停，恢复和停止Scrapy引擎 Telnet终端信号 Telnet设定 TELNETCONSOLE_PORT TELNETCONSOLE_HOST Te...

爬虫进阶开发——之内置方法 add_url($url, $options = array()) add_scan_url($url, $options = array()) request_url($url, $options = array()) 爬虫进阶开发——之内置方法 本节介绍爬虫的内置方法 add_url($url, $opt...

美团App热门商圈团购采集(1) 在tutorial项目下 美团App热门商圈团购采集(1) 环境： 针对美团版本5.4 在tutorial项目下 新建一个spider scrapy genspider - t basic Meituan_City meituan . com 编辑items.py class M...

Architecture overview Downloader Middleware Spider Middleware Extensions Core API Signals Item Exporters

Debugging memory leaks Common causes of memory leaks Too Many Requests? Debugging memory leaks with trackref Which objects are tracked? A real example Too many spiders? scrap...