与通用 Node.js 爬虫集成 与通用 Node.js 爬虫集成 将下列代码加入到您爬虫中的结果保存部分。 // 引入 SDK const crawlab = require ( 'crawlab-sdk' ); // 这是一个结果，需要为 object 类型 const result = { name : 'c...

6.7 分布式爬虫 6.7.1 基于colly的单机爬虫 6.7.2 分布式爬虫 6.7.2.1 nats简介 基本消息生产 基本消息消费 6.7.3 结合nats和colly的消息生产 6.7.4 结合colly的消息消费 6.7 分布式爬虫 互联网时代的信息爆炸是很多人倍感头痛的问题，应接不暇的新闻、信息、视频，无孔不入地侵占着我们...

第2天-爬虫入门之基础篇 XML 示例 HTML DOM 示例 第2天-爬虫入门之基础篇 数据格式 描述 设计目标 XML Extensible Markup Language （可扩展标记语言） 被设计为传输和存储数据，其焦点是数据的内容 HTML HyperText Markup Language（超文本标记语言） 显示数据以及如何更好显示数...

为什么要学习爬虫 学习目的以及需求 实现手段 爬虫应用场景（利用爬虫能做什么？） 总结 为什么要学习爬虫 学习目的以及需求 需求来自于：抓取的某个网站或者某个应用的内容，提取有用的价值 实现手段 模拟用户在浏览器或者应用( app )上的操作，实现自动化的程序 爬虫应用场景（利用爬虫能做什么？） 大家最熟...

第1天-爬虫入门初级篇 IDE 选择 装python2还是python3 Windows 平台 Linux Ubuntu 平台 第1天-爬虫入门初级篇 IDE 选择 PyCharm Sublime Text 2 VS2015 装python2还是python3 python目前有2个版本，python2和python3. 为啥...

如何实现多任务爬虫？ 如何实现多任务爬虫？ 天下爬虫，唯快不破，配合多进程使用，phpspider可以快到你怕，下面我们来看看如何实现一个多任爬虫. 举个栗子：同时开启8个任务 $configs = array ( 'name' => '糗事百科测试样例' , 'tasknum' => 8 , ...

如何实现多服务器集群爬虫？ 如何实现多服务器集群爬虫？ 很多时候，单机器爬取的效率并不高，对于京东、淘宝这种动则上千万页面的网站，真的会爬到天荒地老，如何快速爬取成了当今爬虫最难的课题，要说破解防盗页面以及内容正则匹配提取，真的是特别的小儿科。现在PHPSpider框架自带了集群功能，可以让初学者很轻易的在多台机器上运行同一分代码实现多机器爬取。 ...

HTML 处理 处理 HTML 和 XML 的库。 BeautifulSoup：以 Python 风格的方式来对 HTML 或 XML 进行迭代，搜索和修改。官网 bleach：一个基于白名单的 HTML 清理和文本链接库。官网 cssutils：一个 Python 的 CSS 库。官网 html5lib：一个兼容标准的 HTML 文档和片段解...

第十八章 数据采集与爬虫 一 数据采集概念 1 Apache Flume 2、Fluentd 3 Logstash 4 数据采集总结 二 爬虫技术方案选择 1 分布式爬虫 2 JAVA单机爬虫 3 非JAVA单机爬虫 三 基于Python的爬虫库 1 通用 2 异步 3 功能齐全的爬虫 4 其他 5 HTML/XML解析器 6 清...