开发PHPSpider爬虫的常用工具 谷歌Chrome浏览器 XPath Helper DHC REST 正则表达式测试工具 开发PHPSpider爬虫的常用工具 “工欲善其事，必先利其器”，开发PHPSpider爬虫，起码得有几件顺手的工具才行吧，接下来给你逐个介绍。 谷歌Chrome浏览器 说起谷歌的Chrome浏览器（以下简...

爬虫进阶开发——之回调函数 on_start($phpspider) on_status_code($status_code, $url, $content, $phpspider) is_anti_spider($url, $content, $phpspider) on_download_page($page, $phpspider) on_do...

如何进行运行前测试？ 内容提取测试 获取HTML内容 提取文章标题 提取文章作者 提取文章入库完整示例 运行PHPSpider 如何进行运行前测试？ 在运行爬虫框架前，我们可能需要做很多准备工作比如：登录验证测试、内容提取规则测试这个时候我们就可以把PHPSpider当做类库来使用，获取单页面HTML并测试提取规则 内容提取测...

第一个demo 安装 1、通过GitHub下载 2、通过composer下载 3、加上一段很讨厌的注释，别问我为什么，我就是这么讨厌 ^_^ 运行界面如下: 第一个demo 爬虫采用PHP编写, 下面以糗事百科为例, 来看一下我们的爬虫长什么样子: 安装 1、通过GitHub下载 require_once __DIR__ . ...

爬虫进阶开发——之内置方法 add_url($url, $options = array()) add_scan_url($url, $options = array()) request_url($url, $options = array()) 爬虫进阶开发——之内置方法 本节介绍爬虫的内置方法 add_url($url, $opt...

requests成员 input_encoding output_encoding requests方法 set_timeout($timeout) set_proxy($proxy) set_useragent($useragent) set_referer($referer) set_header($key, $value) set_c...

如何爬取列表页中的数据? 如何爬取列表页中的数据? 一般情况下, 我们只需爬取内容页的数据即可, 不过有时候列表网页中也会有需要爬取的数据, 那想要爬取这部分数据, $phpspider->add_url($url, $options)函数 举个栗子: 在爬取爱游网 的时候, 除了基本的内容页信息外, 还需要爬取浏览次数(或阅读量), 但是这...

configs详解——之成员 name log_show log_file log_type input_encoding output_encoding tasknum multiserver serverid save_running_state queue_config proxy interval timeout max_...

如何实现多任务爬虫？ 如何实现多任务爬虫？ 天下爬虫，唯快不破，配合多进程使用，phpspider可以快到你怕，下面我们来看看如何实现一个多任爬虫. 举个栗子：同时开启8个任务 $configs = array ( 'name' => '糗事百科测试样例' , 'tasknum' => 8 , ...

如何实现多服务器集群爬虫？ 如何实现多服务器集群爬虫？ 很多时候，单机器爬取的效率并不高，对于京东、淘宝这种动则上千万页面的网站，真的会爬到天荒地老，如何快速爬取成了当今爬虫最难的课题，要说破解防盗页面以及内容正则匹配提取，真的是特别的小儿科。现在PHPSpider框架自带了集群功能，可以让初学者很轻易的在多台机器上运行同一分代码实现多机器爬取。 ...