如何实现多任务爬虫?

天下爬虫,唯快不破,配合多进程使用,phpspider可以快到你怕,下面我们来看看如何实现一个多任爬虫.

举个栗子:同时开启8个任务

  1. $configs = array(
  2. 'name' => '糗事百科测试样例',
  3. 'tasknum' => 8, // 爬虫任务数
  4. ...
  5. );
  6. $spider = new phpspider($configs);
  7. $spider->start();

运行界面:如何实现多任务爬虫?  - 图1