1.2 编译运行 1.2.1 创建项目 1.2.2 编译运行 1.2 编译运行 1.2.1 创建项目 package main import ( "github.com/henrylee2cn/pholcus/exec" // "github.com/henrylee2cn/pholcus/logs"...

1 安装 1.1 下载源码 1 安装 1.1 下载源码 下载第三方依赖包源码，放至 GOPATH/src 目录下 [点击下载 ZIP] 下载保持更新状态的源码，命令行如下 go get github . com / henrylee2cn / pholcus 备注：Pholcus公开维护的spider规则库地址 https:...

3 采集规则 链接 3 采集规则 采集规则是Pholcus最重要的组成部分之一，它采用高度灵活的结构化规则实现。在采集规则里，你可以指定规则名、规则描述、采集网页、采集页数、采集关键词、采集内容字段等。目前在 https://github.com/pholcus/spider_lib 由所有用户共同维护着一个公共规则库，欢迎大家贡献一份力量！ ...

Pholcus 使用手册 框架特点 贡献者名单 第三方依赖包 开源协议 Pholcus 使用手册 Pholcus（幽灵蛛）是一款纯Go语言编写的高并发、分布式、重量级爬虫软件，支持单机、服务端、客户端三种运行模式，拥有Web、GUI、命令行三种操作界面；规则简单灵活、批量任务并发、输出方式丰富（mysql、mongodb、csv、exce...

3.4 运行规则分析 3.4 运行规则分析 本节会给大家提供一个参考实例，用于告诉大家如何根据具体的业务实现自己的爬虫框架。 我们以公共规则中“阿里巴巴产品搜索”为例（这些公共的规则都在github.com/pholcus下面包含，大家可以参考下）。 package spider_lib // 基础包 import ( ...

1. github库地址 1.1.1. 分享好的github库地址 插件 项目 1. github库地址 1.1.1. 分享好的github库地址 插件 发送邮件库 https://github.com/go-gomail/gomail 读写Microsoft Excel https://github.com/360EntSecG...

3.2 Request 结构体 3.2.1 Request定义 3.2.2 Request提供的接口 3.2.3 Request相关说明 3.2 Request 结构体 Request 结构体代表等待被抓取的粒度精确到一个的Url的结构。 3.2.1 Request定义 type Request struct { ...