运行任务 运行任务 运行任务的详细情况请参考 运行爬虫 。

多节点部署 1. 准备工作：部署 MongoDB 和 Redis 2. 部署主节点 3. 部署工作节点 4. 节点心跳信息 5. 其他问题 多节点部署 很多企业或个人爬虫管理用户都有在多个节点上跑爬虫任务的需求，也就是在分布式节点上管理爬虫。例如一个企业有多台服务器，需要在这些服务器集群上运行、监控、操作他们的爬虫，并集中统一查看和管理，这...

9.2 爬取汽车之家 二手车产品库 目标 开始 获取城市 获取分页 获取二手车数据 数据 参考 爬虫项目地址 9.2 爬取汽车之家 二手车产品库 项目地址：https://github.com/go-crawler/car-prices 目标 最近经常有人在耳边提起汽车之家，也好奇二手车在国内的价格是怎么样的，因此本次的目标站...

sitemap 配置 如何调试 微信现已开放小程序内搜索，开发者可以通过 sitemap.json 配置，或者管理后台页面收录开关来配置其小程序页面是否允许微信索引。当开发者允许微信索引时，微信会通过爬虫的形式，为小程序的页面内容建立索引。当用户的搜索词条触发该索引时，小程序的页面将可能展示在搜索结果中。 爬虫访问小程序内页面时，会携带特定的 use...

子流程 子流程 选择爬虫名称即可 此功能暂时比较简单,后续会加传入参数设置

任务日志 日志搜索 异常检测 自动滚动 日志设置 原理 任务日志 Crawlab 会收集爬虫任务的运行日志，方便用户调试和监控爬虫程序。查看日志所在位置为 任务详情 > 日志 标签。 Crawlab 是通过 Stdout 标准输出流来捕获日志的，因此如果希望在 Crawlab 的界面中看到日志，就需要让日志内容输出到 Stdou...

1. 并发编程 1. 并发编程 并发介绍 goroutine runtime包 channel Goroutine池 定时器 select 并发安全和锁 Sync 原子操作(atomic包) GMP 原理与调度 爬虫小案例

以下文档是crawlab作者未编排到目录中的文档，现归档到这里。 修改节点信息 网站 创建爬虫 统计数据汇总 下载结果 查看任务

节点 节点 节点可以看作是一个服务器。节点负责执行爬虫任何、提供API等功能。节点之间是可以相互通信的，节点通信主要通过Redis。 查看节点列表 安装节点依赖 查看节点拓扑图