Scrapy 爬虫 开启 Scrapy 设置 爬虫 Items Pipelines Scrapy 爬虫 Scrapy 是一个非常受欢迎的支持异步抓取的高性能爬虫框架。在用户调研中，超过一半的爬虫开发工程师选择了 Python，而 Scrapy 正是一个 Python 爬虫框架，非常受爬虫工程师的欢迎。 Crawlab 开发了一套针对 Sc...

运行爬虫 手动触发 运行类型 参数 定时任务触发 运行爬虫 Crawlab有两种运行爬虫的方式： 手动触发 定时任务触发 手动触发 在 爬虫列表 中 操作 列点击 运行 按钮并确认，或者 在 爬虫详情 中 概览 标签下点击 运行 按钮并确认，或者 如果是 可配置爬虫 ，还可以在 配置 标签下点击 运行 按钮并确认...

原理 原理 本小节我们将介绍Crawlab的一些基础原理，主要包含以下内容。 整体架构 节点通信 节点监控 爬虫部署 任务执行 RPC

企业微信机器人 企业微信机器人 如果您想启用企业微信机器人消息通知，请确保您已经获取了机器人的 API Webhook 以及在 Crawlab 中配置好了 API Webhook。如何获取 API Webhook 请查看 官方文档 。官方文档可能有些过于技术，也可以参照这个 文档 来获取。如果还有问题请加微信 tikazyq1 拉群寻求帮助。 ...

添加节点 添加节点 这里的添加节点其实是指添加工作节点。Crawlab 暂时不支持在界面上完成节点的添加，您需要通过在工作节点所在的服务器上做相应的操作来添加工作节点。 具体的操作请查看 多节点部署章节 的工作节点部署 。

统计数据 统计数据 在运行了一段时间之后，爬虫会积累一些统计数据，例如运行成功率 、任务数 、运行时长 等指标。Crawlab将这些指标汇总并呈现给开发者。 要查看统计数据的话，只需要在爬虫详情 中，点击分析 标签，就可以看到爬虫的统计数据了。

原理 原理 本小节我们将介绍Crawlab的一些基础原理，主要包含以下内容。 整体架构 节点通信 节点监控 爬虫部署 任务执行 RPC

本小节将介绍 3 种安装Crawlab的方式: Docker（入门简单，推荐） Kubernetes（多机器部署，推荐） 直接部署（理解原理） 开发模式（开发调试） 多节点部署

创建爬虫 创建爬虫 Crawlab允许用户创建两种爬虫（很可惜，由于没有时间开发，可配置爬虫还没有加入到Golang版本中）： 自定义爬虫 可配置爬虫

API Token API Token API Token 是访问 Crawlab 后端的通行证。 添加并获取 API Token 非常简单：只需要在 “设置” 页面的 “API Token” 标签中，点击 “添加” 按钮并确认就可以了。 一个有效的 API Token 类似这样： eyJhbGciOiJIUzI1NiIsInR5cCI6Ikp...