节点通信 chan 和goroutine Redis PubSub 节点通信 ⚠️注意：基于 PubSub 的节点通信即将被改为更利于开发和维护的 RPC 通信。 这里的通信主要是指节点间的即时通信，即没有显著的延迟（爬虫部署 和任务执行 是通过轮训来完成的，不在此列）。 通信主要由Redis来完成。以下为节点通信原理示意图。 各个节...

环境配置是由Go第三方库viper来实现的。当程序启动时，viper会去读取yaml 配置文件，以及将环境变量与配置文件中的变量对应起来。 以下是yaml 配置文件，其中的变量可以被以CRAWLAB_ 为前缀的环境变量所覆盖。 api : address : "http://localhost:8000" # API 地址 mon...

Git 配置 开启 Git 设置 配置 Git 自动同步 手动同步 重置 查看版本 切换版本 Git 配置 Git 是一个版本管理系统（VCS），对于需要代码回溯、分支管理、代码回滚等功能的企业来说，是个非常有用的工具。市面上的 Git 代码托管服务有很多，例如 GitHub、GitLab、Gitee 等等，当然您也可以自己搭建 Git...

环境配置是由Go第三方库viper来实现的。当程序启动时，viper会去读取yaml 配置文件，以及将环境变量与配置文件中的变量对应起来。 以下是yaml 配置文件，其中的变量可以被以CRAWLAB_ 为前缀的环境变量所覆盖。 api : address : "http://localhost:8000" # API 地址 mon...

Scrapy 爬虫 开启 Scrapy 设置 爬虫 Items Pipelines Scrapy 爬虫 Scrapy 是一个非常受欢迎的支持异步抓取的高性能爬虫框架。在用户调研中，超过一半的爬虫开发工程师选择了 Python，而 Scrapy 正是一个 Python 爬虫框架，非常受爬虫工程师的欢迎。 Crawlab 开发了一套针对 Sc...

操作任务 停止任务 删除任务 操作任务 停止任务 当任务运行起来之后，我们因为某个原因可能需要终止任务，这时我们需要在Crawlab中停止该任务。 导航至需要停止的任务的任务详情 ，点击停止 按钮来终止任务。 删除任务 在任务列表 中，点击操作 列中的删除 按钮，确认删除该任务。

节点通信 chan 和goroutine Redis PubSub 节点通信 ⚠️注意：基于 PubSub 的节点通信即将被改为更利于开发和维护的 RPC 通信。 这里的通信主要是指节点间的即时通信，即没有显著的延迟（爬虫部署 和任务执行 是通过轮训来完成的，不在此列）。 通信主要由Redis来完成。以下为节点通信原理示意图。 各个节...

创建爬虫 创建爬虫 Crawlab允许用户创建两种爬虫（很可惜，由于没有时间开发，可配置爬虫还没有加入到Golang版本中）： 自定义爬虫 可配置爬虫

本小节将介绍以下多种安装Crawlab的方式: Docker（入门简单，推荐） Kubernetes（多机器部署，推荐） 直接部署（理解原理） 开发模式（开发调试） 多节点部署 专业版用户请查看 专业版部署指南 。

运行爬虫 手动触发 运行类型 参数 定时任务触发 运行爬虫 Crawlab有两种运行爬虫的方式： 手动触发 定时任务触发 手动触发 在 爬虫列表 中 操作 列点击 运行 按钮并确认，或者 在 爬虫详情 中 概览 标签下点击 运行 按钮并确认，或者 如果是 可配置爬虫 ，还可以在 配置 标签下点击 运行 按钮并确认...