依赖安装 如何使用依赖安装 Docker 中预装编程语言 不足的地方 依赖安装 依赖安装是经常使用 Crawlab 经常需要的需求，目前的临时解决方案都是通过 hacking 的方式。而现在，我们的最新版本已经有比较成熟的解决方案，也就是在界面上操作安装依赖。 如何使用依赖安装 下面我们将介绍如何在 Crawlab 界面上使用依赖安装...

Git 配置 开启 Git 设置 配置 Git 自动同步 手动同步 重置 查看版本 切换版本 Git 配置 Git 是一个版本管理系统（VCS），对于需要代码回溯、分支管理、代码回滚等功能的企业来说，是个非常有用的工具。市面上的 Git 代码托管服务有很多，例如 GitHub、GitLab、Gitee 等等，当然您也可以自己搭建 Git...

Kafka 数据源集成 Kafka 数据源集成 ⚠️注意：该功能为 Crawlab 专业版 专属功能，如需体验此功能，请访问 演示网站 。 以下为操作步骤： 在 “设置” -> “数据源” 中创建新的数据源，选择 Kafka，输入目标数据库的 Host、Port、Topic、用户名、密码等信息； 在 “爬虫详情“ 页面，选择之前创建的数据...

Kafka 数据源集成 Kafka 数据源集成 ⚠️注意：该功能为 Crawlab 专业版 专属功能，如需体验此功能，请访问 演示网站 。 以下为操作步骤： 在 “设置” -> “数据源” 中创建新的数据源，选择 ElasticSearch，输入目标数据库的 Host、Port、Index、用户名、密码等信息； 在 “爬虫详情“ 页面，选...

爬虫部署 MongoDB GridFS 爬虫部署 之前已经在部署爬虫 中介绍了，爬虫是自动部署在工作节点上的。下面的示意图展示了Crawlab爬虫部署的架构。 如上图所示，整个爬虫自动部署的生命周期如下(源码在services/spider.go#InitSpiderService )： 主节点每5秒，会从爬虫的目录获取爬虫信息，然后更新...

Postgres 数据源集成 Postgres 数据源集成 ⚠️注意：该功能为 Crawlab 专业版 专属功能，如需体验此功能，请访问 演示网站 。 以下为操作步骤： 在目标数据库中，创建目标表，要保证其中包含 task_id 列，并为 varchar 类型； 在 “设置” -> “数据源” 中创建新的数据源，选择 Postgres...

消息通知 消息通知 消息通知可以帮助用户及时得到爬虫任务的运行状况，例如当爬虫运行结束时抓取了多少条数据、是否发生错误、运行时长等等。有了消息通知，可以保证您的爬虫任务时刻与您同步信息，让您了解抓取情况如何。 Crawlab 支持 3 种消息通知渠道： 邮件通知 钉钉机器人 企业微信机器人 Crawlab 支持 3 种消息通知触发...

CI/CD 持续集成/持续部署 CI/CD 持续集成/持续部署 在生产环境或大型项目中，我们少不了需要版本控制系统（VCS）和自动化部署（Automatic Deployment）的情况。对于企业来说，生产环境的爬虫开发一般是一个自动化过程。它会经历开发、部署、上线、验证这几个步骤。而这个流程一般是不断迭代（Iterative）的，需要不断更新和发布...

与通用 Python 爬虫集成 与通用 Python 爬虫集成 将下列代码加入到您爬虫中的结果保存部分。 # 引入保存结果方法 from crawlab import save_item # 这是一个结果，需要为 dict 类型 result = { 'name' : 'crawlab' } # 调用保存结果...

消息通知 消息通知 消息通知可以帮助用户及时得到爬虫任务的运行状况，例如当爬虫运行结束时抓取了多少条数据、是否发生错误、运行时长等等。有了消息通知，可以保证您的爬虫任务时刻与您同步信息，让您了解抓取情况如何。 Crawlab 支持 3 种消息通知渠道： 邮件通知 钉钉机器人 企业微信机器人 Crawlab 支持 3 种消息通知触发...