钉钉机器人 钉钉机器人 如果您想启用钉钉机器人消息通知，请确保您已经获取了机器人的 API Webhook 以及在 Crawlab 中配置好了 API Webhook。如何获取 API Webhook 请查看 官方文档 。官方文档可能有些过时了，如果有问题请加微信 tikazyq1 拉群寻求帮助。 ⚠️注意：钉钉机器人要求安全验证，建议在“自定义...

任务日志 日志搜索 异常检测 自动滚动 日志设置 原理 任务日志 Crawlab 会收集爬虫任务的运行日志，方便用户调试和监控爬虫程序。查看日志所在位置为 任务详情 > 日志 标签。 Crawlab 是通过 Stdout 标准输出流来捕获日志的，因此如果希望在 Crawlab 的界面中看到日志，就需要让日志内容输出到 Stdou...

权限管理 用户角色 公共爬虫 权限管理 Crawlab 从 v0.4.9 版本开始，加强了对权限管理的支持，让权限管理变得更加复杂和实用，为企业用户提供了权限管理的支持。 用户角色 Crawlab 的权限管理是简易版的 RBAC。简单来说，Crawlab 分为两个角色：管理用户 和 普通用户 。 管理用户 ：可以查看并操作所有用户的数...

SDK SDK Crawlab SDK 包括不同编程语言的 SDK，例如 Python , Node.js and Java。同时 Crawlab SDK 还包括一个用 Python 编写的 CLI 命令行工具 . SDK 目前支持的编程语言包括: Python 其他语言（例如 Node.js、Java）暂时还不支持，请等待开发组发布。

Web Hook Web Hook Web Hook 是一个 HTTP 请求，方便用户与其他系统进行集成。 Crawlab 也有 Web Hook 功能，目的是方便用户将 Crawlab 任务启动、完成、出错的信息发送到其他系统。 当用户启用 Web Hook 时，每当任务开始运行、任务结束、或任务出错时，Crawlab 会以 POST 的形式发...

SDK SDK Crawlab SDK 包括不同编程语言的 SDK，例如 Python , Node.js and Java。同时 Crawlab SDK 还包括一个用 Python 编写的 CLI 命令行工具 . SDK 目前支持的编程语言包括: Python Node.js 其他语言（例如 Golang、Java、C#）暂时还不支持...

权限管理 用户角色 公共爬虫 权限管理 Crawlab 从 v0.4.9 版本开始，加强了对权限管理的支持，让权限管理变得更加复杂和实用，为企业用户提供了权限管理的支持。 用户角色 Crawlab 的权限管理是简易版的 RBAC。简单来说，Crawlab 分为两个角色：管理用户 和 普通用户 。 管理用户 ：可以查看并操作所有用户的数...

与通用 Python 爬虫集成 与通用 Python 爬虫集成 将下列代码加入到您爬虫中的结果保存部分。 # 引入保存结果方法 from crawlab import save_item # 这是一个结果，需要为 dict 类型 result = { 'name' : 'crawlab' } # 调用保存结果...

任务日志 任务日志 Crawlab 会收集爬虫任务的运行日志，方便用户调试和监控爬虫程序。查看日志所在位置为 任务详情 > 日志 标签。 Crawlab 是通过 Stdout 标准输出流来捕获日志的，因此如果希望在 Crawlab 的界面中看到日志，就需要让日志内容输出到 Stdout 中。最简单的做法就是打印出来，例如 Python ...

其他框架和语言 Java 其他框架和语言 爬虫任务本质上是由一个shell命令来实现的。任务ID将以环境变量CRAWLAB_TASK_ID 的形式存在于爬虫任务运行的进程中，并以此来关联抓取数据。另外，CRAWLAB_COLLECTION 是Crawlab传过来的所存放collection的名称。 在爬虫程序中，需要将CRAWLAB_TASK_I...