专业版部署 1. 获取阿里云 RAM 账号 2. 部署并启动专业版 3. 添加工作节点 4. docker-compose.yml 配置 主节点 docker-compose.yml（附带 MongoDB 和 Redis） 主节点 docker-compose.yml（独立部署的 MongoDB 和 Redis） 工作节点 docker-compo...

开发模式 1. 拉取代码 2. 安装 Node 环境 3. 安装前后端 4. MongoDB & Redis 5. 配置 6. 启动前端 7. 启动后端 8. 开发 Crawlab # 开发模式 开发模式可以让开发者很快的预览源码的输出效果，即时更改代码就可以看到修改后的程序运行情况。开发模式是针对希望在 Crawlab 的源码基础...

MongoDB 数据源集成 MongoDB 数据源集成 ⚠️注意：该功能为 Crawlab 专业版 专属功能，如需体验此功能，请访问 演示网站 。 其实，Crawlab 社区版默认是能够集成 MongoDB 作为结果数据库的。但是，它有个限制：必须要求结果数据为同一个数据库。因此，为了解决这个问题，我们加入了数据源支持。您可以将结果储存在不同的...

与Scrapy集成 集成 Scrapy 与Scrapy集成 Scrapy 是一个非常强大的爬虫框架。如果您对 Scrapy 不了解，请查看 官网介绍 。跟 Crawlab 集成之后，可以在界面上看到您的爬虫任务抓取到的数据。 Crawlab SDK 提供了一些 helper 方法来让您的爬虫更好的集成到 Crawlab 中，例如保存结果数据到...

与Scrapy集成 集成 Scrapy 与Scrapy集成 Scrapy 是一个非常强大的爬虫框架。如果您对 Scrapy 不了解，请查看 官网介绍 。跟 Crawlab 集成之后，可以在界面上看到您的爬虫任务抓取到的数据。 Crawlab SDK 提供了一些 helper 方法来让您的爬虫更好的集成到 Crawlab 中，例如保存结果数据到...

Q&A 为何我访问 http://localhost:8080 提示访问不了？ 我可以看到登录页面了，但为何我点击登陆的时候按钮一直转圈圈，或者提示检查用户名密码？ 我执行了爬虫，但是在Crawlab上看不到结果 为何启动Crawlab时，后台日志显示no reachable servers ？ 在爬虫程序中打印中文会报错 我的爬虫有一些第三...

与通用 Node.js 爬虫集成 与通用 Node.js 爬虫集成 将下列代码加入到您爬虫中的结果保存部分。 // 引入 SDK const crawlab = require ( 'crawlab-sdk' ); // 这是一个结果，需要为 object 类型 const result = { name : 'c...

与通用 Node.js 爬虫集成 与通用 Node.js 爬虫集成 将下列代码加入到您爬虫中的结果保存部分。 // 引入 SDK const crawlab = require ( 'crawlab-sdk' ); // 这是一个结果，需要为 object 类型 const result = { name : 'c...

直接部署 1. 拉取代码 2. 安装 Node 环境 3. 安装前后端 4. 构建前端 5. Nginx 6. MongoDB & Redis 6.1 安装 MongoDB 6.2 安装 Redis 7. 配置 8. 构建后端 9. 启动服务 10. 下一步 11. 参考 直接部署 直接部署是之前没有 Docker 时的部署...

数据源 数据源 ⚠️注意：该功能为 Crawlab 专业版 专属功能，如需体验此功能，请访问 演示网站 。 Crawlab 默认是用 MongoDB 作为储存结果的数据库，而且要求结果数据必须与 Crawlab 运行数据库是同一个数据库。这对使用其他数据库（例如 MySQL、Postgres）的朋友来说有点不友好，有些开发者并不希望用 Mong...