MongoDB 数据源集成

⚠️注意:该功能为 Crawlab 专业版 专属功能,如需体验此功能,请访问 演示网站

其实,Crawlab 社区版默认是能够集成 MongoDB 作为结果数据库的。但是,它有个限制:必须要求结果数据为同一个数据库。因此,为了解决这个问题,我们加入了数据源支持。您可以将结果储存在不同的数据库,甚至不同的服务器。

以下为操作步骤:

  1. 在 “设置” -> “数据源” 中创建新的数据源,选择 MongoDB,输入目标数据库的 Host、Port、用户名、密码等信息;
  2. 在 “爬虫详情“ 页面,选择之前创建的数据源;
  3. 保证爬虫的脚本是用 Crawlab SDKsave_item 保存结果数据;
  4. 运行爬虫任务;
  5. 在 “爬虫详情” -> “结果“ 中查看结果数据。