MongoDB 数据源集成
⚠️注意:该功能为 Crawlab 专业版 专属功能,如需体验此功能,请访问 演示网站。
其实,Crawlab 社区版默认是能够集成 MongoDB 作为结果数据库的。但是,它有个限制:必须要求结果数据为同一个数据库。因此,为了解决这个问题,我们加入了数据源支持。您可以将结果储存在不同的数据库,甚至不同的服务器。
以下为操作步骤:
- 在 “设置” -> “数据源” 中创建新的数据源,选择 MongoDB,输入目标数据库的 Host、Port、用户名、密码等信息;
- 在 “爬虫详情“ 页面,选择之前创建的数据源;
- 保证爬虫的脚本是用 Crawlab SDK 的
save_item
保存结果数据; - 运行爬虫任务;
- 在 “爬虫详情” -> “结果“ 中查看结果数据。