爬虫集成 爬虫集成 如果您想在 Crawlab 的界面上看到您的抓取结果，您需要将您的爬虫与 Crawlab 进行集成。 以下是爬虫集成的前提条件: 需要设置结果集 ； 需要将数据写在与 Crawlab 一个数据库中，例如 crawlab_test ； 需要在爬虫中将结果写回指定的数据集中（CRAWLAB_COLLECTION ），并且在 ta...

运行项目 过程分析 注意 运行项目 这个项目演示了在多个spiders实例之间，如何共享(share)一个爬虫spider的请求队列； 第一次运行的爬虫，然后停止 它： cd redis - youyuan scrapy crawl youyuan ... [ youyuan ] ... ^ C ...

CLI 命令行工具 安装 CLI 命令行工具 登录获取 Token 上传爬虫 查看节点列表 查看爬虫列表 查看任务列表 查看定时任务列表 其他功能 CLI 命令行工具 CLI 命令行工具是一个实验项目，是 Crawlab SDK 项目的一部分。CLI 命令行工具旨在帮助 Crawlab 用户更方便的上传爬虫、运行任务、查看数据等。 ...

CLI 命令行工具 安装 CLI 命令行工具 登录获取 Token 上传爬虫 查看节点列表 查看爬虫列表 查看任务列表 查看定时任务列表 其他功能 CLI 命令行工具 CLI 命令行工具是一个非常实用的 CLI 程序，是 Crawlab SDK 项目的一部分。CLI 命令行工具旨在帮助 Crawlab 用户更方便的上传爬虫、运行任务...

权限管理 用户角色 公共爬虫 权限管理 Crawlab 从 v0.4.9 版本开始，加强了对权限管理的支持，让权限管理变得更加复杂和实用，为企业用户提供了权限管理的支持。 用户角色 Crawlab 的权限管理是简易版的 RBAC。简单来说，Crawlab 分为两个角色：管理用户 和 普通用户 。 管理用户 ：可以查看并操作所有用户的数...

项目 添加/修改/删除项目 如何关联爬虫到项目 项目 项目是能够将爬虫 归类在不同单元的组织形式。例如“百度”、“必应”、“谷歌”的爬虫应该归类为“搜索引擎”爬虫，因此我们可以创建一个名叫“搜索引擎”的项目，然后将相关的爬虫都归类在它里面。项目本质上是一种归类形式，可以更好的帮助我们管理不同类别的爬虫。 添加/修改/删除项目 在项目页面，您...

关于项目 我们要做什么？ 如何为列表贡献新资源？ 本项目的参与者 关于项目 我们要做什么？ 基于 awesome-python 列表，我们将对其中的各个资源项进行编译整理。此外还将从其他来源补充好资源。 整理后的内容，将收录在伯乐在线资源频道 。可参考已整理的内容： 《Scrapy：Python 的爬虫框架 》 《Flask：一个使用 P...

案例：使用BeautifuSoup4的爬虫 我们以 亚马逊Kindle电子书销售排行榜 商品页面来做演示：https://www.amazon.cn/gp/bestsellers/digital-text/116169071 使用BeautifuSoup4解析器，将每件商品的的ASIN、标题、价格、star、评价数量，以及每件商品的链接爬取下来并存储在...

权限管理 用户角色 公共爬虫 权限管理 Crawlab 从 v0.4.9 版本开始，加强了对权限管理的支持，让权限管理变得更加复杂和实用，为企业用户提供了权限管理的支持。 用户角色 Crawlab 的权限管理是简易版的 RBAC。简单来说，Crawlab 分为两个角色：管理用户 和 普通用户 。 管理用户 ：可以查看并操作所有用户的数...

1. github库地址 1.1.1. 分享好的github库地址 插件 项目 1. github库地址 1.1.1. 分享好的github库地址 插件 发送邮件库 https://github.com/go-gomail/gomail 读写Microsoft Excel https://github.com/360EntSecG...