Python SDK CLI 命令行工具 Utility 工具 Scrapy 集成 通用 Python 爬虫集成 Python SDK Crawlab 的 Python SDK 主要由 2 部分构成: CLI 命令行工具 Utility 工具 CLI 命令行工具 CLI 命令行工具主要是为比较习惯用命令行的开发者设计的，他们可以...

20.3　高级Web客户端 20.3　高级Web客户端 Web浏览器是基本的Web客户端，主要用来在Web上查询或者下载文件。而Web的高级客户端并不只是从因特网上下载文档。 高级Web客户端的一个例子就是网络爬虫（也称蜘蛛或机器人）。这些程序可以基于不同目的在因特网上探索和下载页面，其中包括： 为Google和Yahoo这类大型的搜索引擎建索...

爬虫进阶开发——xpath选择器常见用法 爬虫进阶开发——xpath选择器常见用法 俗话说，工欲上其事，必先利其器，学好xpath选择器，能极高的提升在爬虫的数据提取环节中的提取速度，下面我们来认识认识xpath。 选取节点 XPath 使用路径表达式在 XML 文档中选取节点。节点是通过沿着路径或者 step 来选取的。 下面列出了最有用的...

Web 态开发建议 1. 页面基础信息 2. 页面跳转 3. 保证任何小程序页面都能独立访问 4. 如何在运行时识别 Web 态环境 5. 布局设计时注意视图差异 6. 请勿操作框架样式 7. 在部分浏览器下，滚动页面时固定定位的元素抖动的解决方案 8. 增加保存图片、视频等方法的失败回调兼容处理 9. 关于爬虫抓取 10. 资源访问限制 ...

原理 原理 本小节我们将介绍Crawlab的一些基础原理，主要包含以下内容。 整体架构 节点通信 节点监控 爬虫部署 任务执行 RPC

统计数据 统计数据 在运行了一段时间之后，爬虫会积累一些统计数据，例如运行成功率 、任务数 、运行时长 等指标。Crawlab将这些指标汇总并呈现给开发者。 要查看统计数据的话，只需要在爬虫详情 中，点击分析 标签，就可以看到爬虫的统计数据了。

常见问题(FAQ) 调试(Debugging)Spiders Spiders Contracts 实践经验(Common Practices) 通用爬虫(Broad Crawls) 借助Firefox来爬取 使用Firebug进行爬取 调试内存溢出 下载及处理文件和图片 Ubuntu 软件包 Deploying Spiders 自动限...

与 Puppeteer 集成 调用 SDK 避免内存泄漏 启动 Puppeteer 的正确方式 与 Puppeteer 集成 调用 SDK 与 Puppeteer 集成请参考 与 Node.js 爬虫集成 ，只需要调用 crawlab.saveItem 方法。 避免内存泄漏 由于 Puppeteer 是利用 Chromium 来运行...

Kafka 数据源集成 Kafka 数据源集成 ⚠️注意：该功能为 Crawlab 专业版 专属功能，如需体验此功能，请访问 演示网站 。 以下为操作步骤： 在 “设置” -> “数据源” 中创建新的数据源，选择 ElasticSearch，输入目标数据库的 Host、Port、Index、用户名、密码等信息； 在 “爬虫详情“ 页面，选...

MySQL 数据源集成 MySQL 数据源集成 ⚠️注意：该功能为 Crawlab 专业版 专属功能，如需体验此功能，请访问 演示网站 。 以下为操作步骤： 在目标数据库中，创建目标表，要保证其中包含 task_id 列，并为 varchar 类型； 在 “设置” -> “数据源” 中创建新的数据源，选择 MySQL ，输入目标数据库...