书栈网 · BookStack 本次搜索耗时 0.012 秒,为您找到 104 个相关结果.
  • 部署爬虫

    部署爬虫 部署爬虫 Crawlab是自动部署爬虫的,每60秒主节点会将该节点上的爬虫文件同步给所有在线节点。因此,用户上传了爬虫之后,只需要等待最多60秒,就可以在所有节点上运行爬虫任务了。 爬虫部署和同步原理请参考 原理-爬虫部署章节 。
  • 统计数据

    统计数据 统计数据 在运行了一段时间之后,爬虫会积累一些统计数据,例如运行成功率 、任务数 、运行时长 等指标。Crawlab将这些指标汇总并呈现给开发者。 要查看统计数据的话,只需要在爬虫详情 中,点击分析 标签,就可以看到爬虫的统计数据了。
  • 添加节点

    添加节点 添加节点 这里的添加节点其实是指添加工作节点。Crawlab 暂时不支持在界面上完成节点的添加,您需要通过在工作节点所在的服务器上做相应的操作来添加工作节点。 具体的操作请查看 多节点部署章节 的工作节点部署 。
  • 部署爬虫

    部署爬虫 部署爬虫 Crawlab是自动部署爬虫的,每60秒主节点会将该节点上的爬虫文件同步给所有在线节点。因此,用户上传了爬虫之后,只需要等待最多60秒,就可以在所有节点上运行爬虫任务了。 爬虫部署和同步原理请参考 原理-爬虫部署章节 。
  • 节点监控

    节点监控 节点监控 Crawlab的节点监控是通过Redis来完成的。原理如下图。 工作节点会不断更新心跳信息在Redis上,利用HSET nodes <node_id> <msg> ,心跳信息<msg> 包含节点MAC地址,IP地址,当前时间戳, 主节点会周期性获取Redis上的工作节点心跳信息。如果有工作节点的时间戳在60秒之前,则考虑该...
  • 操作任务

    操作任务 停止任务 删除任务 操作任务 停止任务 当任务运行起来之后,我们因为某个原因可能需要终止任务,这时我们需要在Crawlab中停止该任务。 导航至需要停止的任务的任务详情 ,点击停止 按钮来终止任务。 删除任务 在任务列表 中,点击操作 列中的删除 按钮,确认删除该任务。
  • 节点监控

    节点监控 节点监控 Crawlab的节点监控是通过Redis来完成的。原理如下图。 工作节点会不断更新心跳信息在Redis上,利用HSET nodes <node_id> <msg> ,心跳信息<msg> 包含节点MAC地址,IP地址,当前时间戳, 主节点会周期性获取Redis上的工作节点心跳信息。如果有工作节点的时间戳在60秒之前,则考虑该...
  • 在线编辑文件

    在线文件编辑 在线文件编辑 Crawlab 在线文件编辑能够让用户在 Web 界面上对爬虫文件进行创建、编辑、重命名、删除等操作,并且支持语法高亮和树状文件目录导航的功能。 常用操作如下: 新建文件或目录 :在左侧导航栏的某一个文件或目录上点击右键,选择“文件”或“目录”,输入新文件或目录的名称,点击确认; 保存文件 :点击绿色的保存按钮。...
  • 企业微信机器人

    企业微信机器人 企业微信机器人 如果您想启用企业微信机器人消息通知,请确保您已经获取了机器人的 API Webhook 以及在 Crawlab 中配置好了 API Webhook。如何获取 API Webhook 请查看 官方文档 。官方文档可能有些过于技术,也可以参照这个 文档 来获取。如果还有问题请加微信 tikazyq1 拉群寻求帮助。 ...
  • 在线编辑文件

    在线文件编辑 在线文件编辑 Crawlab 在线文件编辑能够让用户在 Web 界面上对爬虫文件进行创建、编辑、重命名、删除等操作,并且支持语法高亮和树状文件目录导航的功能。 常用操作如下: 新建文件或目录 :在左侧导航栏的某一个文件或目录上点击右键,选择“文件”或“目录”,输入新文件或目录的名称,点击确认; 保存文件 :点击绿色的保存按钮。...