任务资源 任务资源 任务资源提供了一组REST端点，这些端点使openLooKeng服务器能够就任务和任务输出进行交流。这不是一个供最终用户使用的服务，但它支持在openLooKeng上执行查询任务。 GET /v1/task 返回openLooKeng服务器已知的所有任务的信息。 注意，对/v1/task 的调用的输出可能相当大。如果你对忙...

任务总体存储结构 各任务类型存储结构详解 Shell节点 SQL节点 PROCEDURE[存储过程]节点 SPARK节点 MapReduce(MR)节点 Python节点 Flink节点 HTTP节点 DataX节点 Sqoop节点 条件分支节点 子流程节点 依赖(DEPENDENT)节点 任务总体存储结构 在dolphi...

数据同步 实时采集 Flink SQL Spark SQL Hive SQL

任务 任务 Kubernetes 文档这一部分包含的一些页面展示如何去完成单个任务。 每个任务页面是一般通过给出若干步骤展示如何执行完成某事。 在你的计算机上设置 Kubernetes 工具。 了解管理集群的常见任务。 对 Pod 和容器执行常见的配置任务。 用声明式和命令式范型与 Kubernetes API 交互。 使用 Secret...

任务管理 1. 概要 2. 任务列表 3. 创建任务 4. 查看任务详情 5. 启停用任务 6. 删除任务 7. cron表达式填写说明 表达式结构 各字段及符号含义 Cron 表达式案例 8. 更多操作 任务管理 1. 概要 任务，按时间点或者周期性执行的任务。它实现了任务执行程序和触发器之间的关联。一个具体的任务，配置任...

停止数据迁移任务 命令用法示例 参数解释 返回结果示例 停止数据迁移任务 stop-task 命令用于停止数据迁移任务。有关 stop-task 与 pause-task 的区别，请参考暂停数据迁移任务 中的相关说明。 help stop - task stop a specified task Usage : ...

任务管理 1. 概要 2. 任务列表 3. 创建任务 4. 查看任务详情 5. 启停用任务 6. 删除任务 7. cron表达式填写说明 表达式结构 各字段及符号含义 Cron 表达式案例 8. 更多操作 任务管理 1. 概要 任务，按时间点或者周期性执行的任务。它实现了任务执行程序和触发器之间的关联。一个具体的任务，配置任...

示例-任务 定义任务 任务供应器函数 示例-任务 通常，在VS Code中，用户可以通过task.json 定义一个任务 。不过在软件开发中，VS Code会自动检测某些任务。本节介绍了插件应该怎样自动检测任务，为最终用户提供任务。 定义任务 想要定义一个系统级别的任务，插件需要通过properties定义任务，在下面叫做Rake的例子中...

查看任务 任务列表 任务日志 任务结果 查看任务 任务列表 点击侧边栏 的任务 导航至任务列表 。可以看到最近的10个生成的任务。可以根据节点 、爬虫 来过滤任务。 点击操作 列的查看 按钮，进入到该任务的任务详情 。 任务日志 点击日志 标签，可以查看任务日志。 任务结果 点击结果 标签，可以查看任务结果。

任务执行 任务执行 Crawlab的任务执行依赖于shell。执行一个爬虫任务相当于在shell中执行相应的命令，因此在执行爬虫任务之前，要求使用者将执行命令存入数据库。执行命令存在spiders 表中的cmd 字段。 任务执行的架构示意图如下。 当爬虫任务被派发时，主节点会在Redis中的tasks:<node_id> （指定工作节点）和t...