使用索引作业完成静态工作分配下的并行处理 准备开始 选择一种方法 定义索引作业 执行 Job {running-the-job} 使用索引作业完成静态工作分配下的并行处理 特性状态： Kubernetes v1.24 [stable] 在此示例中，你将运行一个使用多个并行工作进程的 Kubernetes Job。 每个 worker 都是在...

10. 如何配置作业失败重试时内存自动扩充比例？ 10. 如何配置作业失败重试时内存自动扩充比例？ XLearning1.1版本中支持作业失败重试，并且重试后作业worker与ps所申请的内存会自动扩充。用户可通过调整配置项来进行自定义： xlearning.app.max.attempts xlearning.worker.mem.autosc...

8 - 使用Quartz为每个作业创建单机执行的调度器对象 8.1 JobScheduleController简介 8.2 JobScheduleController对象的创建 8.3 Scheduler 调度对象的创建 8.4 JobDetail 作业信息对象的创建 @TOC 8 - 使用Quartz为每个作业创建单机执行的调度器对象 ...

11 基于Zookeeper的分布式锁实现 选举 作业主节点 11.1 Elastic-Job 既然去中心化为什么要选举主节点？ 11.2 分布式锁选主的的执行过程： 11.3 避免羊群效应（ herd effect） 11 基于Zookeeper的分布式锁实现 选举 作业主节点 11.1 Elastic-Job 既然去中心化为什么要选举主节点...

7-线程安全的单例模式设计全局作业注册表JobRegistry 7.1 注册作业分片总数 7.2 作业全局注册表JobRegistry @TOC 7-线程安全的单例模式设计全局作业注册表JobRegistry 7.1 注册作业分片总数 在作业调度器配置信息同步之后，接下来需要将分片总数写入全局注册表中，方便在程序的任何位置获取分片总数，比如我...

6 6-调度作业的配置是如何在分布式场景下存储的？ 6.1 作业调度器初始化示例代码 6.2 init初始化方法 6.2.1 init源码 6.3 分布式环境下调度配置持久化原理 6.3.1 配置加载持久化说明 6.3.2 持久化作业配置到Zookeeper 6.3.3 加载Zookeeper配置信息到本地内存 6.3.4 配置加载流程 ...

7. LightGBM分布式作业如何获取指定机器数目和本地端口号？ 7. LightGBM分布式作业如何获取指定机器数目和本地端口号？ 执行分布式LightGBM需要在用户程序的配置文件中指定机器数目和本地端口号，此处可以直接从环境变量中获取，因此用户需要在执行脚本里将对应参数写入到配置文件。注意，为避免多个container分配到同一台机器时会修改...

12-调度作业的服务器IP和进程信息的持久化是如何设计的? 12.1 作业服务器信息 12-调度作业的服务器IP和进程信息的持久化是如何设计的? 12.1 作业服务器信息 作业服务器信息的持久化主要调用了如下两行代码: serverService . persistOnline ( enabled ); instanceService . p...

5. 作业提交后，出现报错信息：java.lang.NoClassDefFoundError: org/apache/hadoop/mapred/JobConf, 如何解决？ 5. 作业提交后，出现报错信息：java.lang.NoClassDefFoundError: org/apache/hadoop/mapred/JobConf, 如何解决？ ...

3. XLearning目前支持哪些分布式深度学习框架作业的提交，如何与单机模式区分？ 3. XLearning目前支持哪些分布式深度学习框架作业的提交，如何与单机模式区分？ XLearning目前支持 TensorFlow、MXNet、XGBoost、LightGBM 学习框架的分布式模式作业提交，其中： TensorFlow：作业类型需设置为...