榜单
服务器优惠
AI论文
-
Deployment
Deployment Configuration Configure Message Queue Environment Preparation Configure InLong-Manager URL run check Add DataProxy configuration to InLong-Manager Deployment A... -
优化器框架
优化器框架 工作流程 执行计划的中间表示 Unit/LeafUnit Plan 优化框架 Pass Dispatcher RuleDispatcher 优化算法 独立算子合并 分桶合并 Partial-Processor前置 优化器框架 Flume的优化器框架承担两个任务, 一是把逻辑执行计划转换为物理执行计划, 二是针对不同... -
架构介绍
一、说明 二、架构 三、DataProxy功能配置说明 一、说明 InLong - dataProxy 属于 inlong proxy 层，用于数据的汇集接收以及转发。通过格式转换，将数据转为 cache 层可以缓存处理的 TDMsg1 格式 InLong - dataProxy 充当了 InLong 采集端到 InLong 缓冲端的桥梁， d... -
事务接口
事务接口 sink Source 事务接口 Transaction接口是Flume可靠性的基础。所有的组件（source,sink以及channel）都需要使用transaction。 一个Transaction是通过channel实现的。每个source以及都需要连接channel，但是不包括transaction对象。source实际上是使... -
HDFS
HDFS Configuration Howto run HDFS https://github.com/dstore-dbap/logstash-webhdfs This plugin based on WebHDFS api of Hadoop, it just POST data to WebHDFS port. So, it’s a... -
工具
工具 文件channel验证工具 Event校验工具 工具 文件channel验证工具 文件channel完整性校验工具可验证文件channel中各个Event的完整性，并删除损坏的Event。 这个工具可以通过下面这种方式开启： $bin / flume - ng tool -- conf ./ conf FCINTEGRITYTO... -
设计文档
Bigflow 设计文档 Bigflow 设计文档 注意：下述文档为设计文档原文，后续有不少实现发生过改变，故可能有细节上与文档并不一致。 相关文档仅供学习Bigflow原理之用。 Bigflow架构与百度分布式技术栈： 其中，Bigflow核心的优化与执行层称为Bigflow Core层（又称Flume），它定义了一套与引擎无关的计... -
安装部署
安装部署 配置 配置消息队列 配置InLong-Manager 地址 启动 检查 将 DataProxy 配置添加到 InLong-Manager 安装部署 所有的安装文件都在 inlong-dataproxy 目录下。 配置 配置消息队列 如果使用InLong TubeMQ, 按以下配置即可。tubemq_master_list... -
Deployment
Deployment Configuration Configure Message Queue Configure InLong-Manager URL run check Add DataProxy configuration to InLong-Manager Deployment All deploying files at inl...