新建集群 新建集群 通过新建集群可以把一个kubernetes集群添加到DomeOS进行管理。在控制台左侧导航栏点击“集群”，在页面上点击“新建集群”，进入新建集群的配置页面。 然后填写集群的配置信息，请确保信息与启动集群时的配置一致。 集群名称：用于标识集群，不能与其他集群重名，否则无法创建。 集群https访问：是否开启集群安全访问...

大数据常用软件安装指南 一、基础软件安装 二、Hadoop 三、Spark 四、Flink 五、Storm 六、HBase 七、Flume 八、Azkaban 九、Hive 十、Zookeeper 十一、Kafka 版本说明 大数据常用软件安装指南 为方便大家查阅，本仓库所有软件的安装方式单独整理如下： 一、基础软件安装...

一、说明 二、架构 三、DataProxy功能配置说明 一、说明 InLong - dataProxy 属于 inlong proxy 层，用于数据的汇集接收以及转发。通过格式转换，将数据转为 cache 层可以缓存处理的 TDMsg1 格式 InLong - dataProxy 充当了 InLong 采集端到 InLong 缓冲端的桥梁， d...

关联 关联 与Spark类似，Spark Streaming也可以利用maven仓库。编写你自己的Spark Streaming程序，你需要引入下面的依赖到你的SBT或者Maven项目中 <dependency> <groupId> org.apache.spark </groupId> <artifactId> spa...

Architecture 1、intro 2、architecture 3、DataProxy support configuration instructions Architecture 1、intro Inlong - dataProxy belongs to the inlong proxy layer and is used ...

安装部署 配置 配置消息队列 环境准备 配置InLong-Manager 地址 启动 检查 将 DataProxy 配置添加到 InLong-Manager 安装部署 所有的安装文件都在 inlong-dataproxy 目录下。 配置 配置消息队列 如果使用InLong TubeMQ, 按以下配置即可。tubemq_maste...

Configuring individual components Configuring individual components After defining the flow, you need to set properties of each source, sink andchannel. This is done in the sam...

Spark Streaming Spark Streaming Spark streaming是Spark核心API的一个扩展，它对实时流式数据的处理具有可扩展性、高吞吐量、可容错性等特点。我们可以从kafka、flume、Twitter、 ZeroMQ、Kinesis等源获取数据，也可以通过由高阶函数map、reduce、join、window等组...

Loggie’s Background 1、The Problems We Encountered Weak Isolation Multiple Outputs are Not Supported Limited Extensibility Log Operation and Maintenance and Troubleshooting Dilem...

Log¶ 配置示例¶ Log¶ Log连接池仅供syslog类型使用，长连接连的是我们内部的flume日志系统（未开源）。运维同事在每台生产机器上部署了flume 的client端，所以长连接连接本地就可以了。开发环境的话可以考虑部署到一台公用的开发机器上。 配置示例¶ 配置文件路径：resource/config/${ENV}/connec...