Hooks Hooks Storm 提供了一种 hooks 机制，可以实现在 Storm 的各种事件流中运行自定义代码的功能。可以通过继承 BaseTaskHook 类来创建 hook，还可以根据需要在继承的子类中覆写适当的方法来跟踪相关事件。注册 hook 有两种方法： 在 spout 的 open 方法或者 bolt 的 prepare 方...

基础概念 拓扑（Topologies） 数据流（Streams） 数据源（Spouts） 数据流处理组件（Bolts） 数据流分组（Stream groupings） 可靠性（Reliability） 任务（Tasks） 工作进程（Workers） 基础概念 Storm 系统中包含以下几个基本概念： 拓扑（Topologies） ...

Storm 常用模式 Joins 批处理 BasicBolt 内存缓存与域分组的结合 Top N 支持 LRU 的 TimeCacheMap 用于分布式 RPC 的 CoordinatedBolt 与 KeyedFairBolt Storm 常用模式 本文列出了 Storm 拓扑中使用的一些常见模式，包括： 数据流的 join 批处...

内容 配置 Storm 集群 配置开发环境 本地模式 问题与解决 在生产环境中运行 topology 使用 Maven 构建 Storm 应用

大数据常用软件安装指南 一、基础软件安装 二、Hadoop 三、Spark 四、Flink 五、Storm 六、HBase 七、Flume 八、Azkaban 九、Hive 十、Zookeeper 十一、Kafka 版本说明 大数据常用软件安装指南 为方便大家查阅，本仓库所有软件的安装方式单独整理如下： 一、基础软件安装...

本地模式 本地模式的常用配置 本地模式 本地模式是一种在本地进程中模拟 Storm 集群的工作模式，对于开发和测试拓扑很有帮助。在本地模式下运行拓扑与在集群模式下 运行拓扑的方式很相似。 创建一个进程内的“集群”只需要使用 LocalCluster 类即可，例如： import backtype . storm . LocalCluster...

容错性 工作进程（worker）死亡时会发生什么？ 节点故障时会发生什么？ Nimbus 或者 Supervisor 的后台进程挂掉时会发生什么 Nimbus 是系统的单故障点1吗？ Storm 是如何保障消息的完全处理的？ 容错性 本文通过问答的形式解释了 Storm 的容错性原理。 工作进程（worker）死亡时会发生什么？ 工...

STORM React Diagrams Introduction Run the demos Building from source Checkout the docs STORM React Diagrams PSA : React Diagrams is currently getting a bit of a rewrite to ...

Spark Streaming 基本操作 一、案例引入 2.2 updateStateByKey 2.3 启动测试 三、输出操作 3.1 输出API 3.1 foreachRDD 3.3 代码说明 3.4 启动测试 参考资料 Spark Streaming 基本操作 一、案例引入 这里先引入一个基本的案例来演示流的创建：获取指定...

多语言接口协议 Storm 多语言协议 Shell 组件 输出域 协议报头 打包 协议 初始握手 Spouts Bolts 处理心跳（0.9.3 及以上版本适用） Spout Bolt 多语言接口协议 本文描述了 Storm （0.7.1 版本以上）的多语言接口协议。 Storm 多语言协议 Shell 组件 Sto...