消息的可靠性保障 消息的“完整性处理”是什么意思 在消息得到完整性处理后或者处理失败后会发生什么 Storm 的可靠性 API 在 tuple 可以被重新处理的前提下，如何让我的应用可以得到正确的运行？ Storm 是以怎样一种高效的方式实现可靠性的？ 调整可靠性 消息的可靠性保障 Storm 能够保证每一个由 Spout 发送的消息都能...

Transformation 和 Action 常用算子 一、Transformation 1.1 map 1.2 filter 1.3 flatMap 1.4 mapPartitions 1.5 mapPartitionsWithIndex 1.6 sample 1.7 union 1.8 intersection 1.9 distinct...

Hooks Hooks Storm 提供了一种 hooks 机制，可以实现在 Storm 的各种事件流中运行自定义代码的功能。可以通过继承 BaseTaskHook 类来创建 hook，还可以根据需要在继承的子类中覆写适当的方法来跟踪相关事件。注册 hook 有两种方法： 在 spout 的 open 方法或者 bolt 的 prepare 方...

基础概念 拓扑（Topologies） 数据流（Streams） 数据源（Spouts） 数据流处理组件（Bolts） 数据流分组（Stream groupings） 可靠性（Reliability） 任务（Tasks） 工作进程（Workers） 基础概念 Storm 系统中包含以下几个基本概念： 拓扑（Topologies） ...

Storm 常用模式 Joins 批处理 BasicBolt 内存缓存与域分组的结合 Top N 支持 LRU 的 TimeCacheMap 用于分布式 RPC 的 CoordinatedBolt 与 KeyedFairBolt Storm 常用模式 本文列出了 Storm 拓扑中使用的一些常见模式，包括： 数据流的 join 批处...

内容 配置 Storm 集群 配置开发环境 本地模式 问题与解决 在生产环境中运行 topology 使用 Maven 构建 Storm 应用

大数据常用软件安装指南 一、基础软件安装 二、Hadoop 三、Spark 四、Flink 五、Storm 六、HBase 七、Flume 八、Azkaban 九、Hive 十、Zookeeper 十一、Kafka 版本说明 大数据常用软件安装指南 为方便大家查阅，本仓库所有软件的安装方式单独整理如下： 一、基础软件安装...

容错性 工作进程（worker）死亡时会发生什么？ 节点故障时会发生什么？ Nimbus 或者 Supervisor 的后台进程挂掉时会发生什么 Nimbus 是系统的单故障点1吗？ Storm 是如何保障消息的完全处理的？ 容错性 本文通过问答的形式解释了 Storm 的容错性原理。 工作进程（worker）死亡时会发生什么？ 工...

本地模式 本地模式的常用配置 本地模式 本地模式是一种在本地进程中模拟 Storm 集群的工作模式，对于开发和测试拓扑很有帮助。在本地模式下运行拓扑与在集群模式下 运行拓扑的方式很相似。 创建一个进程内的“集群”只需要使用 LocalCluster 类即可，例如： import backtype . storm . LocalCluster...

STORM React Diagrams Introduction Run the demos Building from source Checkout the docs STORM React Diagrams PSA : React Diagrams is currently getting a bit of a rewrite to ...