MapReduce

MapReduce 框架和库。

• dpark：Spark 的 Python 克隆版，一个类似 MapReduce 的框架。官网
• dumbo：这个 Python 模块可以让人轻松的编写和运行 Hadoop 程序。官网
• luigi：这个模块帮你构建批处理作业的复杂流水线。官网
• mrjob：在 Hadoop 或 Amazon Web Services 上运行 MapReduce 任务。官网
• PySpark：Spark 的 Python API 。官网
• streamparse：运行针对事实数据流的 Python 代码。集成了 Apache Storm。官网