旁路输出

除了由 DataStream 操作产生的主要流之外，你还可以产生任意数量的旁路输出结果流。结果流中的数据类型不必与主要流中的数据类型相匹配，并且不同旁路输出的类型也可以不同。当你需要拆分数据流时，通常必须复制该数据流，然后从每个流中过滤掉不需要的数据，这个操作十分有用。

使用旁路输出时，首先需要定义用于标识旁路输出流的 OutputTag：

Java

  1. // 这需要是一个匿名的内部类，以便我们分析类型
  2. OutputTag<String> outputTag = new OutputTag<String>("side-output") {};

Scala

  1. val outputTag = OutputTag[String]("side-output")

Python

  1. output_tag = OutputTag("side-output", Types.STRING())

注意 OutputTag 是如何根据旁路输出流所包含的元素类型进行类型化的。

可以通过以下方法将数据发送到旁路输出：

你可以使用在上述方法中向用户暴露的 Context 参数，将数据发送到由 OutputTag 标识的旁路输出。这是从 ProcessFunction 发送数据到旁路输出的示例：

Java

  1. DataStream<Integer> input = ...;
  3. final OutputTag<String> outputTag = new OutputTag<String>("side-output"){};
  5. SingleOutputStreamOperator<Integer> mainDataStream = input
  6.   .process(new ProcessFunction<Integer, Integer>() {
  8.       @Override
  9.       public void processElement(
  10.           Integer value,
  11.           Context ctx,
  12.           Collector<Integer> out) throws Exception {
  13.         // 发送数据到主要的输出
  14.         out.collect(value);
  16.         // 发送数据到旁路输出
  17.         ctx.output(outputTag, "sideout-" + String.valueOf(value));
  18.       }
  19.     });

Scala

  2. val input: DataStream[Int] = ...
  3. val outputTag = OutputTag[String]("side-output")
  5. val mainDataStream = input
  6.   .process(new ProcessFunction[Int, Int] {
  7.     override def processElement(
  8.         value: Int,
  9.         ctx: ProcessFunction[Int, Int]#Context,
  10.         out: Collector[Int]): Unit = {
  11.       // 发送数据到主要的输出
  12.       out.collect(value)
  14.       // 发送数据到旁路输出
  15.       ctx.output(outputTag, "sideout-" + String.valueOf(value))
  16.     }
  17.   })

Python

  1. input = ...  # type: DataStream
  2. output_tag = OutputTag("side-output", Types.STRING())
  4. class MyProcessFunction(ProcessFunction):
  6.     def process_element(self, value: int, ctx: ProcessFunction.Context):
  7.         # emit data to regular output
  8.         yield value
  10.         # emit data to side output
  11.         yield output_tag, "sideout-" + str(value)
  14. main_data_stream = input \
  15.     .process(MyProcessFunction(), Types.INT())

你可以在 DataStream 运算结果上使用 getSideOutput(OutputTag) 方法获取旁路输出流。这将产生一个与旁路输出流结果类型一致的 DataStream：

Java

  1. final OutputTag<String> outputTag = new OutputTag<String>("side-output"){};
  3. SingleOutputStreamOperator<Integer> mainDataStream = ...;
  5. DataStream<String> sideOutputStream = mainDataStream.getSideOutput(outputTag);

Scala

  1. val outputTag = OutputTag[String]("side-output")
  3. val mainDataStream = ...
  5. val sideOutputStream: DataStream[String] = mainDataStream.getSideOutput(outputTag)

Python

  1. output_tag = OutputTag("side-output", Types.STRING())
  3. main_data_stream = ...  # type: DataStream
  5. side_output_stream = main_data_stream.get_side_output(output_tag)  # type: DataStream

Note If it produces side output, get_side_output(OutputTag) must be called in Python API. Otherwise, the result of side output stream will be output into the main stream which is unexpected and may fail the job when the data types are different.