Table API 教程

Apache Flink 提供 Table API 关系型 API 来统一处理流和批，即查询在无边界的实时流或有边界的批处理数据集上以相同的语义执行，并产生相同的结果。 Flink 的 Table API 易于编写，通常能简化数据分析，数据管道和ETL应用的编码。

概要

在该教程中，我们会从零开始，介绍如何创建一个 Flink Python 项目及运行 Python Table API 作业。该作业读取一个 csv 文件，计算词频，并将结果写到一个结果文件中。

先决条件

本练习假定你对 Python 有一定的了解，但是即使你来自其他编程语言，也应该能够继续学习。 它还假定你熟悉基本的关系操作，例如 SELECT 和 GROUP BY 子句。

如何寻求帮助

如果你遇到问题，可以访问 社区信息页面。 与此同时，Apache Flink 的用户邮件列表 一直被列为 Apache 项目中最活跃的项目邮件列表之一，也是快速获得帮助的好方法。

继续我们的旅程

如果要继续我们的旅程，你需要一台具有以下功能的计算机：

  • Java 11
  • Python 3.7, 3.8, 3.9 or 3.10

使用 Python Table API 需要安装 PyFlink，它已经被发布到 PyPi，你可以通过如下方式安装 PyFlink：

  1. $ python -m pip install apache-flink

安装 PyFlink 后，你便可以编写 Python Table API 作业了。

编写一个 Flink Python Table API 程序

编写 Flink Python Table API 程序的第一步是创建 TableEnvironment。这是 Python Table API 作业的入口类。

  1. t_env = TableEnvironment.create(EnvironmentSettings.in_streaming_mode())
  2. t_env.get_config().set("parallelism.default", "1")

接下来，我们将介绍如何创建源表和结果表。

  1. t_env.create_temporary_table(
  2.     'source',
  3.     TableDescriptor.for_connector('filesystem')
  4.         .schema(Schema.new_builder()
  5.                 .column('word', DataTypes.STRING())
  6.                 .build())
  7.         .option('path', input_path)
  8.         .format('csv')
  9.         .build())
  10. tab = t_env.from_path('source')
  12. t_env.create_temporary_table(
  13.     'sink',
  14.     TableDescriptor.for_connector('filesystem')
  15.         .schema(Schema.new_builder()
  16.                 .column('word', DataTypes.STRING())
  17.                 .column('count', DataTypes.BIGINT())
  18.                 .build())
  19.         .option('path', output_path)
  20.         .format(FormatDescriptor.for_format('canal-json')
  21.                 .build())
  22.         .build())

你也可以使用 TableEnvironment.execute_sql() 方法，通过 DDL 语句来注册源表和结果表:

  1. my_source_ddl = """
  2.     create table source (
  3.         word STRING
  4.     ) with (
  5.         'connector' = 'filesystem',
  6.         'format' = 'csv',
  7.         'path' = '{}'
  8.     )
  9. """.format(input_path)
  11. my_sink_ddl = """
  12.     create table sink (
  13.         word STRING,
  14.         `count` BIGINT
  15.     ) with (
  16.         'connector' = 'filesystem',
  17.         'format' = 'canal-json',
  18.         'path' = '{}'
  19.     )
  20. """.format(output_path)
  22. t_env.execute_sql(my_source_ddl)
  23. t_env.execute_sql(my_sink_ddl)

上面的程序展示了如何创建及注册表名分别为 source 和 sink 的表。 其中，源表 source 有一列: word，该表代表了从 input_path 所指定的输入文件中读取的单词； 结果表 sink 有两列: word 和 count，该表的结果会输出到 output_path 所指定的输出文件中。

接下来，我们介绍如何创建一个作业：该作业读取表 source 中的数据，进行一些变换，然后将结果写入表 sink。

最后，需要做的就是启动 Flink Python Table API 作业。上面所有的操作，比如创建源表 进行变换以及写入结果表的操作都只是构建作业逻辑图，只有当 execute_insert(sink_name) 被调用的时候， 作业才会被真正提交到集群或者本地进行执行。

  1. @udtf(result_types=[DataTypes.STRING()])
  2. def split(line: Row):
  3.     for s in line[0].split():
  4.         yield Row(s)
  6. # 计算 word count
  7. tab.flat_map(split).alias('word') \
  8.     .group_by(col('word')) \
  9.     .select(col('word'), lit(1).count) \
  10.     .execute_insert('sink') \
  11.     .wait()

该教程的完整代码如下:

  1. import argparse
  2. import logging
  3. import sys
  5. from pyflink.common import Row
  6. from pyflink.table import (EnvironmentSettings, TableEnvironment, TableDescriptor, Schema,
  7.                            DataTypes, FormatDescriptor)
  8. from pyflink.table.expressions import lit, col
  9. from pyflink.table.udf import udtf
  11. word_count_data = ["To be, or not to be,--that is the question:--",
  12.                    "Whether 'tis nobler in the mind to suffer",
  13.                    "The slings and arrows of outrageous fortune",
  14.                    "Or to take arms against a sea of troubles,",
  15.                    "And by opposing end them?--To die,--to sleep,--",
  16.                    "No more; and by a sleep to say we end",
  17.                    "The heartache, and the thousand natural shocks",
  18.                    "That flesh is heir to,--'tis a consummation",
  19.                    "Devoutly to be wish'd. To die,--to sleep;--",
  20.                    "To sleep! perchance to dream:--ay, there's the rub;",
  21.                    "For in that sleep of death what dreams may come,",
  22.                    "When we have shuffled off this mortal coil,",
  23.                    "Must give us pause: there's the respect",
  24.                    "That makes calamity of so long life;",
  25.                    "For who would bear the whips and scorns of time,",
  26.                    "The oppressor's wrong, the proud man's contumely,",
  27.                    "The pangs of despis'd love, the law's delay,",
  28.                    "The insolence of office, and the spurns",
  29.                    "That patient merit of the unworthy takes,",
  30.                    "When he himself might his quietus make",
  31.                    "With a bare bodkin? who would these fardels bear,",
  32.                    "To grunt and sweat under a weary life,",
  33.                    "But that the dread of something after death,--",
  34.                    "The undiscover'd country, from whose bourn",
  35.                    "No traveller returns,--puzzles the will,",
  36.                    "And makes us rather bear those ills we have",
  37.                    "Than fly to others that we know not of?",
  38.                    "Thus conscience does make cowards of us all;",
  39.                    "And thus the native hue of resolution",
  40.                    "Is sicklied o'er with the pale cast of thought;",
  41.                    "And enterprises of great pith and moment,",
  42.                    "With this regard, their currents turn awry,",
  43.                    "And lose the name of action.--Soft you now!",
  44.                    "The fair Ophelia!--Nymph, in thy orisons",
  45.                    "Be all my sins remember'd."]
  48. def word_count(input_path, output_path):
  49.     t_env = TableEnvironment.create(EnvironmentSettings.in_streaming_mode())
  50.     # write all the data to one file
  51.     t_env.get_config().set("parallelism.default", "1")
  53.     # define the source
  54.     if input_path is not None:
  55.         t_env.create_temporary_table(
  56.             'source',
  57.             TableDescriptor.for_connector('filesystem')
  58.                 .schema(Schema.new_builder()
  59.                         .column('word', DataTypes.STRING())
  60.                         .build())
  61.                 .option('path', input_path)
  62.                 .format('csv')
  63.                 .build())
  64.         tab = t_env.from_path('source')
  65.     else:
  66.         print("Executing word_count example with default input data set.")
  67.         print("Use --input to specify file input.")
  68.         tab = t_env.from_elements(map(lambda i: (i,), word_count_data),
  69.                                   DataTypes.ROW([DataTypes.FIELD('line', DataTypes.STRING())]))
  71.     # define the sink
  72.     if output_path is not None:
  73.         t_env.create_temporary_table(
  74.             'sink',
  75.             TableDescriptor.for_connector('filesystem')
  76.                 .schema(Schema.new_builder()
  77.                         .column('word', DataTypes.STRING())
  78.                         .column('count', DataTypes.BIGINT())
  79.                         .build())
  80.                 .option('path', output_path)
  81.                 .format(FormatDescriptor.for_format('canal-json')
  82.                         .build())
  83.                 .build())
  84.     else:
  85.         print("Printing result to stdout. Use --output to specify output path.")
  86.         t_env.create_temporary_table(
  87.             'sink',
  88.             TableDescriptor.for_connector('print')
  89.                 .schema(Schema.new_builder()
  90.                         .column('word', DataTypes.STRING())
  91.                         .column('count', DataTypes.BIGINT())
  92.                         .build())
  93.                 .build())
  95.     @udtf(result_types=[DataTypes.STRING()])
  96.     def split(line: Row):
  97.         for s in line[0].split():
  98.             yield Row(s)
  100.     # compute word count
  101.     tab.flat_map(split).alias('word') \
  102.         .group_by(col('word')) \
  103.         .select(col('word'), lit(1).count) \
  104.         .execute_insert('sink') \
  105.         .wait()
  106.     # remove .wait if submitting to a remote cluster, refer to
  107.     # https://nightlies.apache.org/flink/flink-docs-stable/docs/dev/python/faq/#wait-for-jobs-to-finish-when-executing-jobs-in-mini-cluster
  108.     # for more details
  111. if __name__ == '__main__':
  112.     logging.basicConfig(stream=sys.stdout, level=logging.INFO, format="%(message)s")
  114.     parser = argparse.ArgumentParser()
  115.     parser.add_argument(
  116.         '--input',
  117.         dest='input',
  118.         required=False,
  119.         help='Input file to process.')
  120.     parser.add_argument(
  121.         '--output',
  122.         dest='output',
  123.         required=False,
  124.         help='Output file to write results to.')
  126.     argv = sys.argv[1:]
  127.     known_args, _ = parser.parse_known_args(argv)
  129.     word_count(known_args.input, known_args.output)

执行一个 Flink Python Table API 程序

接下来，可以在命令行中运行作业（假设作业名为 word_count.py）：

  1. $ python word_count.py

上述命令会构建 Python Table API 程序，并在本地 mini cluster 中运行。如果想将作业提交到远端集群执行， 可以参考作业提交示例。

最后，你可以得到如下运行结果：

  1. +I[To, 1]
  2. +I[be,, 1]
  3. +I[or, 1]
  4. +I[not, 1]
  5. ...

上述教程介绍了如何编写并运行一个 Flink Python Table API 程序，你也可以访问 PyFlink 示例 ，了解更多关于 PyFlink 的示例。 如果想了解 Flink Python Table API 的更多信息，可以参考 Flink Python API 文档 。