功能介绍

写CSV文件。支持写到本地、hdfs。

参数说明

名称 中文名称 描述 类型 是否必须？ 默认值
filePath 文件路径 文件路径 String ✓
fieldDelimiter 字段分隔符 字段分隔符 String “,”
rowDelimiter 行分隔符 行分隔符 String “\n”
quoteChar 引号字符 引号字符 Character “\””
overwriteSink 是否覆写已有数据 是否覆写已有数据 Boolean false
numFiles 文件数目 文件数目 Integer 1

脚本示例

batch sink

  1. filePath = 'http://alink-dataset.cn-hangzhou.oss.aliyun-inc.com/csv/iris.csv'
  2. schema = 'sepal_length double, sepal_width double, petal_length double, petal_width double, category string'
  3. csvSource = CsvSourceBatchOp()\
  4.     .setFilePath(filePath)\
  5.     .setSchemaStr(schema)\
  6.     .setFieldDelimiter(",")
  7. csvSink = CsvSinkBatchOp()\
  8.     .setFilePath('~/csv_test.txt')
  10. csvSource.link(csvSink)
  12. BatchOperator.execute()

stream sink

  1. filePath = 'http://alink-dataset.cn-hangzhou.oss.aliyun-inc.com/csv/iris.csv'
  2. schema = 'sepal_length double, sepal_width double, petal_length double, petal_width double, category string'
  3. csvSource = CsvSourceStreamOp()\
  4.     .setFilePath(filePath)\
  5.     .setSchemaStr(schema)\
  6.     .setFieldDelimiter(",")
  7. csvSink = CsvSinkStreamOp()\
  8.     .setFilePath('~/csv_test_s.txt')
  10. csvSource.link(csvSink)
  12. StreamOperator.execute()