功能介绍

数据去重

参数说明

名称 中文名称 描述 类型 是否必须？ 默认值

脚本示例

脚本代码

  1. URL = "http://alink-dataset.cn-hangzhou.oss.aliyun-inc.com/csv/iris.csv"
  2. SCHEMA_STR = "sepal_length double, sepal_width double, petal_length double, petal_width double, category string";
  3. data = CsvSourceBatchOp().setFilePath(URL).setSchemaStr(SCHEMA_STR)
  4. data = data.select('category').link(DistinctBatchOp())
  5. data.print()

运行结果

  1.           category
  2. 0      Iris-setosa
  3. 1  Iris-versicolor
  4. 2   Iris-virginica