分位点离散

功能介绍

分位点离散可以计算选定列的分位点，然后使用这些分位点进行离散化。 生成选中列对应的q-quantile，其中可以所有列指定一个，也可以每一列对应一个

参数说明

名称 中文名称 描述 类型 是否必须？ 默认值
selectedCols 选择的列名 计算列对应的列名列表 String[] ✓
numBuckets quantile个数 quantile个数，对所有列有效。 Integer 2
numBucketsArray quantile个数 quantile个数，每一列对应数组中一个元素。 Integer[] null
leftOpen 左开右闭 左开右闭 Boolean true
selectedCols 选择的列名 计算列对应的列名列表 String[] ✓
reservedCols 算法保留列名 算法保留列 String[] null
outputCols 输出结果列列名数组 输出结果列列名数组，可选，默认null String[] null
handleInvalid 未知Token处理策略 未知Token处理策略，”keep”, “skip”, “error” String “keep”
encode 编码方式 编码方式，”INDEX”, “VECTOR”, “ASSEMBLED_VECTOR” String INDEX
dropLast 是否删除最后一个元素 是否删除最后一个元素 Boolean true

脚本示例

脚本代码

  1. import numpy as np
  2. import pandas as pd
  3. from pyalink.alink import *
  6. def exampleData():
  7.     return np.array([
  8.         ["a", 1, 1, 2.0, True],
  9.         ["c", 1, 2, -3.0, True],
  10.         ["a", 2, 2, 2.0, False],
  11.         ["c", 0, 0, 0.0, False]
  12.     ])
  15. def sourceFrame():
  16.     data = exampleData()
  17.     return pd.DataFrame({
  18.         "f_string": data[:, 0],
  19.         "f_long": data[:, 1],
  20.         "f_int": data[:, 2],
  21.         "f_double": data[:, 3],
  22.         "f_boolean": data[:, 4]
  23.     })
  26. def batchSource():
  27.     return dataframeToOperator(
  28.         sourceFrame(),
  29.         schemaStr='''
  30.     f_string string, 
  31.     f_long long, 
  32.     f_int int, 
  33.     f_double double, 
  34.     f_boolean boolean
  35.     ''',
  36.         op_type='batch'
  37.     )
  39. def streamSource():
  40.     return dataframeToOperator(
  41.         sourceFrame(),
  42.         schemaStr='''
  43.     f_string string, 
  44.     f_long long, 
  45.     f_int int, 
  46.     f_double double, 
  47.     f_boolean boolean
  48.     ''',
  49.         op_type='stream'
  50.     )
  52. (
  53.     QuantileDiscretizer()
  54.     .setSelectedCols(['f_double'])
  55.     .setNumBuckets(8)
  56.     .fit(batchSource())
  57.     .transform(batchSource())
  58.     .print()
  59. )
  61. (
  62.     QuantileDiscretizer()
  63.     .setSelectedCols(['f_double'])
  64.     .setNumBuckets(8)
  65.     .fit(batchSource())
  66.     .transform(streamSource())
  67.     .print()
  68. )
  70. StreamOperator.execute()

脚本结果

批预测结果

  1.   f_string  f_long  f_int  f_double  f_boolean
  2. 0        a       1      1         2       True
  3. 1        c       1      2         0       True
  4. 2        a       2      2         2      False
  5. 3        c       0      0         1      False

流预测结果

  1.     f_string    f_long    f_int    f_double    f_boolean
  2. 0    c    1    2    0    True
  3. 1    c    0    0    1    False
  4. 2    a    1    1    2    True
  5. 3    a    2    2    2    False