Scikit-Learn Transformer 示例

接下来我们列出了一些更为复杂的 Transformer，以及一些需要额外处理来更好兼容 Pipeline 和特征联合的 Transformer。

Label Encoder

在 Spark 中，LabelEncoder 和 StringIndexer 是等价的，但是在 Scikit-Learn 中，我们需要去考虑一些独有的特性：

  1. LabelEncoder 一次只能作用于单个特征
  2. LabelEncoder 的输出是一个 (1, n)，而非 (n, 1) 的 numpy 数组，因此还需要进行例如 One-Hot-Encoding 之类的进一步处理。

下面是一个 LabelEncoder 的示例 Pipeline。

  1. # Create a dataframe with some a categorical and a continuous feature
  2. df = pd.DataFrame(np.array([ ['Alice', 32], ['Jack', 18], ['Bob',34]]), columns=['name', 'age'])
  4. # Define our feature extractor
  5. feature_extractor_tf = FeatureExtractor(input_scalars=['name'], 
  6.                                         output_vector='name_continuous_feature', 
  7.                                         output_vector_items=['name_label_encoded'])
  9. # Label Encoder for x1 Label 
  10. label_encoder_tf = LabelEncoder()
  11. label_encoder_tf.mlinit(input_features = feature_extractor_tf.output_vector_items, output_features='name_label_le')
  13. # Reshape the output of the LabelEncoder to N-by-1 array
  14. reshape_le_tf = ReshapeArrayToN1()
  16. # Create our pipeline object and initialize MLeap Serialization
  17. le_pipeline = Pipeline([(feature_extractor_tf.name, feature_extractor_tf),
  18.                         (label_encoder_tf.name, label_encoder_tf),
  19.                         (reshape_le_tf.name, reshape_le_tf)
  20.                         ])
  21. le_pipeline.mlinit()
  23. # Transform our DataFrame
  24. le_pipeline.fit_transform(df)
  26. # output
  27. array([[0],
  28.        [2],
  29.        [1]])

接下来我们来结合 LabelIndexer 和 OneHotEncoder。

Scikit-Learn 中的 OneHotEncoder

我们继续来看 Scikit-Learn 自带的 OneHotEncoder 是如何运作的：

  1. ## Vector Assembler for x1 One Hot Encoder
  2. one_hot_encoder_tf = OneHotEncoder(sparse=False) # Make sure to set sparse=False
  3. one_hot_encoder_tf.mlinit(prior_tf=label_encoder_tf, output_features = '{}_one_hot_encoded'.format(label_encoder_tf.output_features))
  4. #
  6. # Construct our pipeline
  7. one_hot_encoder_pipeline_x0 = Pipeline([
  8.                                          (feature_extractor_tf.name, feature_extractor_tf),
  9.                                          (label_encoder_tf.name, label_encoder_tf),
  10.                                          (reshape_le_tf.name, reshape_le_tf),
  11.                                          (one_hot_encoder_tf.name, one_hot_encoder_tf)
  12.                                         ])
  14. one_hot_encoder_pipeline_x0.mlinit()
  16. # Execute our LabelEncoder + OneHotEncoder pipeline on our dataframe
  17. one_hot_encoder_pipeline_x0.fit_transform(df)
  18. matrix([[ 1.,  0.,  0.],
  19.         [ 0.,  0.,  1.],
  20.         [ 0.,  1.,  0.]])

Scikit-Learn 中的 OneHotEncoder 的一个缺点是其缺失了 ML Pipeline 所要求的 drop_last 功能。

MLeap 带来的 OneHotEncoder 则提供了这个功能。

MLeap 的 OneHotEncoder

类似于 Scikit-Learn 的 OneHotEncoder，但是我们设置了一个额外的 drop_last 属性。

  1. from mleap.sklearn.extensions.data import OneHotEncoder
  3. ## Vector Assembler for x1 One Hot Encoder
  4. one_hot_encoder_tf = OneHotEncoder(sparse=False, drop_last=True) # Make sure to set sparse=False
  5. one_hot_encoder_tf.mlinit(prior_tf=label_encoder_tf, output_features = '{}_one_hot_encoded'.format(label_encoder_tf.output_features))
  6. #
  8. # Construct our pipeline
  9. one_hot_encoder_pipeline_x0 = Pipeline([
  10.                                          (feature_extractor_tf.name, feature_extractor_tf),
  11.                                          (label_encoder_tf.name, label_encoder_tf),
  12.                                          (reshape_le_tf.name, reshape_le_tf),
  13.                                          (one_hot_encoder_tf.name, one_hot_encoder_tf)
  14.                                         ])
  16. one_hot_encoder_pipeline_x0.mlinit()
  18. # Execute our LabelEncoder + OneHotEncoder pipeline on our dataframe
  19. one_hot_encoder_pipeline_x0.fit_transform(df)
  20. matrix([[ 1.,  0.],
  21.         [ 0.,  0.],
  22.         [ 0.,  1.]])