Tokenizer

  Tokenization是一个将文本(如一个句子)转换为个体单元(如词)的处理过程。
一个简单的Tokenizer类就提供了这个功能。下面的例子展示了如何将句子转换为此序列。

  RegexTokenizer基于正则表达式匹配提供了更高级的断词(tokenization)。默认情况下,参数pattern(默认是\s+)作为分隔符,
用来切分输入文本。用户可以设置gaps参数为false用来表明正则参数pattern表示tokens而不是splitting gaps,这个类可以找到所有匹配的事件并作为结果返回。下面是调用的例子。

  1. import org.apache.spark.ml.feature.{RegexTokenizer, Tokenizer}
  3. val sentenceDataFrame = spark.createDataFrame(Seq(
  4.   (0, "Hi I heard about Spark"),
  5.   (1, "I wish Java could use case classes"),
  6.   (2, "Logistic,regression,models,are,neat")
  7. )).toDF("label", "sentence")
  9. val tokenizer = new Tokenizer().setInputCol("sentence").setOutputCol("words")
  10. val regexTokenizer = new RegexTokenizer()
  11.   .setInputCol("sentence")
  12.   .setOutputCol("words")
  13.   .setPattern("\\W") // alternatively .setPattern("\\w+").setGaps(false)
  15. val tokenized = tokenizer.transform(sentenceDataFrame)
  16. tokenized.select("words", "label").take(3).foreach(println)
  17. val regexTokenized = regexTokenizer.transform(sentenceDataFrame)
  18. regexTokenized.select("words", "label").take(3).foreach(println)