Spark MLlib机器学习开发指南(7)–特征转换–Tokenizer
翻译自Tokenizer,基于最新2.2.0版本翻译,转载注明出处 xcrossed 机器学习
Tokenizer
Tokenization(这个可以翻译成标记,或者分词)是一个接受文本(通常是句子)输入,然后切分成词汇(通常是单词)。Tokenizer类可以提供这个功能。下面的示例展示了将句子切分成单词序列。
RegexTokenizer(可以翻译成正则化分词器或者正则化标记)基于正则表达式匹配提供了更多高级的分词功能。默认情况下,使用空格作为分隔符来分陋输入的文本。或者,用户可以将gaps参数设置为false,表明使用正则表达式匹配标记,而不是使用分隔符,并找到所有匹配到标记结果。
详细API参考Tokenizer Scala docs和RegexTokenizer Scala docs
Examples
import org.apache.spark.ml.feature.{RegexTokenizer, Tokenizer}
import org.apache.spark.sql.functions._
val sentenceDataFrame = spark.createDataFrame(Seq(
(0, "Hi I heard about Spark"),
(1, "I wish Java could use case classes"),
(2, "Logistic,regression,models,are,neat")
)).toDF("id", "sentence")
val tokenizer = new Tokenizer().setInputCol("sentence").setOutputCol("words")
val regexTokenizer = new RegexTokenizer()
.setInputCol("sentence")
.setOutputCol("words")
.setPattern("\\W") // alternatively .setPattern("\\w+").setGaps(false)
val countTokens = udf { (words: Seq[String]) => words.length }
val tokenized = tokenizer.transform(sentenceDataFrame)
tokenized.select("sentence", "words")
.withColumn("tokens", countTokens(col("words"))).show(false)
val regexTokenized = regexTokenizer.transform(sentenceDataFrame)
regexTokenized.select("sentence", "words")
.withColumn("tokens", countTokens(col("words"))).show(false)
完整代码在spark仓库的examples/src/main/scala/org/apache/spark/examples/ml/TokenizerExample.scala位置