Spark MLlib机器学习开发指南(7)--特征转换--Tokenizer

Spark MLlib机器学习开发指南(7)–特征转换–Tokenizer

翻译自Tokenizer,基于最新2.2.0版本翻译,转载注明出处 xcrossed 机器学习

Tokenizer

Tokenization(这个可以翻译成标记,或者分词)是一个接受文本(通常是句子)输入,然后切分成词汇(通常是单词)。Tokenizer类可以提供这个功能。下面的示例展示了将句子切分成单词序列。

RegexTokenizer(可以翻译成正则化分词器或者正则化标记)基于正则表达式匹配提供了更多高级的分词功能。默认情况下,使用空格作为分隔符来分陋输入的文本。或者,用户可以将gaps参数设置为false,表明使用正则表达式匹配标记,而不是使用分隔符,并找到所有匹配到标记结果。

详细API参考Tokenizer Scala docsRegexTokenizer Scala docs

Examples

import org.apache.spark.ml.feature.{RegexTokenizer, Tokenizer}
import org.apache.spark.sql.functions._

val sentenceDataFrame = spark.createDataFrame(Seq(
  (0, "Hi I heard about Spark"),
  (1, "I wish Java could use case classes"),
  (2, "Logistic,regression,models,are,neat")
)).toDF("id", "sentence")

val tokenizer = new Tokenizer().setInputCol("sentence").setOutputCol("words")
val regexTokenizer = new RegexTokenizer()
  .setInputCol("sentence")
  .setOutputCol("words")
  .setPattern("\\W") // alternatively .setPattern("\\w+").setGaps(false)

val countTokens = udf { (words: Seq[String]) => words.length }

val tokenized = tokenizer.transform(sentenceDataFrame)
tokenized.select("sentence", "words")
    .withColumn("tokens", countTokens(col("words"))).show(false)

val regexTokenized = regexTokenizer.transform(sentenceDataFrame)
regexTokenized.select("sentence", "words")
    .withColumn("tokens", countTokens(col("words"))).show(false)

完整代码在spark仓库的examples/src/main/scala/org/apache/spark/examples/ml/TokenizerExample.scala位置

    原文作者:xcrossed
    原文地址: https://www.jianshu.com/p/525ec416e5d3
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞