使用jdk8 stream 统计单词数

2023年7月14日 208次阅读

在我的SpringBoot2.0不容错过的新特性 WebFlux响应式编程里面，有同学问如何使用stream统计单词数。这是个好例子，也很典型，在这里补上。

下面的例子实现了从一个文本文件读取（英文）文本并统计单词数的功能。

package com.imooc;

import java.io.BufferedReader;
import java.io.FileReader;
import java.io.IOException;

/**
 * 使用stream统计文章单词数
 * 
 * @author 晓风轻
 *
 */
public class StreamWordDemo {

  public static void main(String[] args) throws IOException {
    // 使用try-resource 关闭资源
    try (BufferedReader reader = new BufferedReader(
        new FileReader("webflux.txt"))) {

      long wordCount = reader.lines()
          // trim前后空格(使用方法引用)
          .map(String::trim)
          // 过滤掉空串
          .filter(s -> !s.isEmpty())
          // 把空格隔开的转为单词数组
          .map(s -> s.split(" "))
          // 得到数组长度
          .mapToInt(array -> array.length)
          // 并行(都是无状态操作)
          .parallel()
          // 求和
          .sum();

      System.out.println("单词数:" + wordCount);
    }
  }
}

牵涉的知识点主要还是lambda表达式和stream的基本应用。大家可以看出，使用stream编程代码非常清晰和简单，可读性很强。

下面获取每个单词出现的次数

    // 使用try-resource 关闭资源
    try (BufferedReader reader = new BufferedReader(
        new FileReader("webflux.txt"))) {

      Map<String, Long> counts = reader.lines()
          // trim前后空格(使用方法引用)
          .map(String::trim)
          // 过滤掉空串
          .filter(s -> !s.isEmpty())
          // 把空格隔开的转为数组
          .map(s -> s.split(" "))
          // 数组转成流
          .map(array -> Stream.of(array))
          // 拉平
          .flatMap(stream -> stream)
          // 分组
          .collect(Collectors.groupingBy(s -> s, Collectors.counting()));

      System.out.println("单词出现次数:" + counts);

      // 统计信息
      LongSummaryStatistics summaryStatistics = counts.entrySet().stream()
          // 得到次数
          .mapToLong(entry -> entry.getValue())
          // 统计
          .summaryStatistics();

      System.out.println("统计信息:" + summaryStatistics);
    }

输出的统计信息为：

统计信息:LongSummaryStatistics{count=170, sum=271, min=1, average=1.594118, max=14}

可以看出，一共有271个单词，不同的词有170个，出现最多的14次，最少1次，平均1.594118次。

这就是stream的编程风格，其中lambda表达式是函数式编程的基础，是后面的stream，reactor的前置基础知识。对lambda表达式，stream流编程以及响应式编程webflux有更多兴趣的可以学习我的实战课程 SpringBoot2.0不容错过的新特性 WebFlux响应式编程，里面有详细的讲解，课程干货满满，7小时只需要128元，海量的知识点的底层实现讲解和自己动手编写响应式的类似feign的restclient，绝对物超所值！

上面范例代码github地址：stream流编程处理单词

点赞