*Spark

Spark 函数
Spark (Python版) 零基础学习笔记（一）—— 快速入门

1.map与flatMap 的区别;

使用map产生的 list 是分层的，第一层是 List 文件文本的第一行，第二层是 List 每一行内英文单词，

而 flatMap 有平铺的意思，产生的 List 会去掉分层，

文件读取

textFile = sc.textFile(‘dir/目录’)

Word 分散，偏平化

stringRDD= textFile.flatMap(lambda line: line.split(” “))

使用map 创建 Key – value 形式对

words = stringRDD.map(lambda word:(word,1))

使用reduceByKey()统计每个单词出现次数

words.reduceByKey(lambda x,y:x + y).collect()

map、flatMap、reduceByKey 都是tranfromations 懒惰操作

作者：shilaike2
来源：CSDN
原文：https://blog.csdn.net/shilaike2/article/details/80392116
版权声明：本文为博主原创文章，转载请附上博文链接！