scala常用操作

scala常用操作

版本信息
python3.7
pyspark2.4.0

from pyspark import SQLContext,SparkContext,SparkConf

conf = SparkConf()
sc = SparkContext(conf=conf)
sqlContext = SQLContext(sc)
#加载csv文件
data = sqlContext.read.format("csv").option("header","true").load("union_order_user")
#按字段降序排序
sorted=data.sort("created_at",ascending = False)
#展示前100条记录 默认展示20条
sorted.show(100)
    原文作者:无形
    原文地址: https://segmentfault.com/a/1190000018447033
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞