尝试将StringType强制转换为 JSON的ArrayType,以生成CSV格式的数据帧. 在Spark2上使用pyspark 我正在处理的CSV文件;如下 – date,attribute2,count,attri…
分类:pyspark-sql
在Python和PySpark中等效的R data.table滚动连接
有谁知道如何在PySpark中进行R data.table滚动连接? 借用Ben here的滚动连接的例子和很好的解释; sales<-data.table(saleID=c("S1","S2","S3","S4"…