pyspark系列--自定义函数

自定义函数

  • 1. 概览
  • 2. 自定义函数的一般流程
  • 3. 简单的自定义函数
  • 4. 自定义函数进阶

1. 概览

自定义函数的重点在于定义返回值类型的数据格式,其数据类型基本都是从from pyspark.sql.types import * 导入,常用的包括:

StructType():结构体
StructField():结构体中的元素
LongType():长整型
StringType():字符串
IntegerType():一般整型
FloatType():浮点型

还记得我们在前面的创建spark.dataframe提到的例子吗,dataframe的数据结构定义如下:

from pyspark.sql.types import StructType, StructField, LongType, StringType
schema = StructType([
    StructField("id", LongType(), True),
    StructField("name", StringType(), True),
    StructField("age", LongType(), True),
    StructField("eyeColor", StringType(), True)
])

2. 自定义函数的一般流程

# 1.创建普通的python函数
def toDate(s):
    return str(s)+'-'

# 2.注册自定义函数
from pyspark.sql.functions import udf
from pyspark.sql.types import StringType

# 根据python的返回值类型定义好spark对应的数据类型
# python函数中返回的是string,对应的pyspark是StringType
toDateUDF=udf(toDate, StringType())  

# 使用自定义函数
df1.withColumn('color',toDateUDF('color')).show()

3. 简单的自定义函数

最简单的就是通过lambda函数,不需要定义返回值类型,可以直接使用

# 创建udf自定义函数
from pyspark.sql import functions
concat_func = functions.udf(lambda name,age:name+'_'+str(age))  # 简单的连接两个字符串

# 应用自定义函数
concat_df = spark_df.withColumn("name_age",concat_func(final_data.name, final_data.age))
concat_df.show()

4. 自定义函数进阶

对于简单的自定义函数,用上面的方法是足够了,但是很多时候,我们面对的问题比较复杂,需要对返回值的格式要求比较特别,就需要定义复杂的返回值类型了。

    原文作者:master苏
    原文地址: https://zhuanlan.zhihu.com/p/34902006
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞