pyspark系列--自定义函数

2024年3月26日 249次阅读 来源: master苏

自定义函数

  • 1. 概览
  • 2. 自定义函数的一般流程
  • 3. 简单的自定义函数
  • 4. 自定义函数进阶

1. 概览

自定义函数的重点在于定义返回值类型的数据格式，其数据类型基本都是从from pyspark.sql.types import * 导入，常用的包括：

StructType()：结构体
StructField()：结构体中的元素
LongType()：长整型
StringType()：字符串
IntegerType()：一般整型
FloatType()：浮点型

还记得我们在前面的创建spark.dataframe提到的例子吗，dataframe的数据结构定义如下：

from pyspark.sql.types import StructType, StructField, LongType, StringType
schema = StructType([
    StructField("id", LongType(), True),
    StructField("name", StringType(), True),
    StructField("age", LongType(), True),
    StructField("eyeColor", StringType(), True)
])

2. 自定义函数的一般流程

# 1.创建普通的python函数
def toDate(s):
    return str(s)+'-'

# 2.注册自定义函数
from pyspark.sql.functions import udf
from pyspark.sql.types import StringType

# 根据python的返回值类型定义好spark对应的数据类型
# python函数中返回的是string，对应的pyspark是StringType
toDateUDF=udf(toDate, StringType())  

# 使用自定义函数
df1.withColumn('color',toDateUDF('color')).show()

3. 简单的自定义函数

最简单的就是通过lambda函数，不需要定义返回值类型，可以直接使用

# 创建udf自定义函数
from pyspark.sql import functions
concat_func = functions.udf(lambda name,age:name+'_'+str(age))  # 简单的连接两个字符串

# 应用自定义函数
concat_df = spark_df.withColumn("name_age",concat_func(final_data.name, final_data.age))
concat_df.show()

4. 自定义函数进阶

对于简单的自定义函数，用上面的方法是足够了，但是很多时候，我们面对的问题比较复杂，需要对返回值的格式要求比较特别，就需要定义复杂的返回值类型了。

    原文作者：master苏
    原文地址: https://zhuanlan.zhihu.com/p/34902006
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞