用Hive建立RFM模型

一、前言

做数据分析的时候,我们总是喜欢把客户分类,这样才能更有针对性的制定运营活动,比如按性别、年龄、等级、区域、设备、渠道等各个维度进行细分,这些维度都是基于客户的自身属性。

《用Hive建立RFM模型》 用户分类

RFM模型是客户关系管理领域里的一种消费行为分析模型,用来衡量用户的内在价值和忠诚度。它从三个关键维度描述用户的购买行为,其中R近度(Recency)代表最近购买时间,指上次购买距离当前的时间间隔;F频度(Frequency)代表购买频率,指某一段时间内购买的次数;M额度(Monetary)代表总购买金额,指某一段时间内购买商品的金额。

经过研究发现:
- R值越小,用户越有可能产生新的交易。
- F值越大,用户越有可能产生新的交易。
- M值越大,用户越有可能产生新的交易。

根据RFM模型,可以将付费用户细分为8种类型:

R近度F频度M额度用户类型
重要价值客户
重要发展客户
重要保持客户
重要挽留客户
一般价值客户
一般发展客户
一般保持客户
一般挽留客户

《用Hive建立RFM模型》 RFM模型

二、构建RFM模型

样本数据(纯属虚构)
_uidpidmoney_tmpstatus
1025529360003110.9915198840982
1025529360009390.9915198845981
104598956000326515198847092
1045989560013443015199173162
112135473600001610015198732452
1121354736000070100015198758652
1169564096000233515198814682
11717150960005983015198939022
1171715096000585515198934412
117936559996411.9915198411182

其中,_uid表示付费用户ID,pid表示订单ID,money表示付费额度,_tm表示付费时间,pstatus表示订单状态(1表示退款,2表示支付成功),hive sql实现如下:

Hive SQL实现
WITH q1
AS (
    SELECT *
        ,datediff(from_unixtime(unix_timestamp(), 'yyyy-MM-dd'), from_unixtime(cast(last AS INT), 'yyyy-MM-dd')) AS recency
    FROM (
        SELECT *
        FROM (
            SELECT `_uid`
                ,cast(COALESCE(pamount, 0) AS DOUBLE) * cast(COALESCE(prate, 0) AS DOUBLE) AS pay
                ,pstatus
                ,row_number() OVER (
                    PARTITION BY `_uid`
                    ,`pid` ORDER BY `_tm` DESC
                    ) AS rank
                ,FIRST_VALUE(`_tm`) OVER (
                    PARTITION BY `_uid` ORDER BY `_tm` DESC
                    ) AS last
            FROM user_order2
            WHERE tm BETWEEN 20180101
                    AND 20180131
                AND plat = 607
            ) subquery
        WHERE subquery.rank = 1
            AND subquery.pstatus = 2
        ) a
    )
INSERT overwrite LOCAL directory '/home/hadoop/order' ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
SELECT u1.`_uid`
    ,CASE 
        WHEN u1.recency >= u2.recency
            AND u1.frequency >= u2.frequency
            AND u1.monetary >= u2.monetary
            THEN '重要价值客户'
        WHEN u1.recency >= u2.recency
            AND u1.frequency < u2.frequency
            AND u1.monetary >= u2.monetary
            THEN '重要发展客户'
        WHEN u1.recency < u2.recency
            AND u1.frequency >= u2.frequency
            AND u1.monetary >= u2.monetary
            THEN '重要保持客户'
        WHEN u1.recency < u2.recency
            AND u1.frequency < u2.frequency
            AND u1.monetary >= u2.monetary
            THEN '重要挽留客户'
        WHEN u1.recency >= u2.recency
            AND u1.frequency >= u2.frequency
            AND u1.monetary < u2.monetary
            THEN '一般价值客户'
        WHEN u1.recency >= u2.recency
            AND u1.frequency < u2.frequency
            AND u1.monetary < u2.monetary
            THEN '一般发展客户'
        WHEN u1.recency < u2.recency
            AND u1.frequency >= u2.frequency
            AND u1.monetary < u2.monetary
            THEN '一般保持客户'
        WHEN u1.recency < u2.recency
            AND u1.frequency < u2.frequency
            AND u1.monetary < u2.monetary
            THEN '一般挽留客户'
        END
FROM (
    SELECT `_uid`
        ,recency
        ,sum(pay) AS monetary
        ,count(1) AS frequency
    FROM q1
    GROUP BY `_uid`
        ,recency
    ) u1
JOIN (
    SELECT t2.daysum / t1.ucount AS recency
        ,t1.paycount / t1.ucount AS frequency
        ,t1.paysum / t1.ucount AS monetary
    FROM (
        SELECT sum(pay) AS paysum
            ,sum(1) AS paycount
            ,(count(DISTINCT `_uid`) * 1.0) AS ucount
        FROM q1
        ) t1
    JOIN (
        SELECT sum(recency) AS daysum
        FROM (
            SELECT `_uid`
                ,recency
            FROM q1
            GROUP BY `_uid`
                ,recency
            ) t
        ) t2
    ) u2
最终输出结果
_uid标签类型
12529029重要价值客户
94834596重要发展客户
96111789重要保持客户
115595186重要挽留客户
95696135一般价值客户
94851783一般发展客户
96083591一般保持客户
94901846一般挽留客户
用户类型分布

《用Hive建立RFM模型》 用户类型分布

三、总结

RFM是一个简洁、有效的模型。但其这三个维度包含的信息有限。在用户分类运营过程中,无法具体到个性化需求。如果某个类别的用户对活动没有响应,他仍然会出现在下一次的营销目标人群中,造成资源的浪费。可以结合画像系统中的其他标签属性,比如购买周期、响应程度、活跃程度等维度。
上面的例子采用均值来划分用户类型,它容易受到数据极端值的影响,对于偏态分布的数据,其划分结果的代表性较差,可以使用中位数(percentile)或者其他划分标准,如找出所有用户的整体分布形态,按照业务需求进行切分。
另外就是不同用户每次付费额度差异较大,有的用户一次付费额度只有1元,有的用户一次付费100元。但在计算频度时都算一次。因此需要在RFM指标基础上加上权重值,使其能够较好的反应出用户的最终价值。
聚类算法也经常被用于客户分类,我们将在下章特征工程中给出详细说明。

    原文作者:郑壮杰
    原文地址: https://www.jianshu.com/p/df7070172202
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞