数据挖掘的流程与方法
1.任务:
- 关联分析
- 聚类分析
- 分类分析
- 异常分析
- 特异组群分析
- 演变分析
2.方法:
- 统计
- 在线处理分析
- 情报检索
机器学习
分类
- 实际应用: 应用分类/趋势预测/推荐关联类商品
回归分析
- 实际应用: 预测销售趋势
聚类
- 实际应用: 分类
关联规则
- 包括两个阶段: 从海量数据中找到高频项目组/产生关联规则
- 实际应用: 预测客户需求
Web数据挖掘
- 常用算法: PageRank算法/HITS算法/LOGSOM算法
- 问题: 用户分类/用户页面停留时间/内容时效性/页面链入链出/
- 专家系统
- 模式识别
神经网络方法
神经网络模型的种类:
- 用于分类预测和模式识别的前馈式: 函数型网络/感知机
- 用于联想记忆和优化算法的反馈式: 离散模型/连续模型
- 用于聚类的自组织映射: ART模型
3.步骤:
one.业务理解
阶段目标
- 明确商业问题和数据挖掘目标
- 制定项目计划
工作任务
- 业务需求调研，问题背景
- 项目资源评估，确定资源需求
- 明确业务目标和成功的标准
- 挖掘目标确定，可行性，明确数据挖掘目标和成功标准
- 项目计划制定，指导项目实施
实施要点
- 充分的需求调研和沟通交流
- 合理的资源、约束条件假设
- 合适的挖掘结果应用场景设定
two.数据理解
阶段目标
- 确定建模所需用的数据
- 探索建模需要的目标变量
工作任务
- 数据字典编制，梳理内外部数据类型
- 明确数据业务指标含义
- 质量校验，确保数据全面性和可用性
目标变量探索，为模型构建做准备
- 数据的数据量（维度和样本大小）
- 数据的质量（缺失值、异常值、不一致性等）
- 数据的分布规律（各种统计指标）
实施要点
- 必备的内外部数据可获取和可干预
- 数据一致性、完整性、准确性
- 目标因子初步分析确定
three.数据准备
阶段目标
- 建立数据集市或宽表
工作任务
数据集市或宽表设计
- 将多个表信息进行整合:表之间的联接/明细数据的汇总加工
- 处理数据质量问题: 缺失值/异常值
数据清洗、加载、转换
- 数据的字段进行变换: 规范化/标准化
- 或都将数据进行映射变换，如Log变化
- 数值型按区间转换成名词型字段
特征工程
- 从业务角度加工新的计算指标
- 进行自动特征构建、特征选择、特征降维
- 数据质量校验
- 数据标准化
实施要点
- 高效的数据保障项目进度和质量
four.建立模型
阶段目标
- 选择合适的技术建模
- 实现数据挖掘目标
工作任务
- 技术选型，选择合适的模型算法
- 样本选取，确定训练样本、测试样本和验证样本
- 模型建立，筛选变量、模型训练、模型测试
- 模型评估，评估模型是否满足数据挖掘目标
实施要点
- 合适的技术帮助实现挖掘目标
- 样本数据真实反映业务需求
- 全面评估模型数据挖掘效果
five.检验模型
阶段目标
- 进行模型的业务应用测试（A/B测试）
- 判断是否实现商业目标
工作任务
- 模型试用，确定业务场景，进行模型应用测试，收集反馈效果
- 效果评价，对测试效果进行评估分析，判断模型是否满足商业目标
实施要点
- 合适的业务场景试用方案
- 全面科学的效果评价
six.结果部署
阶段目标
- 把数据挖掘成果部署到商业环境，应用于生产
工作任务
- 规划部署，制定部署计划和方案
- 监控与维护，实时跟踪，验证商业目标达成情况
- 总结报告，经验积累
实施要点
- 科学规划，保障无缝部署
- 即时监控及维护响应，保障运营
- 全面的总结分析，积累经验
