1.数据挖掘经典案例
1、预测未来一段时间用户是否会流失
2、某个促销活动用户是否会响应参加
3、评估用户信用度是好还是差
4、细分现有的目标市场
5、对现有客户群进行群体细分
6、提升商品销售及交叉销售
7、一群用户购买了很多商品之后，哪些商品同时购买的几率比较高
8、预测未来的销量
9、天气预报中预测明天的气温是怎样的
10、国家的年底规划中，预测明年的GDP增长率是怎样的
数据挖掘要做的就是把上述类似的商业问题转化为数据挖掘问题
2.数据挖掘问题分类
- 分类问题
促销活动响应，评估用户度都属于数据挖掘的分类问题，常见的分类方法:决策树、贝叶斯、KNN、支持向量机、神经网络和逻辑回归等。 - 聚类问题
细分市场，细分客户群体都属于数据挖掘的聚类问题，常见的聚类算法：划分聚类、层次聚类、密度聚类、网格聚类、基于模型聚类等。 - 关联问题
交叉销售问题等属于关联问题，关联分析也叫购物篮分析，常见的关联分析算法：Aprior算法、Carma算法，序列算法等。 - 预测问题
通常，预测是通过分类或估值起作用的其目的是对未来未知变量的预测，常用的方法：简单线性回归分析、多重线性回归分析、时间序列等。
3.数据挖掘过程
- 确定业务对象
清晰地定义出业务问题,认清数据挖掘的目的是数据挖掘的重要一步.挖掘的最后结构是不可预测的,但要探索的问题应是有预见的,为了数据挖掘而数据挖掘则带有盲目性,是不会成功的. 数据准备
1)、数据的选择
搜索所有与业务对象有关的内部和外部数据信息,并从中选择出适用于数据挖掘应用的数据.
2)、数据的预处理
研究数据的质量,为进一步的分析作准备.并确定将要进行的挖掘操作的类型.
3)、数据的转换
将数据转换成一个分析模型.这个分析模型是针对挖掘算法建立的.建立一个真正适合挖掘算法的分析模型是数据挖掘成功的关键.数据挖掘
对所得到的经过转换的数据进行挖掘.除了完善和选择合适的挖掘算法外,其余一切工作都能自动地完成.- 结果分析
解释并评估结果.其使用的分析方法一般应作数据挖掘操作而定,通常会用到可视化技术. - 知识的同化
将分析所得到的知识集成到业务信息系统的组织结构中去.
4.如何学习数据挖掘
一、用何种工具实操数据挖掘
- 达到理解入门层次
了解统计学和数据库即可 - 达到初级职场应用层次
数据库＋统计学＋SPSS（也可以是SPSS代替软件） - 达到中级职场应用层次
SAS或R - 达到数据挖掘师层次
SAS或R＋Python(或其他编程语言)
二、利用Python学习数据挖掘
- Pandas库的操作
Panda是数据分析特别重要的一个库，我们要掌握以下三点：
1）pandas 分组计算；
2）pandas 索引与多重索引；
索引比较难，但是却是非常重要的
3）pandas 多表操作与数据透视表 - numpy数值计算
numpy数据计算主要的应用是在数据挖掘，对于以后的机器学习，深度学习，这也是一个必须掌握的库，我们要掌握以下内容：
1）Numpy array理解；
2）数组索引操作；
3）数组计算；
4）Broadcasting(线性代数里面的知识) - 数据可视化－matplotlib与seaborn
1）Matplotib语法。
2）seaborn可视化工具的使用
3）pandas绘图功能 - 数据挖掘入门
这部分是最难也是最有意思的一部分，要掌握以下几个部分：
1）机器学习的定义
2）代价函数的定义
3）Train/Test/Validate
4) Overfitting的定义与避免方法 - 数据挖掘算法
最简单的，最核心的，最常用的算法：
1）最小二乘算法；2）梯度下降；
3）向量化；4）极大似然估计；
5）Logistic Regression；6) Decision Tree；7) RandomForesr；8) XGBoost - 数据挖掘实战
通过机器学习里面最著名的库scikit-learn来进行模型的理解