数据挖掘入门

基本过程

1 数据清洗
2 特征工程
3 模型调参
4 生成结果

1.1 数据清洗

重要性:数据决定一切,数据越多模型效果越好
1)数值类型

  • 加载数据为pandas数据表(python语言)或其他方便进行处理的数据类型
  • 处理缺失值:直接删掉或者用其他值填充
  • 归一化
  • 标准化
  • 转化数据的浮点类型等

2)文本类型

  • 数值化/层级化

简言之,将原始数据转换成基本特征*

2.1 特征工程

重要性:决定了模型训练的上界

  • 可视化观察特征关系
  • 分组比较找出不同特征之间的关系
  • 组合、创建新特征
  • 深度学习找出潜在的特征关系(非监督学习)

3.1 模型调参

不必纠结于单个最优模型、单个最优参数,找好各个模型的最适参数后进行融合可以集大成

  • 选择模型、改动参数进行按照规定评判原则对比调优
    • 交叉验证确定训练子集和测试子集的比例
    • 学习速率决定了最佳的运行速度
  • 得到每个模型的最优结果后可以先尝试进行过基本权重融合
  • 也可以使用GBDT或AdaBoost进行融合

4.1 提交结果

  • 使用以上已训练好的数据对测试集数据进行预测,生成符合格式的submission.csv文件进行提交

最后,这只是本人在学习数据挖掘过程中总结的一些小经验,难免疏漏,欢迎指正。

猜你喜欢

转载自blog.csdn.net/Shuang_Mo/article/details/80899767
今日推荐