Python数据挖掘过程

版权声明:创作不易,请勿抄袭,转载请注明出处。如有疑问,请加微信 wx15151889890,谢谢。 https://blog.csdn.net/wx740851326/article/details/84551055

数据挖掘的建模过程

  1. 定义挖掘目标
    明确系统完成后想要达成什么样的效果。
    我们需要分析应用领域,了解相关领域的情况,熟悉背景知识,弄清用户需求。
  2. 数据取样
    从业务系统中抽取一个与挖掘目标相关的样本数据子集。
    抽取数据的标准,一是相关性,二是可靠性,三是有效性。
    衡量取样数据质量的标准如下:
    1)资料完整无缺,各类指标项齐全。
    2)数据准确无误,反映的都是正常(而不是异常)状态下的水平。
  3. 数据探索
    检验样本是否达到我们原来设想的要求,对数据进行探索,审核和必要的加工处理。
    数据探索和预处理的目的是为了保证样本数据的质量,从而为保证模型质量打下基础。
    数据探索主要包括:异常值分析、缺失值分析,相关分析和周期性分析
  4. 数据预处理
    当数据维度过大,如何进行将未处理、缺失值处理等都是数据预处理要解决的问题。
    由于采样数据中常常包含许多含有噪声、不完整,甚至不一致的数据,对数据挖掘所涉及的数据对象必须进行预处理。
    数据预处理主要包括:数据筛选、数据变量转换、缺失值处理、坏数据处理、数据标准化、主成分分析、属性选择、数据规约等。
  5. 挖掘建模
  6. 这是数据挖掘工作的核心环节。
    考虑本次建模属于数据挖掘应用中的那类问题(分类,聚类,关联规则,时许模式或者智能推荐),选用哪种算法进行模型构建。
  7. 模型评价
  8. 从这些模型中自动找出一个最好的模型,还要根据业务对模型进行解释和应用。

数据挖掘建模工具
Python
Python是一种面向对象、解释型计算机程序设计语言,它拥有高效的高级数据结构,并且能够用简单而又高效的方式进行面向对象编程。
在数据挖掘领域,它提供了众多扩展库。例如:
科学计算扩展库NumPy、Scipy和matplotlib,它们分别为python提供了快速数组处理、数值运算以及绘图功能。
机器学习相关的Sklearn类库,它提供了完善的机器学习工具箱,包括数据预处理、分类、回归、聚类、预测、模型分析等。
总的来讲,python是一门比较适合数据挖掘的语言。

猜你喜欢

转载自blog.csdn.net/wx740851326/article/details/84551055