在数据分析工作中，数据准备（Data Preparation，包括数据的获取、清洗、转换和集成）常常占据了70%左右的工作量。没有高质量的数据，就没有高质量的数据挖掘结果，数据缺失是数据分析中经常遇到的问题之一。
缺失值是指粗糙数据中由于缺少信息而造成的数据的删失或截断。它指的是现有数据集中某个或某些属性的值是不完全的。
值得注意的是，这里所说的缺失值，不仅包括数据库中的NULL值，也包括用于表示数值缺失的特殊数值（比如，在系统中用-999来表示数值不存在）。如果在数据库中缺乏相关的数据说明，常常需要花费更多的精力来发现这些数值的特殊含义。而如果我们漠视这些数值的特殊性，直接拿来进行数据分析，那么很可能会得到错误的结论。
还有一种缺失值的情况，是因为我们要求统计的时间窗口并非对所有数据都适合。例如，我们希望计算出“客户在以前六个月内的最大存款余额”，对于那些建立账户尚不满六个月的客户来说，统计出来的数值与我们想要得到的就可能存在差距。
当数据缺失比例很小时，可直接将缺失记录删除或进行手工处理。但在实际业务数据中，往往缺失数据占有相当的比重，这种情况下如果手工处理非常低效，如果直接删除缺失记录，则会丢失大量信息，使不完全观测数据与完全观测数据间产生系统差异，这样的数据得出的分析结论也会存在较大偏差。
造成数据缺失的原因
实际业务中的数据异常杂乱，数据缺失的情况经常发生甚至是不可避免的。造成数据缺失的原因是多方面的：
- 信息暂时无法获取。例如在医疗数据库中，并非所有病人的所有临床检验结果都能在给定的时间内得到，就会致使一部分数据值空缺。
- 信息被遗漏。可能是因为输入时认为不重要、忘记填写了或对数据理解错误而遗漏，也可能是由于数据采集设备的故障、存储介质的故障、传输媒体的故障、一些人为因素等原因而丢失。
- 有些对象的某个或某些属性是不可用的。如一个未婚者的配偶姓名、一个儿童的固定收入状况等。
- 有些信息（被认为）是不重要的。如一个属性的取值与给定语境是无关的，或训练数据库的设计者并不在乎某个属性的取值（称为dont-care value）。
- 获取这些信息的代价太大。
- 系统实时性能要求较高，即要求得到这些信息前迅速做出判断或决策。
数据缺失机制
在对缺失数据进行处理前，了解数据缺失的机制和形式是十分必要的。将数据集中不含缺失值的变量（属性）称为完全变量，数据集中含有缺失值的变量称为不完全变量。从缺失值的分布可以分为完全随机缺失，随机缺失和完全非随机缺失 。
完全随机缺失（missing completely at random,MCAR）
数据的缺失不依赖于自身或者其他变量，完全是随机的，与不完全变量以及完全变量都是无关的，所以它对整个数据的影响没有任何的偏好性，呈现均一分布。如家庭地址的缺失。
随机缺失（Missing at Random，MAR）
数据的缺失不是完全随机的，该类数据的缺失依赖于其他完全变量。例如财务数据缺失情况与企业的大小有关。
非随机缺失(missing not at random,MNAR)
数据的缺失与不完全变量自身的取值有关。如高收入人群的不原意提供家庭收入。
对于随机缺失和非随机缺失，直接删除缺失记录是不合适的。随机缺失可以通过已知变量对缺失值进行估计；而非随机缺失还没有很好的解决办法。
空值的含义
对于某个对象的属性值缺失或未知的情况，该属性的取值存储为空值(null value)。空值可以分成以下三类：
-
不存在型空值。即无法填充的值，或称对象在该属性上无法取值，如一个未婚者的配偶姓名等。
-
存在型空值。即对象在该属性上取值是存在的，但暂时无法知道。一旦对象在该属性上的实际值被确知以后，就可以用实际值来取代原来的空值，使信息趋于完全。
-
占位型空值。即无法确定是不存在型空值还是存在型空值，这要随着时间的推移才能够清楚，是最不确定的一类。这种空值的填充只表示填充，并不代表任何其他信息。
缺失值处理的必要性
数据缺失在许多研究领域都是一个复杂的问题。对数据挖掘来说，缺失值的存在造成了以下影响：
- 丢失了大量的有用信息；
- 数据模型中所表现出的不确定性更加显著，蕴涵的确定性成分更难把握；
- 包含空值的数据会使挖掘过程陷入混乱，导致不可靠的输出结果。
数据挖掘算法本身更致力于避免数据过分拟合所建的模型，这一特性使得它难以通过自身的算法去很好地处理不完整数据。因此，缺失值需要通过一些的方法进行推导、填充等，以减少数据挖掘算法与实际应用之间的差距。
缺失值统计
SQL统计缺失值：
select sum(comm is null) from emp;
Python统计缺失值：
missing_value_formats = ["NA"]
df = pd.read_csv("employee.csv", na_values = missing_value_formats)
df.isna().sum()
缺失值处理方法
处理缺失数据的方法主要有以下三种：删除、填充、不处理。
删除
也就是将存在缺失值的样本（行）或特征（列）删除，从而得到一个完整的数据集 。
优点：这种方法简单易行， 在对象有多个属性缺失值、被删除的含缺失值的对象与初始数据集的数据量相比非常小的情况下非常有效。
缺点：当缺失数据所占比例较大，特别当缺失数据非随机分布时，这种方法可能导致数据发生偏离、模型性能下降。
SQL删除缺失记录：
delete from emp where mgr is null;
Python删除缺失记录：
df.dropna(axis=0,subset=['mgr'],inplace=True)
填充
这类方法是用一定的值去填充空值，从而使数据集完整化。通常基于统计学原理， 根据初始数据集中其余对象取值的分布情况来对一个缺失值进行填充 。数据挖掘中常用的有以下几种补齐方法：
人工填写（filling manually）
由于最了解数据的还是用户自己，因此用户自己填补缺失数据产生偏离的可能性最小，可能是填充效果最好的一种方法。然而当数据规模很大、空值很多的时候，该方法费时费力，是不可行的。
特殊值填充（Treating Missing Attribute values as Special values）
将空值作为一种特殊值来处理，它不同于其他的任何属性值 。如所有的空值都用“unknown”填充，或是对于全是正数的数组填充为“-1”，或者极大数、极小数等。这样也可能导致严重的数据偏离，一般不推荐使用 。
均值填充（Mean/Mode Completer）
将数据集中的属性分为数值属性和非数值属性来分别进行处理 。
如果空值是数值型的，就根据该属性其他非空取值的平均值来填充该缺失值；如果空值是非数值型的，就用该属性其他非空取值的众数(即出现频率最高的值)来补齐该缺失值。
与其相似的另一种方法叫条件平均值填充法（Conditional Mean Completer）。在该方法中，用于求平均的值并不是从数据集的所有对象中取，而是从与该对象具有相同决策属性值的对象中取得。
这两种数据的补齐方法，其基本的出发点都是一样的，以最大概率可能的取值来补充缺失的属性值，只是在具体方法上有一点不同。与其他方法相比，它是用现存数据的多数信息来推测缺失值。
SQL均值填充：
select ifnull(comm,(select avg(comm) from emp)) from emp;
Python均值填充：
df['comm'].fillna(df['comm'].mean())
热卡填充（Hot deck imputation，或就近补齐）
对于一个包含空值的对象，热卡填充法在完整数据中找到一个与它最相似的对象，然后用这个相似对象的值来进行填充。不同的问题可能会选用不同的标准来对相似进行判定。该方法概念上很简单，且利用了数据间的关系来进行空值估计。这个方法的缺点在于难以定义相似标准，主观因素较多。如收入取值为空的记录，可以找出与该用户信息相似度最高的用户的收入来填充，那么城市、职业、工作年限等应占更大权重。
K近邻填充（KNN）
先根据欧式距离来确定距离具有缺失值的样本最近的K个样本，将这K个样本的属性值加权平均来估计该样本的缺失值。
该方法主要是通过预先设定的K个邻居，根据这些邻居的信息推算出缺失值的大小。一般的处理流程是先计算含有缺失值的目标对象与其他对象之间的距离（一般计算的是欧氏距离），计算完成后，选择K个（K值是我们预先设定的）距离最近的对象，然后将对应位置的数值进行平均或者加权，这样计算出的数值用来填充该缺失值。
使用所有可能的值填充（Assigning All Possible values of the Attribute）
用缺失值的所有可能的属性取值来填充，能够得到较好的填充效果。但是，当数据量很大或者缺失值较多时，可能的测试方案很多，其计算代价也很大。
组合完整化填充（Combinatorial Completer）
用缺失值的所有可能的属性取值来试，并从最终属性的约简结果中选择最好的一个作为填补的属性值。这是以约简为目的的数据补齐方法，能够得到好的约简结果；但是，当数据量很大或缺失值较多时，其计算代价也很大。
回归（Regression）
基于完整的数据集，建立回归模型。对于包含缺失值的记录，将已知属性值代入方程来估计未知属性值，以此估计值来进行填充。但是当变量不是线性相关或预测变量高度相关时会导致有偏差的估计。
期望值最大化（Expectation maximization，EM）
在缺失类型为随机缺失的情况下，假设模型对于完整的样本是正确的，那么通过观测数据的边际分布可以对未知参数进行极大似然估计（Little and Rubin）。这种方法也被称为忽略缺失值的极大似然估计，对于极大似然的参数估计实际中常采用的计算方法是期望值最大化(Expectation Maximization，EM）。
该方法比删除个案和单值插补更有吸引力，它一个重要前提：适用于大样本。有效样本的数量足够以保证ML估计值是渐近无偏的并服从正态分布。
EM算法是一种在不完整数据情况下计算极大似然估计或者后验分布的迭代算法。在每一迭代循环过程中交替执行两个步骤：E步（Excepctaion step,期望步），在给定完整数据和前一次迭代所得到的参数估计的情况下计算完整数据对应的对数似然函数的条件期望；M步（Maximzation step，极大化步），用极大化对数似然函数以确定参数的值，并用于下步的迭代。算法在E步和M步之间不断迭代直至收敛，即两次迭代之间的参数变化小于一个预先给定的阈值时结束。该方法可能会陷入局部极值，收敛速度也不是很快，并且计算很复杂。
多重插补（Multiple Imputation，MI）
多值插补的思想来源于贝叶斯估计，认为待插补的值是随机的，它的值来自于已观测到的值。具体实践上通常是估计出待插补的值，然后再加上不同的噪声，形成多组可选插补值。根据某种选择依据，选取最合适的插补值。
多重插补方法分为三个步骤：①为每个空值产生一套可能的插补值，这些值反映了无响应模型的不确定性；每个值都可以被用来插补数据集中的缺失值，产生若干个完整数据集合。②每个插补数据集合都用针对完整数据集的统计方法进行统计分析。③对来自各个插补数据集的结果，根据评分函数进行选择，产生最终的插补值。
该方法将缺失值视为随机样本，这样计算出来的统计推断可能受到缺失值的不确定性的影响。该方法的计算也很复杂。
C4.5方法
通过寻找属性间的关系来对缺失值进行填充。它寻找具有最大相关性的两个属性，其中没有缺失值的一个称为代理属性，另一个称为原始属性，用代理属性决定原始属性中的缺失值。这种基于规则归纳的方法只能处理基数较小的名义型属性。
以上多种处理方法中，基于统计学原理而言，删除和均值填充法差于热卡填充法、期望值最大化方法和多重填充法；回归是比较好的一种方法，但仍比不上热卡填充法、期望值最大化方法；期望值最大化方法缺少多重填充法所包含的不确定成分。值得注意的是，这些方法直接处理的是模型参数的估计而不是缺失值本身。它们合适于处理无监督学习的问题，而对有监督学习来说，情况就不尽相同了。譬如，你可以删除包含空值的记录用完整的数据集来进行训练，但预测时你却不能忽略包含空值的记录。另外，C4.5和使用所有可能的值填充方法也有较好的补齐效果，人工填写和特殊值填充一般是不推荐使用的。
不处理
填补处理只是将未知值以我们的主观估计值来填充补齐，不一定完全符合客观事实，在对不完整信息进行填补的同时，我们或多或少地改变了原始的信息系统。而且，对空值不正确的填充往往将新的噪声引入数据中，使数据挖掘产生错误的结果。因此，在许多情况下，我们还是希望在保持原始信息不发生变化的前提下对数据信息进行处理。
不处理缺失值，直接在包含空值的数据上进行数据挖掘的方法包括贝叶斯网络和人工神经网络等算法。
贝叶斯网络提供了一种自然的表示变量间因果信息的方法，用来发现数据间的潜在关系。在这个网络中，用节点表示变量，有向边表示变量间的依赖关系。贝叶斯网络仅适合于对领域知识具有一定了解的情况，至少对变量间的依赖关系较清楚的情况。否则直接从数据中学习贝叶斯网的结构不但复杂性较高（随着变量的增加，指数级增加），网络维护代价昂贵，而且它的估计参数较多，为系统带来了高方差，影响了它的预测精度。
人工神经网络可以有效的对付缺失值，但人工神经网络在这方面的研究还有待进一步深入展开。
另一种方法是引入哑变量，将变量映射到高维空间。比如性别，有男、女、NULL三种情况，则映射成三个变量：是否男、是否女、是否缺失。连续型变量也可以这样处理。比如Google、百度的CTR预估模型，预处理时会把所有变量都这样处理，最后数据达到几亿维。
这样做的好处是完整保留了原始数据的全部信息、不用考虑缺失值、不用考虑线性不可分之类的问题。缺点是计算量过大，而且只有在样本量非常大的时候效果才好，否则可能会因为过于稀疏，导致效果很差。
总结
一般情况下都是在数据挖掘之前的数据预处理阶段采用第一、第二类方法来对缺失数据进行处理，并不存在一种方法能够适合于所有问题。无论哪种方式的填充，都无法避免主观因素对原始数据的影响，并且在缺失值过多的情况下将数据完整化是不可行的。从理论上来说，贝叶斯考虑了一切，但是只有当数据集较小或满足某些条件（如多元正态分布）时，贝叶斯分析才是可行的。而现阶段人工神经网络方法在数据挖掘中的应用仍很有限。值得一提的是，采用不精确信息处理数据的不完整性已得到了广泛的研究。不完整数据的表达方法所依据的理论主要有可信度理论、概率论、模糊集合论、可能性理论，D-S的证据理论等。