Pandas详解十之Dropna滤除缺失数据

约定：

import pandas as pd
import numpy as np
from numpy import nan as NaN

滤除缺失数据

pandas的设计目标之一就是使得处理缺失数据的任务更加轻松些。pandas使用NaN作为缺失数据的标记。
使用dropna使得滤除缺失数据更加得心应手。

处理DataFrame对象

处理DataFrame对象比较复杂，因为你可能需要丢弃所有的NaN或部分NaN。

df1=pd.DataFrame([[1,2,3],[NaN,NaN,2],[NaN,NaN,NaN],[8,8,NaN]])

代码结果：

>>> df1
     0    1    2
0  1.0  2.0  3.0
1  NaN  NaN  2.0
2  NaN  NaN  NaN
3  8.0  8.0  NaN

默认滤除所有包含NaN：

>>> df1.dropna()
     0    1    2
0  1.0  2.0  3.0

传入how=’all’滤除全为NaN的行：

>>> df1.dropna(how='all')
     0    1    2
0  1.0  2.0  3.0
1  NaN  NaN  2.0
3  8.0  8.0  NaN

传入axis=1滤除列：

>>> df1[3]=NaN
>>> df1
     0    1    2   3
0  1.0  2.0  3.0 NaN
1  NaN  NaN  2.0 NaN
2  NaN  NaN  NaN NaN
3  8.0  8.0  NaN NaN
>>> df1.dropna(axis = 1,how='all')
     0    1    2
0  1.0  2.0  3.0
1  NaN  NaN  2.0
2  NaN  NaN  NaN
3  8.0  8.0  NaN

传入thresh=n滤除n行：

>>> df1.dropna(thresh=1)
     0    1    2   3
0  1.0  2.0  3.0 NaN
1  NaN  NaN  2.0 NaN
3  8.0  8.0  NaN NaN
>>> df1.dropna(thresh=3)
     0    1    2   3
0  1.0  2.0  3.0 NaN