pandas空值处理

处理丢失数据

有两种丢失数据：

• None
• np.nan(NaN)

np.nan 数据类型 float 类型

1.None

None 是python自带的，器类型为python object。因此，None不能参与到任何计算中。
object 类型的运算要比int类型运算慢的多
计算不同数据类型仇和事件

%timeit np.arange(1e5,dtype=xxx).sum()

2.np.nan(NaN)

np.nan 是浮点类型，能参与到计算中，但计算的结果总是NaN
但可以使用np.nan*(),此时视nan为0

pandas中None与np.nan都视为np.nan
1 查找
2 处理（填充、过滤）

pandas中None与np.nan的操作

• isnull（）
• notnull（）
• dropna（） 过滤丢失数据
• fillna（）填充丢失数据

any（） 检查一组数据中是否存在一个True
all（） 检查一组数据中是否全是True

# 检测列方向是否存在缺失值
df.isnull().
# 行方向检测
df.isnull().any(axis=1)

行与列的区别在于 axis的值

axis = 0 过滤行

axis = 1 过滤列

(2) 过滤函数

dropna() 
axis指定行或列
how 选择过滤的方式
df.dropna(axis=1, how='all')

(3) 填充函数 Series/DataFrame
‘backfill’, ‘bfill’, 向后 下-上 右-左
‘pad’, ‘ffill’, 向前 上-下 左-右
axis=0：index/行
axis=1：columns/列

fillna()
method 指定填充方向
axis 选择行或列