In [2]:
import numpy as np
import pandas as pd
from pandas import Series,DataFrame
有两种丢失数据：
- None
- np.nan(NaN)
In [3]:
type(None)
Out[3]:
In [4]:
type(np.nan)
Out[4]:
In [5]:
type(1000)
Out[5]:
In [6]:
type("hello")
Out[6]:
In [7]:
np.nan + 100
Out[7]:
In [8]:
100 + "dsaf"
In [ ]:
None + 100
object类型的运算要比int类型的运算慢得多
计算不同数据类型求和时间
%timeit np.arange(1e5,dtype=xxx).sum()
In [ ]:
1e5
In [ ]:
%timeit np.arange(1e6,dtype="int").sum()
In [ ]:
%timeit np.arange(1e6,dtype="float").sum()
In [ ]:
%timeit np.arange(1e6,dtype="object").sum()
np.nan是浮点类型，能参与到计算中。但计算的结果总是NaN。
但可以使用np.nan*()函数来计算nan，此时视nan为0。
In [ ]:
nd = np.array([10,20,30,np.nan])
nd
In [ ]:
nd.sum()
In [ ]:
np.nansum(nd)
In [ ]:
np.nanmean(nd)
In [ ]:
np.array([1,2,3,np.nan,None])
In [ ]:
创建DataFrame
In [9]:
df = DataFrame([[10,20,34,None,23,np.nan],
[10,20,134,312,None,20],
[20,56,98,np.nan,np.nan,None]
],
index=list("abc"),
columns=list("ABCDEF"))
df
Out[9]:
使用DataFrame行索引与列索引修改DataFrame数据
In [10]:
df.sum(axis=0) # axis=0把行加起来
Out[10]:
In [11]:
df.sum(axis=1) # 把列加起来
Out[11]:
【注】pandas中的nan在运算的时候被视作0
isnull()notnull()dropna(): 过滤丢失数据fillna(): 填充丢失数据
(1)判断函数
isnull()notnull()
In [12]:
df
Out[12]:
In [13]:
df.isnull()
Out[13]:
In [14]:
df.isnull().all(axis=0) # 判断每一列中的所有元素是否全为True，如果是则为True
Out[14]:
In [15]:
df.isnull().any(axis=0)
# 判断每一列中是否有为True的元素，如果有一个为True，则为True
Out[15]:
In [16]:
df.isnull().all(axis=1)
Out[16]:
In [17]:
df.isnull().any(axis=1)
Out[17]:
In [18]:
# 输出有缺失行
cond = df.isnull().any(axis=0)
cond
Out[18]:
In [19]:
df[cond]
In [20]:
df[df.columns[cond]] # 输出所有缺失的列
Out[20]:
判断条件
In [21]:
(df>30).any(axis=0)
Out[21]:
In [22]:
(df<50).all(axis=1)
Out[22]:
In [23]:
# 输出所有的值都大于100的那些列
c = (df>20).all(axis=0)
In [24]:
df[df.columns[c]]
Out[24]:
In [ ]:
(2) 过滤函数
dropna()
可以选择过滤的是行还是列（默认为行）
也可以选择过滤的方式 how = 'all'
In [25]:
df
Out[25]:
In [26]:
df.dropna(axis=1,how="any")
# axis 0 默认，代表操作行 1 代表操作列
# how "any"默认只要有缺失就丢弃 "all"所有的都缺失才丢掉
Out[26]:
(3) 填充函数 Series/DataFrame
fillna()
In [27]:
df
Out[27]:
In [28]:
df.fillna(1000) # 直接填补
Out[28]:
可以选择前向填充还是后向填充
In [29]:
df.fillna(method="bfill",axis=0) # 拿后面的行标对应的值填充到前面的nan位置
Out[29]:
In [30]:
df.fillna(method="ffill",axis=0)
Out[30]:
In [31]:
df.fillna(method="ffill",axis=1)
Out[31]:
对于DataFrame来说，还要选择填充的轴axis。记住，对于DataFrame来说：
- axis=0：index/行
- axis=1：columns/列
============================================
练习7：
简述None与NaN的区别
假设张三李四参加模拟考试，但张三因为突然想明白人生放弃了英语考试，因此记为None，请据此创建一个DataFrame,命名为ddd3
老师决定根据用数学的分数填充张三的英语成绩，如何实现？ 用李四的英语成绩填充张三的英语成绩？
============================================
In [ ]: