数据处理pandas

1、缺失值时间戳不为NaN,为NaT, 同样判断都为isna()或notna()方法
2、删值\去重

df.dropna()
df.drop_duplicates()

3、上下值插值

df.fillna(method='pad') # 插取上面的值 可带参数limit = 
df.fillna(method='bfill') # 插取下面的值 同时可有limit参数表示插几个值
df.fillna(pd.mean()[[]]) # 插平均值,后面可接插的列数
df.interpolate() # 线性插值

插值借助于函数实现,已知数据去求解位置数据的值,插值在数据分析领域非常常见,好处是可以尽量还原数据本身的样子 线性插值的方法interpolate(),默认的线性插值的好处,在 原数据采用平均值或者上下值效果不是很好时(数值型变量存在连续型缺失值),可以尝试此方法。
插值情形:

Scipy
- 数据增长速率越来越快,可以选择 `method='quadratic'`二次插值。 - 数据集呈现出累计分布的样子,推荐选择 `method='pchip'`。 - 需要填补缺省值,以平滑绘图为目标,推荐选择 `method='akima'`。

4、Series

加法 add

减法 sub 

乘法 mul

除法 div

5、DataFrame

创建时间区间 date_range()  : 比如pd.date_range('today', periods=6)

1) 创建方式,数组array

2) 字典方式

6、其他:

1)列数据查询,查询多列时,需要双括号[[]],df[['列名1','列名2']],

2)排序sort_values(by = '')

3)修改值df.iat[,] ,df.loc['',''] 均会直接修改df

4) 大小写转换df.str.lower() ,  相反用upper()

...

 



猜你喜欢

转载自www.cnblogs.com/hqczsh/p/11599743.html