python_数据分析_笔记碎碎念

1、数据聚合与分组计算

1、根据一个或多个键(可以是函数、数组或DataFrame列名)拆分pandas对象
2、计算分组摘要统计,如计数、平均值、标准差,或用户自定义函数
3、对DataFrame的列应用各种各样的函数
4、应用组内转换或其他运算,如规格化、线性回归、排名或选取子集等
5、计算透视表或交叉表
6、执行分位数分析以及其他分组分析

2、dataFrame.ix[]先行索引,后列

行优先:从高维度开始
列优先:从低维度开始

concatenate([],axis=1)==hstack()==np.r_[]
vstack dstack np.c_
split

广播原则:如果两个数组的后缘维度(从末尾开始算起的维度)的轴长度相符或其中一方的长度为1,则认为它们是广播兼容的。广播会在缺失和长度为1的维度上进行。

3、结构化数组的另一个常见用法:

将数据文件写成定长记录字节流。只要知道文件的格式(记录的大小、元素顺序、字节数以及数据类型等),就可以使用np.fromfile将数据读入内存
内存映射,它使你能处理内存中放不下的数据集

4、numpy使用原则:

1、将python循环和条件逻辑转换为数组运算和布尔数组运算
2、尽量使用广播
3、避免复制数据,尽量使用数据视图(即切片)
4、利用ufunc及其各种方法

考虑C、cpython来提升性能

numpy注意点:
astype无论如何都会创建出一个新的数组
浮点数,比较操作只能在一定小数位以内有效
显式复制:copy
花式索引,指利用整数数组进行索引,将数据复制到新数组中

设置省略显示的门槛:

np.set_printoptions(threshold=100)

5、时间序列的基础频率:

D H S L U 天 小时 分 秒 毫秒 微秒
WOM-3FRI

p=pd.Period('2014Q4',freq='Q-JAN')
获取该季度倒数第二个工作日下午4点的时间戳
p4pm=(p.asfreq('B','e')-1).asfreq('T','s')+16*60

升表示,频率变细,变多
在降采样中,目标频率必须是源频率的子时期
在升采样中,目标频率必须是源频率的超时期

read_csv,解析日期read_csv,parse_dates=True

移动窗口函数:
close_px.rolling(window=60,min_periods=30).quantile(90)

自定义窗口函数:要能从数组的某个片段中产生某个值

6、获取数据(书本练习中需要)

from pandas_datareader import data as web

猜你喜欢

转载自blog.csdn.net/guzhangyu12345/article/details/72983387
今日推荐