pandas学习(两种数据结构DataFrame & Series)
DataFrame(类似numpy的二维数组，是一种带标签的二维对象)
有行索引&列索引(默认从0开始，可根据索引选值)
1. 创建方式：
- 从另一个DataFrame创建
- 从具有二维形状的Numpy数组(或类似的嵌套字典啦字典列表啦)来创建
- 从另一类数据结构Series来创建
从类似CSV文件来创建
获取所使用的红酒数据，注意分隔符是分号
import numpy as np
import pandas as pd
arr=np.array(np.arange(12)).reshape(4,3)
arr
array([[ 0, 1, 2],
[ 3, 4, 5],
[ 6, 7, 8],
[ 9, 10, 11]])
df=pd.DataFrame(arr)
#pd.DataFrame(np.arange(12).reshape(4,3),index=['x1','x2','x3','x4'],columns=['y1','y2','y3'])
#如上index参数可以指定行索引(标签)，columns指定列索引
df
0 1 2
0 0 1 2
1 3 4 5
2 6 7 8
3 9 10 11
type(df)
<class 'pandas.core.frame.DataFrame'>这里有一个地方要注意，如何描述Numpy数组的坐标
arr1=np.arange(6)
#arr1[0]
#0
df1=pd.DataFrame(arr1)
df1
0
0 0
1 1
2 2
3 3
4 4
5 5这里是通过字典创建
dic={'a':[1,2,3],'b':[4,5,6],'c':[7,8,9]}
type(dic)
<class 'dict'>
df1=pd.DataFrame(dic)
df1
a b c
0 1 4 7
1 2 5 8
2 3 6 9
#嵌套字典创建，NAN是空缺值
dic1={'000':{'a':1,'b':2,'c':3},'001':{'d':4,'e':5,'f':6}}
df2=pd.DataFrame(dic1)
df2
000 001
a 1.0 NaN
b 2.0 NaN
c 3.0 NaN
d NaN 4.0
e NaN 5.0
f NaN 6.0通过csv文件创建
from pandas.io.parsers import read_csv
df3=read_csv('Python_processing\\data\\winequality.csv',delimiter=';')
type(df3)
<class 'pandas.core.frame.DataFrame'>
df3
fixed acidity volatile acidity citric acid residual sugar chlorides
0 7.4 0.700 0.00 1.9 0.076
1 7.8 0.880 0.00 2.6 0.098
2 7.8 0.760 0.04 2.3 0.092
3 11.2 0.280 0.56 1.9 0.075
4 7.4 0.700 0.00 1.9 0.076
5 7.4 0.660 0.00 1.8 0.075
6 7.9 0.600 0.06 1.6 0.069
7 7.3 0.650 0.00 1.2 0.065
8 7.8 0.580 0.02 2.0 0.073
...
#一份红酒相关数据，只截取了其中一部分
补充一个delimiter参数用于选择分隔符
2. 属性：
- df.shape(型)，df.columns(各列的标题，列标签)，df.dtypes(各列的数据类型)
df3.columns
Index(['fixed acidity', 'volatile acidity', 'citric acid', 'residual sugar',
'chlorides', 'free sulfur dioxide', 'total sulfur dioxide', 'density',
'pH', 'sulphates', 'alcohol', 'quality'],
dtype='object')- len(df)(查询df的行数)，df.index((行)索引)，df.values(只查看df的值，pandas自身迭代器效率低，不如使用Numpy提取数组的值)
df2.index
Index(['a', 'b', 'c', 'd', 'e', 'f'], dtype='object')
df1.index
RangeIndex(start=0, stop=3, step=1)
df2.values
array([[ 1., nan],
[ 2., nan],
[ 3., nan],
[ nan, 4.],
[ nan, 5.],
[ nan, 6.]])- 选择DataFrame数据
df
y1 y2 y3
x1 0 1 2
x2 3 4 5
x3 6 7 8
x4 9 10 11
#选择某列
df['y1']#或df.y1
x1 0
x2 3
x3 6
x4 9
Name: y1, dtype: int32
#选择某行
df[1:3]#或df['x2':'x3']*******这里注意了。选一行的话['x2','x2']
y1 y2 y3
x2 3 4 5
x3 6 7 8
#根据行标签loc选择(多 ：)某行，还可以选择一行的某几列
#注标签名
df.loc['x2']
df.loc['x2':'x3']
df.loc['x1',['y1','y2']] #同理可用来选择某列df.loc[:,['y1':'y2']]
y1 0
y2 1
Name: x1, dtype: int32
#根据标签iloc，df.iloc[index,columns]，可连续选、跨行选
#注索引
df.iloc[0,2]
2
df.iloc[0]
y1 0
y2 1
y3 2
Name: x1, dtype: int32
df.iloc[1:3,0:2]
y1 y2
x2 3 4
x3 6 7
df.iloc[[0,2],1:3]
y2 y3
x1 1 2
x3 7 8
#通过ix标签，和上面相似
df.ix[0:2,['y1','y3']]
y1 y3
x1 0 2
x2 3 5
#at和iat分别使用标签和索引下标获取单个值
df.at['x1','y1']
df.iat[0,0]
#通过布尔索引，判断真值
df.y1>1
x1 False
x2 True
x3 True
x4 True
Name: y1, dtype: bool
df[df.y1>1]- 对DataFrame元素修改
df=pd.DataFrame(np.arange(12).reshape(4,3),index=['x1','x2','x3','x4'],columns=['y1','y2','y3'])
df
y1 y2 y3
x1 0 1 2
x2 3 4 5
x3 6 7 8
x4 9 10 11
#通过索引或标签确定待修改元素的位置
df.loc['x2','y2']=0
df.iloc[2,2]=0
df.iloc[3]=0#或df.loc['x4']=0
df
y1 y2 y3
x1 0 1 2
x2 3 0 5
x3 6 7 0
x4 0 0 0
#添加列
df['y4']=np.nan #赋一维数组即可
df
y1 y2 y3 y4
x1 0 1 2 NaN
x2 3 0 5 NaN
x3 6 7 0 NaN
x4 0 0 0 NaN
#也可以添加Series序列，**长度要对齐，不齐以NAN补缺，超出自动去掉**
df['y5']=pd.Series([1,2,3,4],index=['x1','x2','x3','x4'])3.利用DataFrame进行统计计算
- 数据集：装上数据获取的库，如 Tushare（http://pythonhosted.org/tushare/
），Quandl（https://www.quandl.com/tools/python
）每天最多能调用50次等。网上还有很多可供分析的免费数据集（http://www.kdnuggets.com/datasets/index.html ）。
可以看下这篇文章Python数据分析及可视化的基本环境
#Tushare是股票相关数据
pip install tushare,Quandl
#获取太阳黑子的数据
import quandl
df = quandl.get('SIDC/SUNSPOTS_A')- isnull和notnull用来检测数据丢失
- fillna()方法用标量值替换空缺值，如df.fillna(0)，用0替代NaN
- describe()统计描述函数，生成描述性统计，总结数据集分布的中心趋势，分散和形状，不包括NaN值，结果的索引将包括计数，平均值（mean），标准差（std），最小值，最大值以及百分位数（默认25、50、75）
CSDN的pandas.DataFrame.describe
df2.describe()
000 001
count 3.0 3.0
mean 2.0 5.0
std 1.0 1.0
min 1.0 4.0
25% 1.5 4.5
50% 2.0 5.0
75% 2.5 5.5
max 3.0 6.0- count()返回非NAN数据项数量
- min(),max()
- median()返回中位数，等价第50位百分位数的值
- mad()计算平均绝对偏差（描述数据离散程度）
- mode()返回数据的众值
- std()返回数据的标准差（描述离散度）
- var()返回方差
- skew()偏态系数（skewness，表示数据分布的对称程度）
- kurt()峰态系数（kurtosis，反映数据分布曲线顶端尖峭或扁平程度）
df3['quality'].mad()
0.68317792428898461
df3['quality'].mode()
0 5 #注意5才是number值
dtype: int64
df3['pH'].std()
0.15438646490354277
df3['pH'].var()
0.023835180545412844
df3['pH'].skew()
0.19368349811284427
df3['pH'].kurt()
0.80694250824657399Series(由不同类型元素所组成的一维数组)
由index（标签信息也称索引，可选，默认从0始）和values（Numpy数组）组成
- 创建方式：
- 由Numpy数组创建
- 由字典创建(键会经过排序后成为索引)
- 查询DataFrame的一列会返回一个Series
type(df.y1)
<class 'pandas.core.series.Series'>
s=pd.Series({'a':[1,2],'c':'abc','b':1.2})#键值可排序时才能排序
s
a [1, 2]
b 1.2
c abc
dtype: object- 属性
Series共享DataFrame的属性，同时多了一个name属性（df的columns）
s.values
array([list([1, 2]), 1.2, 'abc'], dtype=object)
s.index
Index(['a', 'b', 'c'], dtype='object')
s.name='test'
s
a [1, 2]
b 1.2
c abc
Name: test, dtype: object切片 (可通过索引或标签切片)
可通过索引或标签访问- 索引切片不包含结束位置
- 标签切片包含结束标签
s[0:2]
a [1, 2]
b 1.2
Name: test, dtype: object
s['a':'c']
a [1, 2]
b 1.2
c abc
Name: test, dtype: object