什么是Pandas?
-
Pandas的名称来自于面板数据（panel data）和Python数据分析（data analysis）.
-
Pandas是一个强大的分析结构化数据的工具集,基于NumPy构建,提供了 高级数据结构 和 数据操作工具,它是使Python成为强大而高效的数据分析环境的重要因素之一.
-
一个强大的分析和操作大型结构化数据集所需的工具集
-
基础是NumPy,提供了高性能矩阵的运算
-
提供了大量能够快速便捷地处理数据的函数和方法
-
应用于数据挖掘,数据分析
-
提供数据清洗功能
pandas官网: http://pandas.pydata.org
pandas的常用数据类型:
- Series 一维,带标签数组
- DataFrame 二维,Series容器
Series:
Series是一种类似于一维数组的 对象,由一组数据（各种NumPy数据类型）以及一组与之对应的索引
（数据标签）组成.
类似一维数组的对象
由数据和索引组成
索引(index)在左,数据(values)在右
索引是自动创建的
Series创建:
In [1]: import pandas as pd
In [2]: import string
In [3]: import numpy as np
In [4]: t = pd.Series(np.arange(10),index=list(string.ascii_uppercase[:10]))
——>指定索引创建
In [5]: t
Out[5]:
A 0
B 1
C 2
D 3
E 4
F 5
G 6
H 7
I 8
J 9
dtype: int64
In [6]: type(t)
Out[6]: pandas.core.series.Series
---------------------------------
In [7]: a = {string.ascii_uppercase[i]: i for i in range(10)}
——>通过字典推导式创建一个字典
In [8]: a
Out[8]:
{'A': 0,
'B': 1,
'C': 2,
'D': 3,
'E': 4,
'F': 5,
'G': 6,
'H': 7,
'I': 8,
'J': 9}
In [9]: pd.Series(a) ——>通过字典创建一个Series,索引对应字典中的键
Out[9]:
A 0
B 1
C 2
D 3
E 4
F 5
G 6
H 7
I 8
J 9
dtype: int64
In [10]: pd.Series(a,index=list(string.ascii_uppercase[5:15]))
Out[10]:
F 5.0 重新给字典指定其他的索引之后,如果能够对应上,就取其
G 6.0 值,如果不能,就为Nan
H 7.0
I 8.0
J 9.0
K NaN
L NaN
M NaN
N NaN
O NaN
dtype: float64
为什么类型为float呢?
numpy中nan为float,pandas会 自动根据数据类更改series的dtype类型
如果要修改dtype类型,修改方法和numpy的方法一样
如: pd.Series(range(10)).astype(float)
Series切片和索引:
In [15]: t
Out[15]:
A 0
B 1
C 2
D 3
E 4
F 5
G 6
H 7
I 8
J 9
dtype: int64
In [16]: t[2::2] # 切片操作
Out[16]:
C 2
E 4
G 6
I 8
dtype: int64
In [17]: t[2] # 根据索引取值
Out[17]: 2
In [18]: t[[2,3,6]] # 取不连续的值
Out[18]:
C 2
D 3
G 6
dtype: int64
In [19]: t[t>4] # 布尔索引
Out[19]:
F 5
G 6
H 7
I 8
J 9
dtype: int64
In [20]:
In [20]: t["F"] # 根据键取值
Out[20]: 5
In [22]: t[["A","F"]] # 取不连续的值
Out[22]:
A 0
F 5
dtype: int64
切片:直接传入start end或者步长即可
索引: 一个的时候直接传入序号或者index,多个的时候传入序号或者index的列表
Series的索引和值:
In [25]: t.index
Out[25]: Index(['A', 'B', 'C', 'D', 'E', 'F', 'G', 'H', 'I', 'J'], dtype='object')
In [26]: t.values
Out[26]: array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])
In [27]: type(t.values)
Out[27]: numpy.ndarray
Series对象本质上由两个数组构成,一个数组构成对象的键(index,索引),
一个数组构成对象的值(values), 键——>值
ndarray的很多方法都可以运用于series类型,比如argmax, clip
series具有where方法,但是结果和ndarray不同
如:
In [30]: t.where(t>2)
Out[30]:
A NaN
B NaN
C NaN
D 3.0
E 4.0
F 5.0
G 6.0
H 7.0
I 8.0
J 9.0
dtype: float64
pandas读取外部数据:
我们的这组数据存在csv中,我们直接使用pd.read_csv即可
和我们想象的有些差别,我们以为他会是一个Series类型,但是他是一个DataFrame,
那么接下来我们就来了解这种数据类型
对于数据库比如mysql或者mongodb中数据我们如何使用呢？
读取mysql: pd.read_sql(sql_sentence,connection)
读取mongodb:
client = MongoClient()
collection = client["douban"]["t1"]
data = list(collection.find())
t1 = data[0]
t1 = pd.Series(t1)
DataFrame:
In [31]: t = pd.DataFrame(np.arange(12).reshape(3,4))
In [32]: t
Out[32]:
0 1 2 3
0 0 1 2 3
1 4 5 6 7
2 8 9 10 11
DataFrame对象既有行索引,又有列索引
行索引,表明不同行,横向索引(竖着的索引),叫index,0轴,axis=0
列索引,表名不同列,纵向索引(横着的索引),叫columns,1轴,axis=1
In [35]: t = pd.DataFrame(np.arange(12).reshape(3,4),index=list("ABC"),columns=list("WXYZ"))
In [36]: t
Out[36]:
W X Y Z
A 0 1 2 3
B 4 5 6 7
C 8 9 10 11
向DataFrame中传入字典:
In [37]: data = {"name":["xiaowang","xiaoli"],"age":[13,14],"id":[1001,1002]}
In [38]: data
Out[38]: {'name': ['xiaowang', 'xiaoli'], 'age': [13, 14], 'id': [1001, 1002]}
In [39]: pd.DataFrame(data)
Out[39]:
name age id
0 xiaowang 13 1001
1 xiaoli 14 1002
这就意味着我们可以直接将mongodb中的数据传入到DataFrame中
列表里面套字典:
In [46]: data = [{"age":18,"id":1001,"name":"aa"},{"name":"bb","id":1002},
... {"name":"cc","age":16}]
In [47]: data
Out[47]:
[{'age': 18, 'id': 1001, 'name': 'aa'},
{'name': 'bb', 'id': 1002},
{'name': 'cc', 'age': 16}]
In [48]: pd.DataFrame(data)
Out[48]:
age id name
0 18.0 1001.0 aa
1 NaN 1002.0 bb
2 16.0 NaN cc
DataFrame的基础属性:
df.shape # 行数列数
df.dtypes # 列数据类型
df.ndim # 数据维度
df.index # 行索引
df.columns # 列索引
df.values # 对象值,二维ndarray数组
DataFrame整体情况查询:
df.head(3) # 显示头部几行,默认5行
df.tail(3) # 显示末尾几行,默认5行
df.info() # 相关信息概览:行数,列数,列索引,列非空值个数,列类型,列类型,内存占用
df.describe() # 快速综合统计结果:计数,均值,标准差,最大值,四分位数,最小值
常用的统计描述方法:
方法 说明
count 非NA值的数量
describe 针对Series或各DataFrame列计算汇总统计
min、max 计算最小值和最大值
argmin、argmax 计算能够获取到最小值和最大值的索引位置（整数）
idxmin、idxmax 计算能够获取到最小值和最大值的索引值
quantile 计算样本的分位数（0到1)
sum 值的总和
mean 值的平均数
median 值的算术中位数（50%分位数)
mad 根据平均值计算平均绝对离差
var 样本值的方差
std 样本值的标准差
skew 样本值的偏度（三阶矩)
kurt 样本值的峰度（四阶矩)
cumsum 样本值的累计和
cummin、cummax 样本值的累计最大值和累计最小值
cumprod 样本值的累计积
diff 计算一阶差分（对时间序列很有用)
pct_change 计算百分数变化
排序:
# by指定排序的字段,ascending默认为True,升序.
df.sort_values(by="Count_AnimalName",ascending=False)
取行或者列:
df_sorted = df.sort_values(by="Count_AnimalName")
选择行 df_sorted[:100]
我们具体要选择某一列该怎么选择呢？ df["Count_AnimalName "]
我们要同时选择行和列改怎么办？ df[:100][" Count_AnimalName "]
pandas之loc:
df.loc 通过标签索引行数据.
In [50]: t
Out[50]:
W X Y Z
A 0 1 2 3
B 4 5 6 7
C 8 9 10 11
In [51]: t.loc["A","W"] # 取某个指定元素
Out[51]: 0
In [52]: t.loc["A",["W","Z"]] # 取一行和不连续多列
Out[52]:
W 0
Z 3
Name: A, dtype: int64
In [53]: type(t.loc[["A"],["W","Z"]]) # 类型为DataFrame
Out[53]: pandas.core.frame.DataFrame
In [54]: t.loc[["A","C"],["W","Z"]] # 取不连续的多行和多列
Out[54]:
W Z
A 0 3
C 8 11
In [55]: t.loc["A":,["W","Z"]] # 取多行和多列("A"及以后的行)
Out[55]:
W Z
A 0 3
B 4 7
C 8 11
In [56]: t.loc["A":"C",["W","Z"]] # 取多行和多列,("A"到"C"行)
Out[56]:
W Z
A 0 3
B 4 7
C 8 11
冒号在loc里面是闭合的,即会选择到冒号后面的数据
pandas之iloc:
df.iloc 通过位置获取行数据
In [57]: t
Out[57]:
W X Y Z
A 0 1 2 3
B 4 5 6 7
C 8 9 10 11
In [58]: t.iloc[1:3,[2,3]]
Out[58]:
Y Z
B 6 7
C 10 11
In [59]: t.iloc[1:3,1:3]
Out[59]:
X Y
B 5 6
C 9 10
In [60]: t.loc["A","Y"]=100 # 更改数据
In [61]: t
Out[61]:
W X Y Z
A 0 1 100 3
B 4 5 6 7
C 8 9 10 11
In [62]: t.iloc[1:2,0:2] = np.nan # 此处panads会自动转换类型
In [63]: t
Out[63]:
W X Y Z
A 0.0 1.0 100 3
B NaN NaN 6 7
C 8.0 9.0 10 11
pandas之布尔索引:
在给定的数据集中:假如我们想找到所有的使用次数超过800的狗的名字,应该怎么选择？
数据来源：https://www.kaggle.com/new-york-city/nyc-dog-names/data
In [67]: df = pd.read_csv("./笔记/python/dogNames2.csv")
In [68]: df[800<df["Count_AnimalName"]]
Out[68]:
Row_Labels Count_AnimalName
1156 BELLA 1195
2660 CHARLIE 856
3251 COCO 852
9140 MAX 1153
12368 ROCKY 823
回到之前狗的名字的问题上,假如我们想找到所有的使用次数超过700并且名字的字符串的长度大于4的狗的名字,
应该怎么选择？
In [71]: df[(df["Row_Labels"].str.len()>4) & (df["Count_AnimalName"]>700)]
Out[71]:
Row_Labels Count_AnimalName
1156 BELLA 1195
2660 CHARLIE 856
8552 LUCKY 723
12368 ROCKY 823
------------------------------------
&表示且,|表示或
注意: 不同的条件直接需要用括号括起来
pandas之str字符串方法:
方法 说明
cat 实现元素级的字符串连接操作,可指定分隔符
contains 返回表示各字符串是否含有指定模式的布尔型数组
count 模式的出现次数
endswith、startswith 相当于对各个元素执行x.endswith(pattern)或x.startswith(pattern)
findall 计算各字符串的模式列表
get 获取各元素的第i个字符
join 根据指定的分隔符将Series中各元素的字符串连接起来
len 计算各字符串的长度
lower、upper 转换大小写.相当于对各个元素执行x.lower()或x.upper()
match 根据指定的正则表达式对各个元素执行re.match
pad 在字符串的左边、右边或左右两边添加空白符
center 相当于pad(side='both')
repeat 重复值.例如,s.str.repeat(3)相当于对各个字符串执行x*3
replace 用指定字符串替换找到的模式
slice 对Series中的各个字符串进行子串截取
split 根据分隔符或正则表达式对字符串进行拆分
strip、rstrip.lstrip 去除空白符,包括换行符.相当于对各个元素执行x.strip(),x.rstrip(),x.lstrip()
例: df["Row_Labels"].str.len()
缺失数据的处理:
我们的数据缺失通常有两种情况：
一种就是空,None等,在pandas是NaN(和np.nan一样)
另一种是我们让其为0
对于NaN的数据,在numpy中我们是如何处理的？
在pandas中我们处理起来非常容易
判断数据是否为NaN：pd.isnull(df),pd.notnull(df)
处理方式1：删除NaN所在的行列dropna (axis=0, how='any', inplace=False)
处理方式2：填充数据,t.fillna(t.mean()),t.fiallna(t.median()),t.fillna(0)
处理为0的数据：t[t==0]=np.nan
当然并不是每次为0的数据都需要处理
计算平均值等情况,nan是不参与计算的,但是0会
-------------------------------
In [76]: t2
Out[76]:
age id name
0 18.0 1001.0 aa
1 NaN 1002.0 bb
2 16.0 NaN cc
In [77]: pd.isnull(t2) # NaN的位置显示为True
Out[77]:
age id name
0 False False False
1 True False False
2 False True False
In [78]: pd.notnull(t2) # 非NaN的位置显示为True
Out[78]:
age id name
0 True True True
1 False True True
2 True False True
In [81]: t2[pd.notnull(t2["age"])] # 显示年龄不为NaN的行
Out[81]:
age id name
0 18.0 1001.0 aa
2 16.0 NaN cc
In [82]: t2.dropna(axis=0) # 去除NaN所在的行
Out[82]:
age id name
0 18.0 1001.0 aa
In [83]: t2.dropna(axis=0,how="all") # "all"代表这一行全部为NaN的时候才去除这一行
Out[83]:
age id name
0 18.0 1001.0 aa
1 NaN 1002.0 bb
2 16.0 NaN cc
In [84]: t2.dropna(axis=0,how="any") # how参数默认的值为"any"
Out[84]:
age id name
0 18.0 1001.0 aa
In [87]: t2.dropna(axis=0,how="any",inplace=True) # inplace参数代表在原数据的基础上去除,默认返回去除后的数据
In [88]: t2
Out[88]:
age id name
0 18.0 1001.0 aa
In [91]: t2
Out[91]:
age id name
0 18.0 1001.0 aa
1 NaN 1002.0 bb
2 16.0 NaN cc
In [92]: t2.fillna(0) # 将NaN的地方填充为0
Out[92]:
age id name
0 18.0 1001.0 aa
1 0.0 1002.0 bb
2 16.0 0.0 cc
In [93]: t2.fillna(t2.mean()) # 将NaN的地方填充所在列的均值
Out[93]:
age id name
0 18.0 1001.0 aa
1 17.0 1002.0 bb
2 16.0 1001.5 cc
In [94]: t2["age"] = t2.fillna(t2["age"].mean()) # 指定填充”age“列的NaN
In [95]: t2
Out[95]:
age id name
0 18 1001.0 aa
1 17 1002.0 bb
2 16 NaN cc
-------------------------------
pandas常用统计方法:
-
假设现在我们有一组从2006年到2016年1000部最流行的电影数据,我们想知道这些电影数据中评分的平均分,导演的人数等信息,我们应该怎么获取？
-
数据来源：https://www.kaggle.com/damianpanek/sunday-eda/data
数据样式:
Rank, Title, Genre, Description, Director, Actors, Year, Runtime (Minutes),Rating,Votes,Revenue (Millions),Metascore
1,Guardians of the Galaxy,"Action,Adventure,Sci-Fi",A group of intergalactic criminals are forced to work together to stop a fanatical warrior from taking control of the universe.,James Gunn,"Chris Pratt, Vin Diesel, Bradley Cooper, Zoe Saldana",2016, 108, 7.2, 60545, 270.32, 59
代码:
import pandas as pd
path = "./IMDB-Movie-Data.csv"
# 读取数据
df = pd.read_csv(path)
# 数据的基本信息
print(df.info())
# 取第一行数据类观察数据
print(df.head(1))
# 求均值
print(df["Rating"].mean())
# 提取导游数据转换成列表,在转换成集合去掉重复的,然后求长度即可
print(len(set(df["Director"].tolist())))
print(len(df["Director"].unique()))
# 提取演员信息,利用列表推导式的双重for将双重列表装换成单层
temp_list = df["Actors"].str.split(", ").tolist()
temp_list = [j for i in temp_list for j in i]
print(len(set(temp_list)))
# 电影时长的最大值和最小值以及中位数
print(df["Runtime (Minutes)"].max())
print(df["Runtime (Minutes)"].argmax())
print(df["Runtime (Minutes)"].min())
print(df["Runtime (Minutes)"].argmin())
print(df["Runtime (Minutes)"].median())
- 对于这一组电影数据，如果我们想rating，runtime的分布情况，应该如何呈现数据？
runtime代码:
import pandas as pd
from matplotlib import pyplot as plt
path = "./IMDB-Movie-Data.csv"
# 准备数据
df = pd.read_csv(path)
# 提取
runtime_data = df["Runtime (Minutes)"].values
max_runtime = runtime_data.max()
min_runtime = runtime_data.min()
# 组数
d = 5
bin_nums = (max_runtime - min_runtime)//d
# 设置图片大小
plt.figure(figsize=(20,8),dpi=80)
# 选择直方图
plt.hist(runtime_data,bin_nums)
# 设置刻度
x_ticks = [i for i in range(min_runtime,max_runtime+d,d)]
plt.xticks(x_ticks)
# 添加描述
plt.xlabel("Runtime (Minutes)")
plt.ylabel("total numbers")
# 显示
plt.show()
效果图:
rating代码:
import pandas as pd
from matplotlib import pyplot as plt
# 准备数据
df = pd.read_csv("./IMDB-Movie-Data.csv")
# print(df.head(1))
# print(df.info())
# 提取数据
rating_info = df["Rating"]
data_list = rating_info.values
# 计算最大值和最小值
max_data = data_list.max()
min_data = data_list.min()
# print(max_data,min_data)
# d = 20
# num_bin = (max_data-min_data)//0.5
# 设置不等距离的刻度
num_bin = [1.9,3.5]
i = 3.5
# 循环添加刻度
while i<=9.0:
i += 0.5
num_bin.append(i)
print(num_bin)
# 设置图片大小
plt.figure(figsize=(20,8),dpi=80)
# 画直方图
plt.hist(data_list,num_bin)
# 设置x轴刻度,使其与hist传入的num_bin列表对应
plt.xticks(num_bin)
# 画图
plt.show()
效果图:
- 对于这一组电影数据,如果我们希望统计电影分类(genre)的情况,应该如何处理数据？
- 思路：重新构造一个全为0的数组,列名为分类,如果某一条数据中分类出现过,就让0变为1
代码:
from matplotlib import pyplot as plt
import numpy as np
import pandas as pd
path = "./IMDB-Movie-Data.csv"
# 准备数据
df = pd.read_csv(path)
# print(df["Genre"].head(3))
# 提取
temp_list = df["Genre"].str.split(",").tolist()
# 获取一个含有每种分类的列表
gen_list = list(set([j for i in temp_list for j in i]))
# 构造一个全为0的数组,(colums对应每种分类-上标-列标)
zero_df = pd.DataFrame(np.zeros((df.shape[0],len(gen_list))),columns=gen_list)
# 向数组里面填充数据
for i in range(df.shape[0]):
# zero_df.loc[0,["Sci-fi","Mucical"]] = 1
zero_df.loc[i,temp_list[i]] = 1
# 求出每一列的和(即每一种分类)
toal = zero_df.sum(axis=0)
# 排序
toal = toal.sort_values()
# 设置图片大小
plt.figure(figsize=(20,8),dpi=80)
# 画条形图
plt.bar(range(len(toal)),toal,width=0.3,color="orange")
# 设置x刻度 index返回的是行索引的数组
plt.xticks(range(len(toal)),toal.index)
# 显示图片
plt.show()
效果图:
