一、说明
Pandas无疑是Python有史以来最好的库之一，用于表格数据整理和处理任务。但是，如果您是新手并试图牢牢掌握 Pandas 库，那么如果您从 Pandas 的官方文档开始，一开始事情可能会显得非常令人生畏和不知所措。
二、pandas主题概述
主题列表如下所示：
官方 Pandas API 文档中的主题列表（图片来自作者）（来源：这里)
您可以在此处找到本文的代码。
三、使用方法列举
3.1 导入库
当然，如果你想使用熊猫库，你应该导入它。这里广泛采用的约定是将别名设置为 。pandaspd
import pandas as pd3.2 读取 CSV
CSV 通常是从中读取 Pandas 数据帧的最流行的文件格式。您可以使用该方法创建熊猫数据帧：pd.read_csv()
file = "file.csv"
df = pd.read_csv(file)
print(df)
>>
col1 col2 col3
0 1 2 A
1 3 4 B我们可以验证使用该方法创建的对象类型。type()
type(df)
>>
pandas.core.frame.DataFrame
3.3 将数据帧存储到 CSV
正如 CSV 普遍用于从中读取数据帧一样，它们也被广泛用于将数据帧转储到。
使用如下所示的方法：df.to_csv()
df.to_csv("file.csv", sep = "|", index = False) 分隔符 （） 指示列分隔符，并指示 Pandas 不要在 CSV 文件中写入数据帧的索引。sepindex=False
!cat file.csv
>>
col1|col2|col3
1|2|A
3|4|B3.4 创建数据帧
若要创建熊猫数据帧，请使用以下方法：pd.DataFrame()
data = [[1, 2, "A"],
[3, 4, "B"]]
df = pd.DataFrame(data,
columns = ["col1", "col2", "col3"])
print(df)
>>
col1 col2 col3
0 1 2 A
1 3 4 B
3.4.1 从列表中列创建
一种流行的方法是将给定的列表列表转换为数据帧：
data = [[1, 2, "A"],
[3, 4, "B"]]
df = pd.DataFrame(data,
columns = ["col1", "col2", "col3"])
print(df)
》》
col1 col2 col3
0 1 2 A
1 3 4 B3.4.2 来自字典
另一种流行的方法是将Python字典转换为DataFrame：
data = {'col1': [1, 2],
'col2': [3, 4],
'col3': ["A", "B"]}
df = pd.DataFrame(data=data)
print(df)
》》
col1 col2 col3
0 1 3 A
1 2 4 B
您可以在此处阅读有关创建数据帧的详细信息。
3.5 数据帧的形状
数据帧本质上是带有列标题的矩阵。因此，它具有特定数量的行和列。
您可以使用参数打印尺寸，如下所示：shape
print(df)
print("Shape:", df.shape)
》》
col1 col2 col3
0 1 3 A
1 2 4 B
Shape: (2, 3) 这里，元组 （） 的第一个元素是行数，第二个元素 （） 是列数。23
3.6 查看前 N 行
通常，在实际数据集中，您将有很多行。
在这种情况下，人们通常只对查看数据帧的第一行感兴趣。n
您可以使用该方法打印第一行：df.head(n)n
print(df.head(5))
》》
col1 col2 col3
0 1 2 A
1 3 4 B
2 5 6 C
3 7 8 D
4 9 10 E
3.7打印列的数据类型
Pandas 为数据帧中的每个列分配适当的数据类型。
您可以使用以下参数打印所有列的数据类型：dtypes
df.dtypes
》》
col1 int8
col2 int64
col3 object
dtype: object
3.8 修改列的数据类型
如果要更改列的数据类型，可以使用如下方法：astype()
df["col1"] = df["col1"].astype(np.int8)
print(df.dtypes)
>>
col1 int8
col2 int64
col3 object
dtype: object
3.9 打印有关数据帧的描述性信息
3.9.1 方法 1
第一种方法 （） 用于打印缺失值统计信息和数据类型。df.info()
df.info()
》》
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 10 entries, 0 to 9
Data columns (total 3 columns):
# Column Non-Null Count Dtype
--- ------ -------------- -----
0 col1 10 non-null int8
1 col2 10 non-null int64
2 col3 10 non-null object
dtypes: int64(1), int8(1), object(1)
memory usage: 298.0+ bytes
3.9.2 方法 2
这相对更具描述性，并打印标准统计信息，如 、 等。每个数值列。meanstandard deviationmaximum
方法是 。df.describe()
print(df.describe())
>>
col1 col2
count 10.00 10.00
mean 10.00 11.00
std 6.06 6.06
min 1.00 2.00
25% 5.50 6.50
50% 10.00 11.00
75% 14.50 15.50
max 19.00 20.00
3.10 填充 NaN 值
在真实数据集中，丢失数据几乎是不可避免的。在这里，您可以使用该方法将它们替换为特定值。df.fillna()
df = pd.DataFrame([[1, 2, "A"], [np.nan, 4, "B"]],
columns = ["col1", "col2", "col3"])
print(df)
>>
col1 col2 col3
0 1.0 2 A
1 NaN 4 B在我之前的博客中阅读有关处理缺失数据的更多信息：
df.fillna(0, inplace = True) print(df)
>>
col1 col2 col3
0 1.0 2 A
1 0.0 4 B3.11 加入数据帧
如果要使用联接键合并两个数据帧，请使用以下方法：pd.merge()
df1 = ...
df2 = ...
print(df1)
print(df2)
>>
col1 col2 col3
0 1 2 A
1 3 4 A
2 5 6 B
col3 col4
0 A X
1 B Ypd.merge(df1, df2, on = "col3")
>>
col1 col2 col3 col4
0 1 2 A X
1 3 4 A X
2 5 6 B Y3.12 对数据帧进行排序
排序是数据科学家用来订购数据帧的另一种典型操作。可以使用该方法对数据帧进行排序。df.sort_values()
df = pd.DataFrame([[1, 2, "A"],
[5, 8, "B"],
[3, 10, "B"]],
columns = ["col1", "col2", "col3"])
print(df.sort_values("col1"))
>>
col1 col2 col3
0 1 2 A
2 3 10 B
1 5 8 B
3.13 对数据帧进行分组
要对数据帧进行分组并执行聚合，请使用 Pandas 中的方法，如下所示：groupby()
df = pd.DataFrame([[1, 2, "A"],
[5, 8, "B"],
[3, 10, "B"]],
columns = ["col1", "col2", "col3"])
df.groupby("col3").agg({"col1":sum, "col2":max})
>>
col1 col2
col3
A 1 2
B 8 103.14 重命名列
如果要重命名列标题，请使用该方法，如下所示：df.rename()
df = pd.DataFrame([[1, 2, "A"],
[5, 8, "B"],
[3, 10, "B"]],
columns = ["col_A", "col2", "col3"])
df.rename(columns = {"col_A":"col1"})
>>
col1 col2 col3
0 1 2 A
1 5 8 B
2 3 10 B
3.15 删除列
如果要删除列，请使用以下方法：df.drop()
df = pd.DataFrame([[1, 2, "A"],
[5, 8, "B"],
[3, 10, "B"]],
columns = ["col1", "col2", "col3"])
print(df.drop(columns = ["col1"]))
>>
col2 col3
0 2 A
1 8 B
2 10 B3.16 添加新列
添加新列的两种广泛使用的方法是：
3.16.1 方法 1
您可以使用赋值运算符添加新列：
df = pd.DataFrame([[1, 2], [3, 4]],
columns = ["col1", "col2"])
df["col3"] = df["col1"] + df["col2"]
print(df)
>>
col1 col2 col3
0 1 2 3
1 3 4 7
3.16.1 方法 2
或者，您也可以按如下方式使用该方法：df.assign()
df = pd.DataFrame([[1, 2], [3, 4]],
columns = ["col1", "col2"])
df = df.assign(col3 = df["col1"] + df["col2"])
print(df)
>>
col1 col2 col3
0 1 2 3
1 3 4 73.17 筛选数据帧
有多种方法可以根据条件筛选数据帧。
方法 1：布尔过滤
在这里，如果该行的条件计算结果为 。True
df = pd.DataFrame([[1, 2, "A"],
[5, 8, "B"],
[3, 10, "B"]],
columns = ["col1", "col2", "col3"])
print(df[df["col2"] > 5])
>>
col1 col2 col3
1 5 8 B
2 3 10 B对于要筛选的行，中的值应大于 5。col2
该方法用于选择其值属于值列表的行。isin()
df = pd.DataFrame([[1, 2, "A"],
[5, 8, "B"],
[3, 10, "C"]],
columns = ["col1", "col2", "col3"])
filter_list = ["A", "C"]
print(df[df["col3"].isin(filter_list)])
>>
col1 col2 col3
0 1 2 A
2 3 10 C方法 2：获取列
您还可以按如下方式筛选整个列：
df["col1"] ## or df.col1
>>
0 1
1 5
2 3
Name: col1, dtype: int64方法3：按标签选择
在基于标签的选择中，请求的每个标签都必须位于数据帧的索引中。
整数也是有效的标签，但它们指的是标签而不是位置。
请考虑以下数据帧。
df = pd.DataFrame([[6, 5, 10],
[5, 8, 6],
[3, 10, 4]],
columns = ["Maths", "Science", "English"],
index = ["John", "Mark", "Peter"])
print(df)
>>
Maths Science English
John 6 5 10
Mark 5 8 6
Peter 3 10 4我们使用基于标签的选择方法。df.loc
df.loc["John"]
>>
Maths 6
Science 5
English 10
Name: John, dtype: int64df.loc["Mark", ["Maths", "English"]]
>>
Maths 5
English 6
Name: Mark, dtype: int64 但是，在 中，不允许使用 position 来筛选数据帧，如下所示：df.loc[]
df.loc[0]
>>
Execution Error
KeyError: 0 要实现上述目标，您应该使用 使用基于位置的选择。df.iloc[]
方法4：按位置选择
df.iloc[0]
>>
Maths 6
Science 5
English 10
Name: John, dtype: int643.18 在数据帧中查找唯一值
若要打印列中的所有非重复值，请使用该方法。unique()
df = pd.DataFrame([[1, 2, "A"],
[5, 8, "B"],
[3, 10, "A"]],
columns = ["col1", "col2", "col3"])
df["col3"].unique()
>>
array(['A', 'B'], dtype=object)如果要打印唯一值的数量，请改用。nunique()
df["col3"].nunique()
>>
23.19 将函数应用于数据帧
如果要将函数应用于列，请使用如下所示的方法：apply()
def add_cols(row):
return row.col1 + row.col2
df = pd.DataFrame([[1, 2],
[5, 8],
[3, 9]],
columns = ["col1", "col2"])
df["col3"] = df.apply(add_cols, axis=1)
print(df)
>>
col1 col2 col3
0 1 2 3
1 5 8 13
2 3 9 12
您还可以将方法应用于单个列，如下所示：
def square_col(num):
return num**2
df = pd.DataFrame([[1, 2],
[5, 8],
[3, 9]],
columns = ["col1", "col2"])
df["col3"] = df.col1.apply(square_col)
print(df)
>>
col1 col2 col3
0 1 2 1
1 5 8 25
2 3 9 93.20 处理重复数据
您可以使用以下方法标记所有重复行：df.duplicate()
df = pd.DataFrame([[1, "A"],
[2, "B"],
[1, "A"]],
columns = ["col1", "col2"])
df.duplicated(keep=False)所有重复的行都标记为 True，并保持 = False。
此外，您可以使用该方法删除重复的行，如下所示：df.drop_duplicates()
df = pd.DataFrame([[1, "A"],
[2, "B"],
[1, "A"]],
columns = ["col1", "col2"])
print(df.drop_duplicates())
》》
col1 col2
0 1 A
1 2 B将保留重复行的一个副本。
3.21 查找值的分布
若要查找列中每个唯一值的频率，请使用以下方法： value_counts()
df = pd.DataFrame([[1, "A"],
[2, "B"],
[1, "A"]],
columns = ["col1", "col2"])
print(df.value_counts("col2"))
》》
col2
A 2
B 1
dtype: int64
3.22 重置数据帧的索引
若要重置数据帧的索引，请使用以下方法：df.reset_index()
df = pd.DataFrame([[6, 5, 10],
[5, 8, 6],
[3, 10, 4]],
columns = ["col1", "col2", "col3"],
index = [2, 3, 1])
print(df.reset_index())
》》
index col1 col2 col3
0 2 6 5 10
1 3 5 8 6
2 1 3 10 4要删除旧索引，请将参数传递给上述方法：drop=True
df.reset_index(drop=True)
》》
col1 col2 col3
0 6 5 10
1 5 8 6
2 3 10 4
3.23 查找交叉制表
若要返回两列中每个值组合的频率，请使用以下方法：pd.crosstab()
df = pd.DataFrame([["A", "X"],
["B", "Y"],
["C", "X"],
["A", "X"]],
columns = ["col1", "col2"])
print(pd.crosstab(df.col1, df.col2))
》》
col2 X Y
col1
A 2 0
B 0 1
C 1 0
3.24 旋转数据帧
数据透视表是Excel中常用的数据分析工具。与上面讨论的交叉表类似，Pandas 中的数据透视表提供了一种交叉制表数据的方法。
请考虑以下数据帧：
df = ...
print(df)
》》
Name Subject Marks
0 John Maths 6
1 Mark Maths 5
2 Peter Maths 3
3 John Science 5
4 Mark Science 8
5 Peter Science 10
6 John English 10
7 Mark English 6
8 Peter English 4
使用该方法，您可以将列条目转换为列标题：pd.pivot_table()
pd.pivot_table(df,
index = ["Name"],
columns=["Subject"],
values='Marks',
fill_value=0)
》》
Subject English Maths Science
Name
John 10 6 5
Mark 6 5 8
Peter 4 3 10