pandas-对dataframe的操作,对行列的增加删除修改等操作

Pandas读取CSV文件主要用到的函数为:pandas.read_csv()

函数原型:

pandas.read_csv(filepath_or_buffer,   sep=', ',   delimiter=None,   header='infer', 
                names=None,   index_col=None,   usecols=None,   squeeze=False, 
                prefix=None,   mangle_dupe_cols=True,   dtype=None,   engine=None, 
                converters=None,   true_values=None,   false_values=None, 
                skipinitialspace=False,   skiprows=None,   nrows=None, 
                na_values=None,   keep_default_na=True,   na_filter=True, 
                verbose=False,   skip_blank_lines=True,   parse_dates=False,
                infer_datetime_format=False,   keep_date_col=False,   date_parser=None, 
                dayfirst=False,   iterator=False,   chunksize=None,   compression='infer',
                thousands=None,   decimal=b'.',   lineterminator=None,   quotechar='"',
                quoting=0,   escapechar=None,   comment=None,   encoding=None, 
                dialect=None,   tupleize_cols=None,    error_bad_lines=True, 
                warn_bad_lines=True,   skipfooter=0,    doublequote=True, 
                delim_whitespace=False,   low_memory=True,    memory_map=False, 
                float_precision=None)
  • 常用参数:

  • filepath_or_buffer : 类型str,代表CSV文件地址。

  • sep : 类型str, 默认值为‘,’,用于指定分隔符。如果不指定参数,则会尝试使用逗号分隔。

  • header : 类型为int或者int的列表,它指定用来作为列名行号,然后数据从行号的下一行开始读取。 默认情况下header是根据参数names(如下)

  • 来推断header的值。如果names为None,则等价于header=0,默认把文件中第一行作为列名,数据从第一行开始读取。如果names显示地传入,

  • 则等价于header=None,则数据从0行开始读取。如果传入header=0,names不为None,则将替换原有的列名。header参数可以是一个list。

  • 例如:[0,1,3],这个list表示将文件中的这些行作为列标题(意味着每一列有多个标题),介于中间的行将被忽略掉(例如本例中的2;

  • 本例中的数据1,2,4行将被作为多级标题出现,第3行数据将被丢弃,dataframe的数据从第5行开始。)。

  • names : 一个数组, 默认为None。列名列表,如果数据文件中没有列标题行,就需要执行header=None。

  • usecols : 一个数组, 默认为None,返回数据列一个子集。如果传入字符,则列名需要与表中列名对应。如果传入整数列表,则表示列的索引值。

  • 例如:usecols有效参数可能是 [0,1,2]或者是 [‘foo’, ‘bar’, ‘baz’]。

  • prefix : 类型str, 默认为None。在没有列标题时,给列添加前缀。例如:添加‘X’ 成为 X0, X1, ...

  • engine : {‘c’, ‘python’},可选。使用的分析引擎。可以选择C或者是python。C引擎快但是Python引擎功能更加完备。

  • nrows : 类型int, 默认为None。需要读取的行数(从文件头开始算起)。

  • iterator : 类型boolean, 默认为False。返回一个TextFileReader 对象,以便逐块处理文件。

如果CSV文件过大,则可以分块读取CSV文件,比如:

import pandas as pd
 
reader = pd.read_csv('./train.csv', iterator=True)
try:
	df = reader.get_chunk(70000) # 读取70000行数据
except StopIteration:
	print ("Iteration is stopped.")
print (df.info())

2、DataFrame保存到CSV

 将DataFrame保存到CSV文件的函数为:DataFrame.to_csv()

函数原型:

DataFrame.to_csv(path_or_buf=None, sep=', ', na_rep='', float_format=None, columns=None,

header=True, index=True, index_label=None, mode='w', encoding=None,

compression=None, quoting=None, quotechar='"', line_terminator='\n',

chunksize=None, tupleize_cols=None, date_format=None, doublequote=True,

escapechar=None, decimal='.')

常用参数:

path_or_buf : 文件路径,如果没有指定则将会直接返回字符串的 json

sep : 输出文件的字段分隔符,默认为 “,”

na_rep : 用于替换空数据的字符串,默认为''

float_format : 设置浮点数的格式(几位小数点)

columns : 要写的列

header : 是否保存列名,默认为 True ,保存

index : 是否保存索引,默认为 True ,保存

3、增加DataFrame数据

(1)增加一列数据

 

print df2

col1  col2  col3

a     1     2     3

b     4     5     6

df2['col4'] = ['cnn','rnn']  # 对DataFrame对象进行列扩充

print df2

    col1  col2  col3 col4

a     1     2     3  cnn

b     4     5     6  rnn

df2['col5'] = pd.DataFrame(['MachineLearning','DeepLearning'],index=['a','b'])

print df2   # 也可以通过一个新的DataFrame对象来定义一个新列,索引自动对应

     col1  col2  col3 col4       col5

a     1     2     3  cnn  MachineLearning

b     4     5     6  rnn    DeepLearning

df2['col4'] = 1

print df2

col1 col2 col3 col4

a 1 2 3 1

b 4 5 6 1

(2)增加一行数据 

 

df

col1 col2 col3

0 1 2 3

1 4 5 6

new_line = [7,8,9]

df.loc[3]= new_line

print (df)

col1 col2 col3

0 1 2 3

1 4 5 6

3 7 8 9

 但是十分注意的是,这样实际是改的操作,如果 df.loc [index] 中的index已经存在,则新的值会覆盖之前的值。可以使用DataFrame.append()方法添加。例如:

 

df1 = pd.DataFrame([[1,2,3],[4,5,6]],columns=['col1','col2','col3'])

df2 = pd.DataFrame([[7,8,9],[10,11,12]],columns=['col1','col2','col3'])

print (df1)

print (df2)

col1 col2 col3

0 1 2 3

1 4 5 6

col1 col2 col3

0 7 8 9

1 10 11 12

df3 = df1.append(df2, ignore_index=True)

df4 = df1.append(df2)

print (df3)

print (df4)

col1 col2 col3

0 1 2 3

1 4 5 6

2 7 8 9

3 10 11 12

col1 col2 col3

0 1 2 3

1 4 5 6

0 7 8 9

1 10 11 12

4、删除DataFrame数据

(1)删除一列数据del 、DataFrame.drop()

 

del df['a']  #删除dataframe中指定的列,这个是直接影响当前的dataframe,注意 del不是函数,是python中的内置语句,没有返回值.

df.drop(['a'],axis=1) #删除指定的列,与上面的区别是不会影响原来的dataframe,drop方法会返回一个删除了指定列的新的dataframe.

# 这里如果不加axis=1,则默认是删除行,比如

df

col1 col2 col3

a 1 2 3

b 4 5 6

c 7 8 9

df.drop(['a'], inplace=True)

print (df)

col1 col2 col3

b 4 5 6

c 7 8 9

(2)删除一行数据 DataFrame.drop()

 

df = pd.DataFrame([[1,2,3],[4,5,6],[7,8,9]],columns=['col1','col2','col3'])

# 如果不设置参数inplace=True,则只能在生成的新数据块中实现删除效果,而不能删除原有数据块的相应行。

df2 = df.drop([0,1])

print (df)

print (df2)

col1 col2 col3

0 1 2 3

1 4 5 6

2 7 8 9

col1 col2 col3

2 7 8 9

# 如果inplace=True则原有数据块的相应行被删除

df.drop([0,1], inplace=True)

print (df)

col1 col2 col3

2 7 8 9

5、查询DataFrame数据

(1)根据列名和行索引获取指定列和行

 

df.head(n)     # 获取df中的前n行数据,n不指定,则默认为5

df.tail(n)     # 获取df中的后n行数据,n不指定,则默认为5

# head 和 tail 返回的是一个新的dataframe,与原来的无关

df['a']    # 按照列名获取指定的列,返回的是一个Series

df[:2]    # 获取前2行数据,效果等同df[0:2],返回的是一个新的dataframe

df[2:5]  # 获取第3行~5行 这3条记录,返回的是一个新的dataframe

df.loc['20']  # 获取指定索引的行,返回的是一个Series,loc[]传入的是索引名

df.iloc[3]    # 获取指定序号的行,这里是第4行,iloc[]传入的是行数

df

col1 col2 col3

a 1 2 3

b 4 5 6

c 7 8 9

# 获取指定行

print (df.loc['a'])

print (df.iloc[0])

col1 1

col2 2

col3 3

Name: a, dtype: int64

col1 1

col2 2

col3 3

Name: a, dtype: int64

# 获取指定列

print (df['col1'])

a 1

b 4

c 7

Name: col1, dtype: int64

# 获取单个元素

print (df.iloc[0,1])

2

(2)条件查询 

 

df

col1 col2 col3

a 1 2 3

b 4 5 6

c 7 8 9

df2 = df.loc[(df['col1']>2)&(df['col2']<7)]

print (df2)

col1 col2 col3

b 4 5 6

df3 = df[(df['col1']>1) & (df.col2<8)]

print (df3)

col1 col2 col3

b 4 5 6

6、修改DataFrame数据

(1)遍历数据

 

df

col1 col2 col3

a 1 2 3

b 4 5 6

c 7 8 9

for index,row in df.iterrows():

print (index,row[0],row[1],row[2])

a 1 2 3

b 4 5 6

c 7 8 9

# 或者

for co1,col2,col3 in df.values:

print (co1,col2,col3)

1 2 3

4 5 6

7 8 9

# 或者

shape = df.shape

for i in range(shape[0]):

for j in range(shape[1]):

df.iloc[i,j] = 'hehe'

print (df)

col1 col2 col3

a hehe hehe hehe

b hehe hehe hehe

c hehe hehe hehe

(2)修改行和修改列 

 
  1. df['column'] = [] # column在DataFrame中存在,则修改,否则添加新列

  2. df.iloc[index]、df.loc[index_name] = [] # index在DataFrame中存在则修改,不存在则添加

(3)替换值DataFrame.replace()

  函数原型:

 
  1. DataFrame.replace(to_replace=None, value=None, inplace=False, limit=None, regex=False, method='pad', axis=None)

  2.   # to_replace: DataFrame中被替换的元素名

  3.   # value:用于替换DataFrame中和to_replace匹配的值

  4.   # inplace:如果为true,那么将修改该对象不产生副本

  实例:  

 

df

col2 col1 col3

b 4 6 5

a 1 3 2

c 7 9 8

df.replace(9,'hiudown',inplace=True)

print (df)

col2 col1 col3

b 4 6 5

a 1 3 2

c 7 hiudown 8

猜你喜欢

转载自blog.csdn.net/mid_Faker/article/details/112221475