访问数据时使用各类工具的第一步，我们重点关注使用 pandas 进行数据输入和输出，输入和输出通常有以下几种类型：读取文本文件及硬盘上其他更高效的格式文件，从数据库中载入数据，与网络资源进行交互（比如 Web API ）
6.1文本格式数据的读写
将表格型数据读取为 dataframe 对象是pandas 的重要特性。
这些函数的可选参数主要有：
- 索引：将一或多个列作为返回的dataframe ，从文件或用户出获得列名，或没有列名
- 类型推断和数据转换：包括用户自定义的值转换，和自定义的缺失值符号列表。
- 日期时间解析：包括组合功能，也包括将分散再多个列上的日期和时间信息组合成结果中的单个列。
- 迭代：支持对大型文件的分块迭代。
- 未清洗数据问题：跳过行、页脚、注释以及其他次要数据，比如使用逗号分隔千位的数字。
关于python对csv 文件的操作可以看看我以前的文章啊脑补链接
import csv
headers=('a','b','c','d','message')
data=[(1,2,3,4,'hello'),
(5,6,7,8,'world'),
(8,10,11,12,'foo')]
with open('ex2.csv','w',encoding='utf-8',newline='') as f:
writer=csv.writer(f)
writer.writerow(headers)
writer.writerows(data)
with open('ex2.csv','r',encoding='utf-8') as f: # 当然可以用excel 来创建一个表，再jupyter notebook 中
reader=csv.reader(f) # 使用 !type ex2.csv 来查看
for each in reader:
print(each)
['a', 'b', 'c', 'd', 'message']
['1', '2', '3', '4', 'hello']
['5', '6', '7', '8', 'world']
['8', '10', '11', '12', 'foo']
df=pd.read_csv('ex2.csv') # 使用read_csv 的方法读入 dataframe 中
df
a b c d message
0 1 2 3 4 hello
1 5 6 7 8 world
2 8 10 11 12 foo
df=pd.read_table('ex2.csv',sep=',') # 我们也可以使用 read_table 方法并指定分隔符，
!type ex1.csv # 这个是不包含表头 行的
1,2,3,4,hello
5,6,7,8,world
9,10,11,12,foo
# 要读取这样的文件，需要选择一些选项，可利用允许pandas自动分配默认列名，也可以自己指定列名
pd.read_csv('ex1.csv',header=None)
0 1 2 3 4
0 1 2 3 4 hello
1 5 6 7 8 world
2 9 10 11 12 foo
pd.read_csv('ex1.csv')
1 2 3 4 hello # 这把第一行就当头了。。。
0 5 6 7 8 world
1 9 10 11 12 foo
pd.read_csv('ex1.csv',names=['a','b','c','d','message'])
a b c d message
0 1 2 3 4 hello
1 5 6 7 8 world
2 9 10 11 12 foo
# 如果你想要 message 列成为返回dataframe 的索引，你可以指定位置4 的列为索引，或‘message’ 传入 index_col
pd.read_csv('ex1.csv',names=['a','b','c','d','message'],index_col=4)
a b c d
message
hello 1 2 3 4
world 5 6 7 8
foo 9 10 11 12
!type ex1.csv
key1,key2,value1,value2
one,a,1,2
one,b,3,4
one,c,5,6
one,d,7,8
two,a,9,10
two,b,11,12
two,c,13,14
two,d,15,16
pd.read_csv('ex1.csv',index_col=['key1','key2']) # 从多个列中形成一个分层索引，需要传入一个包含列序号，列名的列表
value1 value2
key1 key2
one a 1 2
b 3 4
c 5 6
d 7 8
two a 9 10
b 11 12
c 13 14
d 15 16
list(open('ex3.txt')) # 这些字段通过不同数量的空格分开，传入一个正则作为分隔符
[' A B C\n', 'aaa 1 2 3\n', 'bbb 3 5 6\n', 'ccc 7 8 9\n', 'ddd 10 11 12\n']
pd.read_table('ex3.txt',sep='\s+') # 匹配空白字符
A B C
aaa 1 2 3 # 由于列名的数量比数据的列数少了一个，默认将第一列当作了dataframe 的索引。
bbb 3 5 6
ccc 7 8 9
ddd 10 11 12
# 解析函数有很多附加参数帮助你除了各种发生异常的文件格式
list(open('ex3.csv',encoding='utf-8'))
['# 额\n',
' A B C\n',
' # 可不可以把我去了\n',
' # 啊\n',
'aaa 1 2 3\n',
'bbb 3 5 6\n',
'ccc 7 8 9\n',
'ddd 10 11 12\n']
pd.read_csv('ex3.csv',skiprows=[0,2,3]) # 跳过这三行
A B C
0 aaa 1 2 3
1 bbb 3 5 6
2 ccc 7 8 9
3 ddd 10 11 12
# 缺失值要么不显示，要么用一些标识值，pandas 中常用 NA NULL
!type ex2.csv
a,b,c,d,message
1,2,3,4,hello
5,6,7,8,world
8,10,11,12,foo
13,NA,15,16,NA
result=pd.read_csv('ex2.csv')
a b c d message
0 1 2.0 3 4 hello
1 5 6.0 7 8 world
2 8 10.0 11 12 foo
3 13 NaN 15 16 NaN
pd.isnull(result)
a b c d message
0 False False False False False
1 False False False False False
2 False False False False False
3 False True False False True
pd.read_csv('ex2.csv',na_values=['hello']) # 需要NA 来替换的序列
a b c d message
0 1 2.0 3 4 NaN # 这里把原来的 hello 替换成了 NAN
1 5 6.0 7 8 world
2 8 10.0 11 12 foo
3 13 NaN 15 16 NaN
sentinels={'message':['hello','foo'],'a':[1]} # 再字典中，每列可以指定不同的缺失值标识
pd.read_csv('ex2.csv',na_values=sentinels)
a b c d message
0 NaN 2.0 3 4 NaN
1 5.0 6.0 7 8 world
2 8.0 10.0 11 12 NaN
3 13.0 NaN 15 16 NaN
6.1.1 分块读入文本文件
当处理大型文件或找出正确的参数集来正确处理大文件时，你可能需要读入文件的一个小片段或者按照小块遍历文件。
再尝试大文件之前，我们可以先对pandas 的显示设置进行调整，使之更加紧凑。
pd.options.display.max_rows=10
pd.read_csv('ex6.csv') # 额，10000行，确实是大文件。https://github.com/wesm/pydata-book 可以下载下来看看
one two three four key
0 0.467976 -0.038649 -0.295344 -1.824726 L
1 -0.358893 1.404453 0.704965 -0.200638 B
2 -0.501840 0.659254 -0.421691 -0.057688 G
3 0.204886 1.074134 1.388361 -0.982404 R
4 0.354628 -0.133116 0.283763 -0.837063 Q
... ... ... ... ... ...
9995 2.311896 -0.417070 -1.409599 -0.515821 L
9996 -0.479893 -0.650419 0.745152 -0.646038 E
9997 0.523331 0.787112 0.486066 1.093156 K
9998 -0.362559 0.598894 -1.843201 0.887292 G
9999 -0.096376 -1.012999 -0.657431 -0.573315 NaN
10000 rows × 5 columns
pd.read_csv('ex6.csv',nrows=5) # 只读取前五行
chunker=pd.read_csv('ex6.csv',chunksize=1000) # 分块，指定chunksize 作为每一块的行数，
chunker
<pandas.io.parsers.TextFileReader at 0x1868c0319c8>
# read_csv 返回的 TextParser 对象允许你根据 chunksize 历遍文件。
# 例如，我们历遍 ex6.csv 并对 'key' 列聚合获得计数值
tot=pd.Series([])
for piece in chunker:
tot=tot.add(piece['key'].value_counts(),fill_value=0) # 就是获得key 列各值的个数，，
tot=tot.sort_values(ascending=False)
tot[:10]
E 368.0
X 364.0
L 346.0
O 343.0
Q 340.0
M 338.0
J 337.0
F 335.0
K 334.0
H 330.0
dtype: float64
有内味了。。。。。。。