Python入门——（七）文件和数据格式

文件的理解

文件是数据的抽象和集合

• 文件是存储在辅助存储器上的数据序列
• 文件是数据存储的一种形式
• 文件展现形态：文本文件和二进制文件

文件的理解

文本文件 vs. 二进制文件

• 文件文件和二进制文件只是文件的展示方式
• 本质上，所有文件都是二进制形式存储
• 形式上，所有文件采用两种方式展示

文本文件

文件是数据的抽象和集合

• 由单一特定编码组成的文件，如UTF-8编码
• 由于存在编码，也被看成是存储着的长字符串
• 适用于例如：.txt文件、.py文件等

二进制文件

文件是数据的抽象和集合

• 直接由比特0和1组成，没有统一字符编码
• 一般存在二进制0和1的组织结构，即文件格式
• 适用于例如：.png文件、.avi文件等

文本文件 vs. 二进制文件

"中国是个伟大的国家!"

- 文本形式

b'\xd6\xd0\xb9\xfa\xca\xc7\xb8\xf6\xce\xb0\xb4\xf3\xb5\

xc4\xb9\xfa\xbc\xd2\xa3\xa1'

文本文件 vs. 二进制文件

f.txt文件保存: "中国是个伟大的国家!"

#文本形式打开文件

tf = open("f.txt", "rt") print(tf.readline()) tf.close()

>>>

中国是个伟大的国家!

文本文件 vs. 二进制文件

f.txt文件保存: "中国是个伟大的国家!"

#二进制形式打开文件

bf = open("f.txt", "rb") print(bf.readline()) bf.close()

>>>

b'\xd6\xd0\xb9\xfa\xca\xc7\xb8\xf6\xce\xb0

\xb4\xf3\xb5\xc4\xb9\xfa\xbc\xd2\xa3\xa1'

文件的打开和关闭

文件处理的步骤: 打开-操作-关闭

读文件

a.close()

a.writelines(lines)

a.seek(offset)

写文件

文件的打开

<变量名> = open(<文件名>, <打开模式>)

文件路径和名称

源文件同目录可省路径

文本 or 二进制

读 or 写

文件路径

<变量名> = open(<文件名>, <打开模式>)

D:\PYE\f.txt文件路径和名称

"D:/PYE/f.txt"

"./PYE/f.txt"

源文件同目录可省路径

"D:\\PYE\\f.txt" "f.txt"

打开模式

文件的打开模式	描述
'r'	只读模式，默认值，如果文件不存在，返回FileNotFoundError
'w'	覆盖写模式，文件不存在则创建，存在则完全覆盖
'x'	创建写模式，文件不存在则创建，存在则返回FileExistsError
'a'	追加写模式，文件不存在则创建，存在则在文件最后追加内容
'b'	二进制文件模式
't'	文本文件模式，默认值
'+'	与r/w/x/a一同使用，在原功能基础上增加同时读写功能

打开模式

f = open("f.txt")

f = open("f.txt", "rt")

f = open("f.txt", "w")

f = open("f.txt", "a+")

f = open("f.txt", "x")

f = open("f.txt", "b")

f = open("f.txt", "wb")

• 文本形式、只读模式、默认值
• 文本形式、只读模式、同默认值
• 文本形式、覆盖写模式
• 文本形式、追加写模式+ 读文件
• 文本形式、创建写模式
• 二进制形式、只读模式
• 二进制形式、覆盖写模式

文件的关闭
#文本形式打开文件文件使用

tf = open("f.txt", "rt") print(tf.readline()) tf.close()

#二进制形式打开文件

bf = open("f.txt", "rb") print(bf.readline()) bf.close()

文件内容的读取

操作方法	描述
<f>.read(size=-1)	读入全部内容，如果给出参数，读入前size长度 >>>s = f.read(2) 中国
<f>.readline(size=-1)	读入一行内容，如果给出参数，读入该行前size长度 >>>s = f.readline() 中国是一个伟大的国家！

文件内容的读取

操作方法	描述
<f>.readlines(hint=-1)	读入文件所有行，以每行为元素形成列表 如果给出参数，读入前hint行 >>>s = f.readlines() ['中国是一个伟大的国家！']

文件的全文本操作

遍历全文本：方法一

fname = input("请输入要打开的文件名称:")

fo = open(fname,"r")

txt =

#对全文txt进行处理 fo.close()

- 一次读入，统一处理

文件的全文本操作

遍历全文本：方法二

fname = input("请输入要打开的文件名称:") fo = open(fname,"r")

txt =

while txt != "":

#对txt进行处理 txt =

fo.close()

- 按数量读入，逐步处理

文件的逐行操作

逐行遍历文件：方法一

fname = input("请输入要打开的文件名称:")

fo = open(fname,"r")

for line in

print(line) fo.close()

- 一次读入，分行处理

文件的逐行操作

逐行遍历文件：方法二

fname = input("请输入要打开的文件名称:")

fo = open(fname,"r")

for line in

print(line) fo.close()

- 分行读入，逐行处理

数据的文件写入

操作方法	描述
<f>.write(s)	向文件写入一个字符串或字节流 >>>f.write("中国是一个伟大的国家!")
<f>.writelines(lines)	将一个元素全为字符串的列表写入文件 >>>ls = ["中国", "法国", "美国"] >>>f.writelines(ls) 中国法国美国

数据的文件写入

操作方法	描述
<f>.seek(offset)	改变当前文件操作指针的位置，offset含义如下： 0 – 文件开头； 1 – 当前位置； 2 – 文件结尾 >>>f.seek(0) #回到文件开头

数据的文件写入

fo = open("output.txt","w+")

ls = ["中国", "法国", "美国"] fo.writelines(ls)

for line in fo:

print(line) fo.close()

- 写入一个字符串列表

>>> (没有任何输出)

数据的文件写入

fo = open("output.txt","w+")

ls = ["中国", "法国", "美国"] fo.writelines(ls)

for line in fo: print(line)

fo.close()

- 写入一个字符串列表

>>>

中国法国美国

 

实例11: 自动轨迹绘制

"自动轨迹绘制"问题分析

问题分析

自动轨迹绘制

• 需求：根据脚本来绘制图形？
• 不是写代码而是写数据绘制轨迹
• 数据脚本是自动化最重要的第一步

问题分析

自动轨迹绘制

300,0,144,1,0,0

300,0,144,0,1,0

300,0,144,0,0,1

300,0,144,1,1,0

300,0,108,0,1,1

184,0,72,1,0,1

"自动轨迹绘制"实例讲解

自动轨迹绘制

基本思路

• 步骤1：定义数据文件格式（接口）
• 步骤2：编写程序，根据文件接口解析参数绘制图形
• 步骤3：编制数据文件

数据接口定义

非常具有个性色彩

300,0,144,1,0,0

300,1,144,0,1,0

RGB三个通道颜色

行进距离

转向判断

转向角度

0-1之间浮点数

0: 左转 1:右转

#AutoTraceDraw.py

import turtle as t

t.title('自动轨迹绘制') t.setup(800, 600, 0, 0) t.pencolor("red")

t.pensize(5)

#数据读取 datals = []

f = open("data.txt")

for line in f:

line = line.replace("\n","") datals.append(list(map(eval, line.split(","))))

f.close()

#自动绘制

for i in range(len(datals)): t.pencolor(datals[i][3],datals[i][4],datals[i][5]) t.fd(datals[i][0])

if datals[i][1]:

t.right(datals[i][2])

else:

t.left(datals[i][2])

数据文件

data.txt

"自动轨迹绘制"举一反三

import turtle as t

t.title('自动轨迹绘制') t.setup(800, 600, 0, 0) t.pencolor("red")

t.pensize(5) datals = []

f = open("data.txt")

for line in f:

line = line.replace("\n","") datals.append(list(map(eval, line.split(","))))

f.close()

for i in range(len(datals)): t.pencolor(datals[i][3],datals[i][4],datals[i][5]) t.fd(datals[i][0])

if datals[i][1]:

t.right(datals[i][2])

else:

t.left(datals[i][2])

举一反三

理解方法思维

• 自动化思维：数据和功能分离，数据驱动的自动运行
• 接口化设计：格式化设计接口，清晰明了
• 二维数据应用：应用维度组织数据，二维数据最常用

举一反三

应用问题的扩展

• 扩展接口设计，增加更多控制接口
• 扩展功能设计，增加弧形等更多功能
• 扩展应用需求，发展自动轨迹绘制到动画绘制

 

一维数据的格式化和处理

- 数据组织的维度
数据组织的维度

从一个数据到一组数据

3.14

表达一个含义

一组数据

表达一个或多个含义

维度：一组数据的组织形式

3.1413

3.1398

3.1404

3.1401

3.1349

3.1413,3.1398,3.1404,3.1401,3.1349,3.1376

3.1376 或

3.1398, 3.1349, 3.1376

3.1413, 3.1404, 3.1401

一组数据 数据的组织形式

一维数据

由对等关系的有序或无序数据构成，采用线性方式组织

3.1413, 3.1398, 3.1404, 3.1401, 3.1349, 3.1376

- 对应列表、数组和集合等概念

二维数据

由多个一维数据构成，是一维数据的组合形式

表格是典型的二维数据

其中，表头是二维数据的一部分

多维数据

由一维或二维数据在新维度上扩展形成

时间维度

2016 2017

高维数据

仅利用最基本的二元关系展示数据间的复杂结构

{

"firstName" : "Tian" ,

"lastName" : "Song" ,

"address" : {

键值对

"streetAddr" : "中关村南大街5号" ,

"city" : "北京市" ,

"zipcode" : "100081"

} ,

"professional" : ["Computer Networking" , "Security"]

}

数据的操作周期

存储格式 数据类型 操作方式

一维数据的表示

如果数据间有序：使用列表类型

ls = [3.1398, 3.1349, 3.1376]

• 列表类型可以表达一维有序数据
• for循环可以遍历数据，进而对每个数据进行处理

一维数据的表示

如果数据间无序：使用集合类型

st = {3.1398, 3.1349, 3.1376}

• 集合类型可以表达一维无序数据
• for循环可以遍历数据，进而对每个数据进行处理

一维数据的存储

存储方式一：空格分隔

中国 美国 日本 德国 法国 英国 意大利

• 使用一个或多个空格分隔进行存储，不换行
• 缺点：数据中不能存在空格

一维数据的存储

存储方式二：逗号分隔

中国,美国,日本,德国,法国,英国,意大利

• 使用英文半角逗号分隔数据进行存储，不换行
• 缺点：数据中不能有英文逗号

一维数据的存储

存储方式三：其他方式

中国$美国$日本$德国$法国$英国$意大利

• 使用其他符号或符号组合分隔，建议采用特殊符号
• 缺点：需要根据数据特点定义，通用性较差

一维数据的处理

数据的处理

存储 <-> 表示

数据存储 数据表示

存储格式 数据类型

• 将存储的数据读入程序
• 将程序表示的数据写入文件

一维数据的读入处理

从空格分隔的文件中读入数据

中国 美国 日本 德国 法国 英国 意大利

txt = open(fname).read()

ls = f.close()

>>> ls

['中国', '美国', '日本', '德国

', '法国', '英国', '意大利']

一维数据的读入处理

从特殊符号分隔的文件中读入数据

中国$美国$日本$德国$法国$英国$意大利

txt = open(fname).read()

ls = f.close()

>>> ls

['中国', '美国', '日本', '德国

', '法国', '英国', '意大利']

一维数据的写入处理

采用空格分隔方式将数据写入文件

ls = ['中国', '美国', '日本']
f.close()f = open(fname, 'w')

一维数据的写入处理

采用特殊分隔方式将数据写入文件

ls = ['中国', '美国', '日本']

f = open(fname, 'w')

f.close()

 

二维数据的格式化和处理

- 二维数据的表示
二维数据的表示

使用列表类型

• 列表类型可以表达二维数据
• 使用二维列表

[ [3.1398, 3.1349, 3.1376],

[3.1413, 3.1404, 3.1401] ]

二维数据的表示

使用列表类型

[ [3.1398, 3.1349, 3.1376],

[3.1413, 3.1404, 3.1401] ]

• 使用两层for循环遍历每个元素
• 外层列表中每个元素可以对应一行，也可以对应一列

一二维数据的Python表示

数据维度是数据的组织形式

• 一维数据：列表和集合类型

[3.1398, 3.1349, 3.1376] 数据间有序

{3.1398, 3.1349, 3.1376} 数据间无序

• 二维数据：列表类型

[ [3.1398, 3.1349, 3.1376],

[3.1413, 3.1404, 3.1401] ]

CSV格式与二维数据存储

CSV数据存储格式

CSV: Comma-Separated Values

• 国际通用的一二维数据存储格式，一般.csv扩展名
• 每行一个一维数据，采用逗号分隔，无空行
• Excel软件可读入输出，一般编辑软件都可以产生

CSV数据存储格式

城市,环比,同比,定基

北京,101.5,120.7,121.4上海,101.2,127.3,127.8广州,101.3,119.4,120.0深圳,102.0,140.0,145.5沈阳,100.0,101.4,101.6

CSV数据存储格式

CSV: Comma-Separated Values

• 如果某个元素缺失，逗号仍要保留
• 二维数据的表头可以作为数据存储，也可以另行存储
• 逗号为英文半角逗号，逗号与数据之间无额外空格

二维数据的存储

按行存？按列存？

• 按行存或者按列存都可以，具体由程序决定
• 一般索引习惯：ls[row][column]，先行后列
• 根据一般习惯，外层列表每个元素是一行，按行存

二维数据的处理

二维数据的读入处理

从CSV格式的文件中读入数据

fo = open(fname) ls = []

line in fo:

line = line.replace("\n","")

fo.close()

二维数据的写入处理

将数据写入CSV格式的文件

ls = [[], [], []] #二维列表

f = open(fname, 'w') item in ls:

f.close()

二维数据的逐一处理

采用二层循环

ls = [[], [], []] #二维列表

for row in ls:

for column in row: print(ls[row][column])

 

模块6: wordcloud库的使用

wordcloud库基本介绍

wordcloud库概述
- 词云以词语为基本单位，更加直观和艺术的展示文本

wordcloud库的安装

(cmd命令行) pip install wordcloud

wordcloud库基本使用

wordcloud库把词云当作一个WordCloud对象

• wordcloud.WordCloud()代表一个文本对应的词云
• 可以根据文本中词语出现的频率等参数绘制词云
• 绘制词云的形状、尺寸和颜色都可以设定

wordcloud库常规方法

w = wordcloud.WordCloud()

• 以WordCloud对象为基础
• 配置参数、加载文本、输出文件

wordcloud库常规方法

w = wordcloud.WordCloud()

方法	描述
w.generate(txt)	向WordCloud对象w中加载文本txt， >>>w.generate("Python and WordCloud")
w.to_file(filename)	将词云输出为图像文件，.png或.jpg格式 >>>w.to_file("outfile.png")

wordcloud库常规方法

import wordcloud

c = wordcloud.WordCloud() c.generate("wordcloud by Python") c.to_file("pywordcloud.png")

• 步骤1：配置对象参数
• 步骤2：加载词云文本
• 步骤3：输出词云文件

wordcloud库常规方法

200

400

wordcloud库常规方法

"wordcloud by Python"

① 分隔: 以空格分隔单词

文本 ② 统计: 单词出现次数并过滤 词云

③ 字体: 根据统计配置字号

④ 布局: 颜色环境尺寸

配置对象参数

w = wordcloud.WordCloud(<参数>)

参数	描述
width	指定词云对象生成图片的宽度，默认400像素 >>>w=wordcloud.WordCloud(width=600)
height	指定词云对象生成图片的高度，默认200像素 >>>w=wordcloud.WordCloud(width=400)

配置对象参数

参数	描述
min_font_size	指定词云中字体的最小字号，默认4号 >>>w=wordcloud.WordCloud(min_font_size=10)
max_font_size	指定词云中字体的最大字号，根据高度自动调节 >>>w=wordcloud.WordCloud(min_font_size=20)
font_step	指定词云中字体字号的步进间隔，默认为1 >>>w=wordcloud.WordCloud(font_step=2)

配置对象参数

参数	描述
font_path	指定字体文件的路径，默认None >>>w=wordcloud.WordCloud(font_path="msyh.ttc")
max_words	指定词云显示的最大单词数量，默认200 >>>w=wordcloud.WordCloud(max_words=20)
stop_words	指定词云的排除词列表，即不显示的单词列表 >>>w=wordcloud.WordCloud(stop_words={"Python"})

配置对象参数

参数	描述
mask	指定词云形状，默认为长方形，需要引用imread()函数 >>>from scipy.misc import imread >>>mk=imread("pic.png") >>>w=wordcloud.WordCloud(mask=mk)
background_color	指定词云图片的背景颜色，默认为黑色 >>>w=wordcloud.WordCloud(background_color="white")

wordcloud应用实例

import wordcloud

txt = "life is short, you need python" w = wordcloud.WordCloud( \

background_color = "white") w.generate(txt) w.to_file("pywcloud.png")

以空格分隔单词

import jieba

import wordcloud

txt = "程序设计语言是计算机能够理解和\识别用户操作意图的一种交互体系，它按照\特定规则组织计算机指令，使计算机能够自\动进行各种运算处理。"

w = wordcloud.WordCloud( width=1000,\ font_path="msyh.ttc",height=700)

w.generate(" ".join(jieba.lcut(txt)))

w.to_file("pywcloud.png")    中文需要先分词并组成空格分隔字符串

 

 

实例12: 政府工作报告词云

"政府工作报告词云"问题分析

问题分析

直观理解政策文件

- 需求：对于政府工作报告等政策文件，如何直观理解？

-体会直观的价值：生成词云 & 优化词云

政府工作报告等文件 有效展示的词云

问题分析

《决胜全面建成小康社会 夺取新时代中国特色社会主义伟大胜利》

在中国共产党第十九次全国代表大会上的报告

（2017年10月18日）

习近平

https://python123.io/resources/pye/新时代中国特色社会主义.txt

问题分析

《中共中央 国务院关于实施乡村振兴战略的意见》

2018一号文件

（2018年01月02日）

中共中央 国务院

https://python123.io/resources/pye/关于实施乡村振兴战略的意见.txt

"政府工作报告词云"实例讲解(上)

政府工作报告词云

基本思路

• 步骤1：读取文件、分词整理
• 步骤2：设置并输出词云
• 步骤3：观察结果，优化迭代

#GovRptWordCloudv1.py

import jieba

import wordcloud

f = open("新时代中国特色社会主义.txt", "r", encoding="utf-8") t = f.read()

f.close()

ls = jieba.lcut(t)

txt = " ".join(ls)

w = wordcloud.WordCloud( font_path = "msyh.ttc",\

width = 1000, height = 700, background_color = "white", \

)

w.generate(txt)

w.to_file("grwordcloud.png")

 

新时代中国特色社会主义

#GovRptWordCloudv1.py

import jieba

import wordcloud

f = open("关于实施乡村振兴战略的意见.txt", "r", encoding="utf-8") t = f.read()

f.close()

ls = jieba.lcut(t)

txt = " ".join(ls)

w = wordcloud.WordCloud( font_path = "msyh.ttc",\

width = 1000, height = 700, background_color = "white", \)

w.generate(txt) w.to_file("grwordcloud.png")

2018年一号文件

#GovRptWordCloudv1.py

import jieba

import wordcloud

f = open("新时代中国特色社会主义.txt", "r", encoding="utf-8") t = f.read()

f.close()

ls = jieba.lcut(t)

txt = " ".join(ls)

w = wordcloud.WordCloud( font_path = "msyh.ttc",\

width = 1000, height = 700, background_color = "white", \ max_words = 15)

w.generate(txt) w.to_file("grwordcloud.png")

新时代中国特色社会主义

#GovRptWordCloudv1.py

import jieba

import wordcloud

f = open("关于实施乡村振兴战略的意见.txt", "r", encoding="utf-8") t = f.read()

f.close()

ls = jieba.lcut(t)

txt = " ".join(ls)

w = wordcloud.WordCloud( font_path = "msyh.ttc",\

width = 1000, height = 700, background_color = "white", \ max_words = 15)

w.generate(txt) w.to_file("grwordcloud.png")

 

 

2018年一号文件
"政府工作报告词云"实例讲解(下)

政府工作报告词云

更有形的词云

#GovRptWordCloudv2.py

import jieba
f = open("新时代中国特色社会主义.txt", "r", encoding="utf-8")import wordcloud

t = f.read() f.close()

ls = jieba.lcut(t) txt = " ".join(ls)

w = wordcloud.WordCloud( font_path = "msyh.ttc", mask = mask\

width = 1000, height = 700, background_color = "white", \)

w.generate(txt) w.to_file("grwordcloud.png")

新时代中国特色社会主义 2018年一号文件

#GovRptWordCloudv2.py

import jieba
f = open("新时代中国特色社会主义.txt", "r", encoding="utf-8")import wordcloud

t = f.read() f.close()

ls = jieba.lcut(t) txt = " ".join(ls)

w = wordcloud.WordCloud( font_path = "msyh.ttc", mask = mask\

width = 1000, height = 700, background_color = "white", \)

w.generate(txt) w.to_file("grwordcloud.png")

新时代中国特色社会主义 2018年一号文件

"政府工作报告词云"举一反三

举一反三

扩展能力

• 了解wordcloud更多参数，扩展词云能力
• 特色词云：设计一款属于自己的特色词云风格
• 更多文件：用更多文件练习词云生成