【Python3 爬虫学习笔记】数据存储 1 -- TXT文本存储

数据保存的形式可以多种多样，最简单的形式是直接保存为文本文件，如TXT、JSON、CSV等。另外，还可以保存到数据库中，如关系型数据库MySQL，非关系型数据库MongoDB、Redis等。

文件存储

文本存储形式多种多样，比如可以保存成TXT纯文本形式，也可以保存为JSON格式、CSV格式等。

TXT文本存储

将数据保存到TXT文本的操作非常简单，而且TXT文本几乎兼容任何平台，但是有个缺点，那就是不利于检索。所以如果对检索和数据结构要求不高，追求方法第一的话，可以采用TXT文本存储。

基本实例

保存知乎上“发现”页面的“热门话题”部分，将其问题和答案统一保存成文本形式。
首先，可以用requests将网页源代码获取下来，然后使用pyquery解析库解析，接下来提取的标题、回答者、回答保存到文本。

import requests
from pyquery import PyQuery as pq

url = 'https://www.zhihu.com/explore'

headers = {
	'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'
}

html = requests.get(url, headers=headers).text

doc = pq(html)

items = doc('.exploer-tab .feed-item').items()

for item in items:
	question = item.find('h2').text()
	author = item.find('.author-link-line').text()
	answer = pq(item.find('.content').html()).text()
	file = open('explore.txt', 'a', encoding='utf-8')
	file.write('\n'.join([question, author, answer]))
	file.write('\n' + '=' * 50 + '\n')
	file.close()

首先，用requests提取只会的“发现”页面，然后将热门话题的问题、回答者、答案全文提取出来，然后利用Python提供的open()方法打开一个文本文件，获取一个文件操作对象，这里赋值为file，接着利用file对象的write()方法将提取的内容写入文件，最后调用close()方法将其关闭，这样抓取的内容即可成功写入文本中了。
运行程序，可以发现在本地生成了一个explore.txt文件，内容如图所示：
在这里插入图片描述
这里open(）方法的第一个参数即要保存的目标文件名称，第二个参数为a，代表以追加方式写入到文本。另外，我们还指定了文件的编码为utf-8。最后，写入完成后，还需要调用close()方法来关闭对象。

打开方式

在刚才的实例中，open()方法的第二个参数设置成了a,这样在每次写入文本时不会清空源文件，而是在文件末尾写入新的内容，这是一种文件打开方式。关于文件的打开方式，其实还有其他几种。

r:以只读方式打开文件。文件的指针将会放在文件的开头。这是默认模式。
rb:以二进制只读方式打开一个文件。文件指针将会放在文件的开头。
r+:以读写方式打开一个文件。文件指针将会放在文件的开头。
rb+:以二进制读写方式打开一个文件。文件指针将会放在文件的开头。
w:以写入方式打开一个文件。如果该文件已存在，则将其覆盖。如果该文件不存在，则创建新文件。
wb:以二进制写入方式打开一个文件。如果该文件已存在，则将其覆盖。如果该文件不存在，则创建新文件。
w+:以读写方式打开一个文件。如果该文件已存在，则将其覆盖。如果该文件不存在，则创建新文件。
wb+:以二进制读写格式打开一个文件。如果该文件已存在，则将其覆盖。如果该文件不存在，则创建新文件。
a:以追加方式打开一个文件。如果该文件已存在，文件指针将会放在文件结尾。也就是说，新的内容将会被写入到已有内容之后。如果该文件不存在，则创建新文件来写入。
ab:以二进制追加方式打开一个文件。如果该文件已存在，则文件指针将会放在文件结尾。也就是说，新的内容将会被写入到已有内容之后。如果该文件不存在，则创建新文件写入。
a+:以读写方式打开一个文件。如果该文件已存在，文件指针将会放在文件的结尾。文件打开时会是追加模式。如果该文件不存在，则创建新文件来读写。
ab+:以二进制追加方式打开一个文件。如果该文件已存在，则文件指针将会放在文件结尾。如果该文件不存在，则创建新文件用于读写。

简化写法

另外，文件写入还有一种简写方式，那就是使用with as 语法。在with控制块结束时，文件会自动关闭，所以就不需要再调用close()方法了。这种保存方式可以简写如下：

with open('explore.txt', 'a', encoding='utf-8') as file:
	file.write('\n'.join([question, author, answer]))
	file.write('\n' + '=' * 50 + '\n')

如果想保存时将原文清空，那么可以将第二个参数改写为w，代码如下：

with open('explore.txt', 'w', encoding='utf-8') as file:
	file.write('\n'.join([question, author, answer]))
	file.write('\n' + '=' * 50 + '\n')