Python爬虫3.3 — txt用法教程

综述

本系列文档用于对Python爬虫技术的学习进行简单的教程讲解,巩固自己技术知识的同时,万一一不小心又正好对你有用那就更好了。
Python 版本是3.7.4

前面两篇记述了如何使用json、csv进行数据存储,本篇记述和使用txt存储数据。

txt 介绍

将数据保存到txt文本的操作非常简单,而且txt文本几乎兼容任何平台,但是这有个缺点,那就是不利于检索。所以如果对检索和数据结构要求不高,追求方便第一的话,可以采用txt文本存储。本节中,我们就来看下如何利用Python保存txt文本文件。

示例代码

# 引入所需库
import requests
from pyquery import PyQuery as pq

# 开源中国博客
url = 'https://www.oschina.net/blog'
# 定义请求头
headers = {
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'
}
# 进行请求
req = requests.get(url, headers=headers)
html = req.text

# 解析并获取数据
doc = pq(html)
items = doc('div.blog-list-container div.blog-item').items()

for item in items:
    # 博客标题
    title = item.find('div.content a').text()
    # 博客简介
    content = item.find('div.description p').text()
    # 写入文件
    file = open('blog.txt', 'a', encoding='utf-8')
    file.write('\n'.join([title, content]))
    file.write('\n' + '=' * 50 + '\n')
    file.close()

此示例代码演示抓取开源中国博客页内容,并将博客标题和博客简介写入txt文件中。这里主要是为了演示文件保存的方式,因此对requests异常不再做处理。

首先,用requests提取开源中国的博客页面,然后将博客的标题,简介提取出来,然后利用Python提供的open()方法打开一个文本文件,获取一个文件操作对象,这里赋值为file,接着利用file对象的write()方法将提取的内容写入文件,最后调用close()方法将其关闭,这样抓取的内容即可成功写入文本中了。

这里open()方法的第一个参数即要保存的目标文件名称,第二个参数为a,代表以追加方式写入到文本。另外,我们还指定了文件的编码为utf-8。最后,写入完成后,还需要调用close()方法来关闭文件对象。

文件打开方式

在上面的代码实例中,open()方法的第二个参数设置成了a,这样在每次写入文本时不会清空源文件,而是在文件末尾写入新的内容,这是一种文件打开方式。关于文件的打开方式,其实还有其他几种,这里简要介绍一下:

  • a : 以追加方式打开一个文件。如果该文件已存在,文件指针将会放在文件结尾。也就是说,新的内容将会被写入到已有内容之后。如果该文件不存在,则创建新文件来写入。
  • ab : 以二进制追加方式打开一个文件。如果该文件已存在,则文件指针将会放在文件结尾。也就是说,新的内容将会被写入到已有内容之后。如果该文件不存在,则创建新文件来写入。
  • a+ : 以读写方式打开一个文件。如果该文件已存在,文件指针将会放在文件的结尾。文件打开时会是追加模式。如果该文件不存在,则创建新文件来读写。
  • ab+ : 以二进制追加方式打开一个文件。如果该文件已存在,则文件指针将会放在文件结尾。如果该文件不存在,则创建新文件用于读写。
  • r : 以只读方式打开文件。文件的指针将会放在文件的开头。这是默认模式。
  • rb : 以二进制只读方式打开一个文件。文件指针将会放在文件的开头。
  • r+ : 以读写方式打开一个文件。文件指针将会放在文件的开头。
  • rb+ : 以二进制读写方式打开一个文件。文件指针将会放在文件的开头。
  • w : 以写入方式打开一个文件。如果该文件已存在,则将其覆盖。如果该文件不存在,则创建新文件。
  • wb : 以二进制写入方式打开一个文件。如果该文件已存在,则将其覆盖。如果该文件不存在,则创建新文件。
  • w+ : 以读写方式打开一个文件。如果该文件已存在,则将其覆盖。如果该文件不存在,则创建新文件。
  • wb+ 以二进制读写格式打开一个文件。如果该文件已存在,则将其覆盖。如果该文件不存在,则创建新文件。

with ** as **

文件还有另外一种写法,那就是with ** as **语法,在with控制块结束时,文件会自动关闭,所以就不再需要掉用close()方法进行关闭文件,示例代码如下:

# 引入所需库
import requests
from pyquery import PyQuery as pq

# 开源中国博客
url = 'https://www.oschina.net/blog'
# 定义请求头
headers = {
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'
}
# 进行请求
req = requests.get(url, headers=headers)
html = req.text

# 解析并获取数据
doc = pq(html)
items = doc('div.blog-list-container div.blog-item').items()

for item in items:
    # 博客标题
    title = item.find('div.content a').text()
    # 博客简介
    content = item.find('div.description p').text()
    # 写入文件
    with open('blog.txt', 'a', encoding='utf-8') as file:
        file.write('\n'.join([title, content]))
        file.write('\n' + '=' * 50 + '\n')

其他博文链接

发布了154 篇原创文章 · 获赞 404 · 访问量 65万+

猜你喜欢

转载自blog.csdn.net/Zhihua_W/article/details/102363236
今日推荐