Python读取大文件的解决方案

python读取超大文件

1）普通读文件方法弊端分析

1.with 上下文管理器会自动关闭打开的文件描述符，在迭代文件对象时，内容是一行一行返回的，不会占用太多内存

2. 如果python读取文件如果被读取的文件里，根本就没有任何换行符，将会变成一个非常巨大的字符串对象，占用大量内存。
　　　　　　
python普通方法读文件

#! /usr/bin/env python
# -*- coding: utf-8 -*-
def read_file(fname):
    with open(fname) as file:
        for line in file:
            print(line.strip('\n'),)
path = r'C:\aaa\luting\edc-backend\aaa.py'
read_file(path)

2）读取大文件正确方式

1. 我们使用了一个 while 循环来读取文件内容，每次最多读取 8kb 大小

2. 这样可以避免之前需要拼接一个巨大字符串的过程，把内存占用降低非常多。

python读取大文件

#!/usr/bin/python
# -*- coding: utf-8 -*-
def read_big_file_v(fname):
    block_size = 1024 * 8
    with open(fname,encoding="utf8") as fp:
        while True:
            chunk = fp.read(block_size)
            # 当文件没有更多内容时，read 调用将会返回空字符串 ''
            if not chunk:
                break
            print(chunk)
path = r'C:\aaa\luting\edc-backend\tttt.py'
read_big_file_v(path)