Python内存管理与垃圾回收机制

Python 的内存管理机制及调优手段

内存管理机制:引用计数、垃圾回收、内存池。

引用计数

引用计数是一种非常高效的内存管理手段, 当一个Python 对象被引用时其引用计数增加1, 当其不再被一个变量引用时则引用计数减1. 当引用计数等于0 时对象被删除。 

垃圾回收

1、引用计数

引用计数也是一种垃圾收集机制,而且也是一种最直观,最简单的垃圾收集技术。当Python 的某个对象的引用计数降为0 时,说明没有任何引用指向该对象,该对象就成为要被回收的垃圾了。比如某个新建对象,它被分配给某个引用,对象的引用计数变为1。如果引用被删除,对象的引用计数为0,那么该对象就可以被垃圾回收。不过如果出现循环引用的话,引用计数机制就不再起有效的作用了 。

2、标记清除

如果两个对象的引用计数都为1,但是仅仅存在他们之间的循环引用,那么这两个对象都是需要被回收的,也就是说,它们的引用计数虽然表现为非0,但实际上有效的引用计数为0。所以先将循环引用摘掉,就会得出这两个对象的有效计数。

 3、分代回收

从前面“标记-清除”这样的垃圾收集机制来看,这种垃圾收集机制所带来的额外操作实际上与系统中总的内存块的数量是相关的,当需要回收的内存块越多时,垃圾检测带来的额外操作就越多,而垃圾回收带来的额外操作就越少;反之,当需回收的内存块越少时,垃圾检测就将比垃圾回收带来更少的额外操作。

 举个例子:

当某些内存块M 经过了3 次垃圾收集的清洗之后还存活时,我们就将内存块M 划到一个集合A 中去,而新分配的内存都划分到集合B 中去。当垃圾收集开始工作时,大多数情况都只对集合B 进行垃圾回收,而对集合A 进行垃圾回收要隔相当长一段时间后才进行,这就使得垃圾收集机制需要处理的内存少了,效率自然就提高了。在这个过程中,集合B 中的某些内存块由于存活时间长而会被转移到集合A 中,当然,集合A 中实际上也存在一些垃圾,这些垃圾的回收会因为这种分代的机制而被延迟。

内存池

1. Python 的内存机制呈现金字塔形状,-1,-2 层主要有操作系统进行操作;
2. 第0 层是C 中的malloc,free 等内存分配和释放函数进行操作;
3. 第1 层和第2 层是内存池,有Python 的接口函数PyMem_Malloc 函数实现,当对象小于256K 时有该层直接分配内存;
4. 第3 层是最上层,也就是我们对Python 对象的直接操作; 

Python 在运行期间会大量地执行malloc 和free 的操作,频繁地在用户态和核心态之间进行切换,这将严重影响Python 的执行效率。为了加速Python 的执行效率,Python 引入了一个内存池机制,用于管理对小块内存的申请和释放。

Python 内部默认的小块内存与大块内存的分界点定在256 个字节,当申请的内存小于256 字节时,PyObject_Malloc 会在内存池中申请内存;当申请的内存大于256 字节时,PyObject_Malloc 的行为将蜕化为malloc 的行为。当然,通过修改Python 源代码,我们可以改变这个默认值,从而改变Python 的默认内存管理行为。

调优手段

1.手动垃圾回收

2.调高垃圾回收阈值

3.避免循环引用(手动解循环引用和使用弱引用)

内存泄露

概述

内存泄漏是指由于疏忽或错误造成程序未能释放已经不再使用的内存的情况。内存泄漏并非指内存在物理上的消失,而是应用程序分配某段内存后,由于设计错误,失去了对该段内存的控制,因而造成了内存的浪费。导致程序运行速度减慢甚至系统崩溃等严重后果。

如何避免

有__del__() 函数的对象间的循环引用是导致内存泄漏的主凶。

不使用一个对象时使用:del object 来删除一个对象的引用计数就可以有效防止内存泄漏问题。

通过Python 扩展模块gc 来查看不能回收的对象的详细信息。

可以通过sys.getrefcount(obj) 来获取对象的引用计数,并根据返回值是否为0 来判断是否内存泄露。 

猜你喜欢

转载自blog.csdn.net/dj_pyer/article/details/82110881