详解python的垃圾回收机制

Posted 2021-02-08 angelyan

python的垃圾回收机制

一、引子

我们定义变量会申请内存空间来存放变量的值，而内存的容量是有限的，当一个变量值没有用了（简称垃圾）就应该将其占用的内存空间给回收掉，而变量名是访问到变量值的唯一方式，所以当一个变量值没有关联任何变量名时，我们就无法再访问到该变量值了，该变量值就是一个垃圾会被python解释的垃圾回收机制自动回收

二、什么是垃圾回收机制

垃圾回收机制（简称GC）是python解释器自带的一种机制，专门用来回收不可用的变量值所占用的内存空间

三、为什么要用垃圾回收机制

程序运行过程中会申请大量的内存空间，为对于一些无用的内存空间如果不及时清理的话会导致内存使用殆尽（内存的益出），导致程序的崩溃，因此管理内存是一件非常重要而繁杂的事情，而python解释器自带的垃圾回收机制把程序员从繁杂的内存管理中解放出来

四、垃圾回收机制原理分析

python的GC模块主要运用了“引用计数”（reference counting）来跟踪和回收垃圾，在引用计数的基础上，还可以通过“标记-清楚”（Mark and sweep）解决容器对象可能产生的循环引用问题，并且通过“分代回收”（generation collection）以空间换取时间的方式来进一步提高垃圾回收的效率

五、什么是引用计数

引用计数就是：变量值被变量名关联的次数

如：name=“maple”

变量值maple被关联了一个name，称之为引用计数为1，

引用计数增加：

x=10(此时,变量值10的引用计数为1)

y=10(此时,把x的内存地址给了y,此时,x,y都关联了10,所以变量值10的引用计数为2)

引用计数减少：

x=3（此时，x与10解除了关联，与3建立了关联，变量10的引用计数为1）

del y （del的意思是解除变量名y与变量值10的关联关系，此时，变量10的引用计数为0）

这样变量值10的引用计数为0，其占用的内存地址就会被回收

六、引用计数扩展

引用计数机制执行效率问题：变量值被关联次数的增加或减少，都会引发引用计数机制的执行，这存在明显的效率问题

如果说执行效率还仅仅是引用计数机制的一个软肋的话，那么很不幸，引用计数机制还存在着一个致命的弱点，即循环引用（也成交叉引用）

# 变量名l1指向列表1，变量名l2指向列表2，如下
>>> l1=[‘列表1中的第一个元素‘]  # 列表1被引用一次   
>>> l2=[‘列表2中的第一个元素‘]  # 列表2被引用一次 
>>> l1.append(l2)             # 把列表2追加到l1中作为第二个元素，列表2的引用计数为2
>>> l2.append(l1)             # 把列表1追加到l2中作为第二个元素，列表1的引用计数为2
# l1与l2
# l1 = [‘列表1中的第一个元素‘,列表2的内存地址]
# l2 = [‘列表2中的第一个元素‘,列表1的内存地址]

循环引用可以使一组对象的引用计数不为0，然而这些对象实际上并没有被任何外部对象所引用，它们之间只是相互引用，这意味着不会再有人使用这组对象，应该回收这组对象所占用的内存空间，然后由于相互引用的存在，每一个对象的引用计数都不为0，因此这些对象所占用的内存元永远不会被释放，比如：

>>> l1
[‘列表1中的第一个元素‘, [‘列表2中的第一个元素‘, [...]]]
>>> l2
[‘列表2中的第一个元素‘, [‘列表1中的第一个元素‘, [...]]]
>>> l1[1][1][0]
‘列表1中的第一个元素‘

如果我们执行del l1，列表1的引用计数=2-1，即列表1不会被回收，同理del l2，列表2的引用计数=2-1，此时无论列表1还是列表2都没有任何名字关联，但是引用计数均不为0，所以循环引用是致命的，这与手动进行内存管理所产生的内存泄露毫无区别

要解决这个问题，python引入了其他的垃圾回收机制来弥补引用计数的缺陷：

1、“标记-清楚”

2、“分代回收”

标记-清楚

容器对象（比如：list，set，dict，class，instance）都可以包含对其他对象的引用，所以都可能产生循环引用，而“标记-清楚”计数就是为了解决循环引用的问题

在了解标记清楚算法前，我们需要明确一点，内存中有两块区域：堆曲与栈曲，在定义变量时，变量名存放于栈区，变量值存放于堆区，内存管理回收的则是堆区的内容

标记清楚算法的做法是当有效内存空间被消耗尽的时候，就会停止整个程序，然后进行两项工作，第一项则是标记，第二项则是清楚

标记：标记的过程其实就是，遍历所有的GC roots对象（栈区中的所有内容或者线程都可以作为GC roots对象），然后将所有GC roots的对象可以直接或间接访问的对象标记为存活的对象

清楚：清楚的过程将遍历堆区中所有的对象，将没有标记的对象全部清楚掉

GC roots对象直接访问到的对象

GC roots对象间接访问到的对象

分代回收

背景：

基于引用计数的回收机制，每次回收内存，都需要把所有对象的引用计数都遍历一遍，这是非常消耗时间的，于是引入了分代回收来提高回收效率，采用“空间换时间的策略”。

什么是分代回收？

分代：

分代回收的核心思想是：在多次扫描的情况下，都没有被回收的变量，GC机制就会认为，该变量是常用变量，GC对其扫描的频率会降低，具体实现原理如下：

分代指的是根据存活时间来为变量划分不同等级（也就是不同的代）

新定义的变量，放到新生代这个等级中，假设每隔1分钟扫描新生代一次，如果发现变量依然被引用，那么该对象的权重（权重本质就是个整数）加一，当变量的权重大于某个设定得值（假设为3），会将它移动到更高一级的青春代，青春代的gc扫描的频率低于新生代（扫描时间间隔更长），假设5分钟扫描青春代一次，这样每次GC需要扫描的变量的总个数就变少了，节省了扫描的总时间，接下来，青春代中的对象，也会以同样的方式被移动到老年代中。也就是等级（代）越高，被垃圾回收机制扫描的频率越低

回收：

回收依然是使用引用计数作为回收的依据

缺点：

例如一个变量刚刚从新生代移入青春代，该变量的绑定关系就解除了，该变量应该被回收，青春代的扫描频率低于新生代，所以该变量的回收时间被延迟

内存池

1. Python 的内存机制呈现金字塔形状，-1，-2 层主要有操作系统进行操作；
2. 第 0 层是 C 中的 malloc，free 等内存分配和释放函数进行操作；
3. 第1 层和第 2 层是内存池，有 Python 的接口函数 PyMem_Malloc 函数实现，当对象小于256K 时有该层直接分配内存；
4. 第3层是最上层，也就是我们对 Python 对象的直接操作；
Python 在运行期间会大量地执行 malloc 和 free 的操作，频繁地在用户态和核心态之间进行切 换，这将严重影响 Python 的执行效率。为
了加速Python 的执行效率，Python 引入了一个内存池 机制，用于管理对小块内存的申请和释放。 Python 内部默认的小块内存与大块内存
的分界点定在 256 个字节，当申请的内存小于 256 字节 时，PyObject_Malloc会在内存池中申请内存；当申请的内存大于 256 字节时，
PyObject_Malloc 的 行为将蜕化为 malloc 的行为。当然，通过修改 Python 源代码，我们可以改变这个默认值，从而改 变 Python 的默认
内存管理行为。

调优手段

1.手动垃圾回收
2.调高垃圾回收阈值
3.避免循环引用（手动解循环引用和使用弱引用）
2.内存泄露是什么？如何避免？
指由于疏忽或错误造成程序未能释放已经不再使用的内存的情况。内存泄漏并非指内存在物理上的
消失，而是应用程序分配某段内存后，由于设计错误，失去了对该段内存的控制，因而造成了内存的浪
费。导致程序运行速度减慢甚至系统崩溃等严重后果。
有 __del__() 函数的对象间的循环引用是导致内存泄漏的主凶。
不使用一个对象时使用:del object 来删除一个对象的引用计数就可以有效防止内存泄漏问题。
通过Python 扩展模块 gc 来查看不能回收的对象的详细信息。
可以通过 sys.getrefcount(obj) 来获取对象的引用计数，并根据返回值是否为 0 来判断是否内存
泄漏。