python 内存占用分析工具

Posted 2023-04-22

参考技术A pip install memory_profiler
pip install psutil
pip install matplotlib

使用方法
from memory_profiler import profile

@profile(precision=4, stream=open('test.log', 'w+'))
def test(args: List):
...

运行：
python3 test.py

Mem usage:表示执行该行后Python解释器的内存使用情况
Increment:表示当前行的内存相对于上一行的差异，即自己本身增长了多少，如果减少了则不显示.

Python流程控制常用工具和函数定义

在我们的工作中，我们使用ddagent ver。5作为收集工具，收集和报告托管服务器的性能指标，并对ddagent进行一定程度的定制。经过多次功能迭代，发现一批在线运行时间长的托管服务器占用了太多内存。分析问题机器上进程树中每个节点的占用情况，可以看出ddagent集合进程的内存占用仍然很高。

我们将学习最基本的流程控制工具，比如

• if 条件判断
• for 循环
• while 循环

作为保证业务系统稳定运行的监控组件，存在内存泄漏，这自然是非常严重的，所以我们开始了我们的“故障排除之旅”。

if-elif-else 判断

分析

有很多工具可以分析和导出Python程序的内存状态。在这里，我们使用pyrasite，它可以附加到正在运行的Python程序，生成内存快照，并检查当前哪些对象类型占用了多少内存，并从大到小排序。

使用命令非常简单： pyrasite-memory-viewer <PID> ，同时会生成一份快照文件： /tmp/pyrasite-<PID>-objects.json 。

由于无法提供真实的生产数据，下面提到的所有数据都来自问题版本在测试环境中运行12小时后的采样。

在pyrasite提供的Cui视图中，我们可以清楚地看到字典类型的对象实例占用的内存最多，达到3.4mb，有6621个实例：

 

 while 循环

While循环也是一种常见的循环方式。这种循环通常以循环体类或条件方式结束。它不可能无限期地进行下去。

 

 对于泄漏情况，我们有以下事实和猜测：

• 一个或多个位置持续创建空字典对象，并且无法回收它们，从而导致内存泄漏
• 内存泄漏量随时间而增加。在索引收集业务中，泄漏很可能是在每个收集过程中引起的，并在间隔期之后重复触发
• 我们看不到当前依赖的ddagent版本存在尚未关闭的相关问题，这可能是在我们的定制过程中引入的错误

[
  [
    [".../embedded/lib/python2.7/threading.py",774,"__bootstrap","self.__bootstrap_inner()"],
    [".../embedded/lib/python2.7/threading.py",801,"__bootstrap_inner","self.run()"],
    [".../modules/monitor/bot/schedule.py",51,"run","task.run()"],
    [".../modules/monitor/bot/task.py",50,"run","super(RepeatTask, self).run()"],
    [".../modules/monitor/bot/task.py",18,"run","self.check()"],
    [".../modules/monitor/checks/collector.py",223,"wrapper","_check.run()"],
    [".../modules/monitor/checks/__init__.py",630,"run","self._roll_up_instance_metadata()"],
    [".../modules/monitor/checks/__init__.py",498,"_roll_up_instance_metadata","dict((k, v) for (k, v) in self._instance_metadata))"],
    [".../modules/monitor/tracer.py",33,"__init__","self.trace_info = traceback.extract_stack()"]
  ],
  [
    [".../embedded/lib/python2.7/threading.py",774,"__bootstrap","self.__bootstrap_inner()"],
    [".../embedded/lib/python2.7/threading.py",801,"__bootstrap_inner","self.run()"],
    [".../modules/monitor/bot/schedule.py",51,"run","task.run()"],
    [".../modules/monitor/bot/task.py",50,"run","super(RepeatTask, self).run()"],
    [".../modules/monitor/bot/task.py",18,"run","self.check()"],
    [".../modules/monitor/checks/collector.py",223,"wrapper","_check.run()"],
    [".../modules/monitor/checks/__init__.py",630,"run","self._roll_up_instance_metadata()"],
    [".../modules/monitor/checks/__init__.py",498,"_roll_up_instance_metadata","dict((k, v) for (k, v) in self._instance_metadata))"],
    [".../modules/monitor/tracer.py",33,"__init__","self.trace_info = traceback.extract_stack()"]
  ],
  [
    [".../embedded/lib/python2.7/threading.py",774,"__bootstrap","self.__bootstrap_inner()"],
    [".../embedded/lib/python2.7/threading.py",801,"__bootstrap_inner","self.run()"],
    [".../modules/monitor/bot/schedule.py",51,"run","task.run()"],
    [".../modules/monitor/bot/task.py",50,"run","super(RepeatTask, self).run()"],
    [".../modules/monitor/bot/task.py",18,"run","self.check()"],
    [".../modules/monitor/checks/collector.py",223,"wrapper","_check.run()"],
    [".../modules/monitor/checks/__init__.py",630,"run","self._roll_up_instance_metadata()"],
    [".../modules/monitor/checks/__init__.py",498,"_roll_up_instance_metadata","dict((k, v) for (k, v) in self._instance_metadata))"],
    [".../modules/monitor/tracer.py",33,"__init__","self.trace_info = traceback.extract_stack()"]
  ],
...

重播

我们不提“做好设计审查和规范审查”、“加强试验阶段质量检验工作”等“老生常谈”，也值得我们反思。

要彻底防止和控制内存泄漏几乎是不可能的，像rust这样的安全编程语言也不能保证程序不会泄漏内存。

许多引发内存不安全的行为，如数组访问越界、访问释放后的内存等，都可以通过制定更严格的编程模型（如rust提出的所有权+生命周期规则）甚至数据竞争问题来避免。

然而，触发内存泄漏的行为，如竞争条件，需要开发人员将开发组件和业务规则结合起来。设想一个需要手动触发刷新的数据队列。结果，我们在推送数据时忘记调用它。这种内存泄漏无法通过任何常规检查规则来识别。

关键字函数是为了更形象地说明传入参数的位置和具体用法。如果一个函数有四个或五个参数，而且一次传入的参数太多，那么很难让人眼花缭乱。如果key=value用于传入。

总结

通过本节的学习，我们了解了通过if else在不同条件下控制代码流和执行不同代码。for/while和如何定义函数有两种不同的循环方法，包括函数的返回值和参数传递方法、position参数传递和向函数传递参数时的key=value参数传递。