怎样发现内存泄露?

Posted 2023-05-04

　　一、内存泄漏的检查方法：
　　1.ccmalloc－Linux和Solaris下对C和C++程序的简单的使用内存泄漏和malloc调试库。
　　2.Dmalloc－Debug Malloc Library.
　　3.Electric Fence－Linux分发版中由Bruce Perens编写的malloc()调试库。
　　4.Leaky－Linux下检测内存泄漏的程序。
　　5.LeakTracer－Linux、Solaris和HP-UX下跟踪和分析C++程序中的内存泄漏。
　　6.MEMWATCH－由Johan Lindh编写，是一个开放源代码C语言内存错误检测工具，主要是通过gcc的precessor来进行。
　　7.Valgrind－Debugging and profiling Linux programs, aiming at programs written in C and C++.
　　8.KCachegrind－A visualization tool for the profiling data generated by Cachegrind and Calltree.
　　9.IBM Rational PurifyPlus－帮助开发人员查明C/C++、托管.NET、Java和VB6代码中的性能和可靠性错误。PurifyPlus 将内存错误和泄漏检测、应用程序性能描述、代码覆盖分析等功能组合在一个单一、完整的工具包中。

　　二、内存泄漏的简单介绍：
　　内存泄漏也称作“存储渗漏”，用动态存储分配函数动态开辟的空间，在使用完毕后未释放，结果导致一直占据该内存单元。直到程序结束。（其实说白了就是该内存空间使用完毕之后未回收）即所谓内存泄漏。
　　内存泄漏形象的比喻是“操作系统可提供给所有进程的存储空间正在被某个进程榨干”，最终结果是程序运行时间越长，占用存储空间越来越多，最终用尽全部存储空间，整个系统崩溃。所以“内存泄漏”是从操作系统的角度来看的。这里的存储空间并不是指物理内存，而是指虚拟内存大小，这个虚拟内存大小取决于磁盘交换区设定的大小。由程序申请的一块内存，如果没有任何一个指针指向它，那么这块内存就泄漏了。 参考技术A 这里的客户端软件包括C/S系统的客户端和B/S系统中的客户端控件，当用户使用客户端软件时，如果发现我们的软件会吃内存，那是很丢面子的事，有哪些好的测试方法呢？希望大家能踊跃提出自己的看法。如何发现客户端软件中的内存泄露？我的看法是：检测内存泄漏的问题应该尽早进行，它绝不应该是系统测试时的主要目标。也就是说，检查是否存在内存泄漏，应该从编码时就要考虑，单元测试和集成测试时要重点检查。如果前期没有考虑，等到了系统测试才想起检查或者才发现泄漏，为时已晚，此时再去定位泄漏的位置，太难太难了，它可能会让你的交付日期delay不确定的时间。最近看了一些自动错误预防（AEP）的理论，我深受启发。作为测试人员的我们，从“发现错误”转变到“帮助开发人员预防错误”，这将是一个巨大的转变。所以说，下面我的答案中的第一点，我先说如何预防内存泄漏的问题，然后再讲如何发现。1 如何在开发过程中有效预防内存泄漏？第一步：遵循“好”的编程规则“好”的编程规则是各位前辈经验和教训的集合，好的编程规则堪称开发者的“圣经”。遵循统一的编程规则，可以让开发新手少走好多弯路，可以让项目整体的质量维持一个起码的“质量底线”。有关内存泄漏方面的规则主要是“内存管理”方面的，举几个简单的，如下×用malloc或new申请内存之后，立即检查指针值是否为NULL（防止使用指针值为NULL的内存）×动态内存的申请与释放是否配对（防止内存泄漏）×malloc语句是否正确无误？例如字节数是否正确？类型转换是否正确×是否出现野指针，例如用free或delete释放了内存之后，忘记将指针设置为NULL... ...第二步：积极主动检测“内存泄漏”严格遵循好的编程规则，可以让程序员在代码中尽量少的引入bug，但一旦不小心引入了，怎么办？这就要求我们在单元测试和集成测试中严格把关。在这个阶段，单靠程序员或者测试员通过“代码走查”的方式检查内存泄漏，客户的实践和我的经验告诉我，这将是“不切实际”的，无论效率还是时间。如果能够借助于一些专业的工具的话，情况可能就不一样了。如果你的程序是用Visual C++ 6.0开发，那么Numega的BoundsChecker将是你检测“内存泄漏”最好的选择，如果是Visual C++.NET，可以试一下Compuware的DevPartner。如果你的程序基于Unix或者Linux平台，使用C或者C++，可以考虑一下开源的工具valgrind，我的朋友跟我说，它在一定程度上比Rational的Purify更出色。上面的工具都要求程序能够动态运行起来，而且测试用例需要你自己准备。如果你正处于单元测试或集成测试阶段，程序代码量已经足够大，而且还不能够动态运行，要尽早检测代码中的“内存泄漏”问题，该怎么办？此时你可以试用一下目前最新的静态分析技术：×它不要求代码能够动态运行×也不需要你来编写测试用例×只需要代码能够正常编译，就可以发现代码只有在执行过程中才出现的错误，当然也包括内存泄漏。这方面的工具有Klocwork的K7，Coverity的SQS，以及C++test中的BugDetective，其中最“物美价廉”的就是c++test的BugDetective。2 如何发现客户端软件的“内存泄漏”？如果开发过程中已经按照我上面提到的去做，相信发布后的程序存在“内存泄漏”的可能性几乎为零。如果开发过程已经到了后期，系统测试已经开始做了，还要发现内存泄漏，这个时候我希望你能够拿到源代码。如果有源代码，你还可以考虑1中的第二步，借助于专业的工具协助，虽然可能效果不一定特别理想，但总比下面我提到的方法更好一些。当然作为测试人员，我当然也理解事情总没有想像那么完美。我们通常会碰到“需要在系统测试阶段检测是否有内存泄漏，而且没有源代码”的难题。我曾经也遇到过。记得那还是2002年的事情了。当时我承接的项目是一个电力行业的自动化系统，分为server端和client端，典型的c/s模式，老板要求在测试功能的同时顺便检查内存泄漏的问题，因为这个client端在客户那里可能是长时间不间断运行的，虽然客户很少操作。我当时很为难，因为没有源代码，我甚至无法做“代码走查”。在做功能测试的同时，我一直在琢磨...... 采用什么手段呢？最后，借助于WinRunner，我出色的完成了任务，起码我的老板相信我的测试是可信的。我的方法是这样的。×首先咨询开发方，了解到关于内存操作频繁的功能点和模块×从我的功能测试用例中挑选出和这些功能点和模块相关的测试用例×找到一个“纯净”的机器，上面除了操作系统和被测的client端外，没有任何其他应用，这样做是为了排除其他应用可能存在的干扰。×借助于WinRunner，自动化这些用例，形成自动化的脚本；在脚本的最后，添加“切换到Windows任务管理器”“记录该client进程所占用内存数据到文件”的操作脚本。×连续运行N个小时×最后我打开这个数据文件，可以发现在该客户端运行过程中，每次执行完特定的测试用例后，记录的内存占用数据。当时我得出的结论是该client程序有“少许”的内存泄漏，因为在连续运行了72小时后，内存使用增加了近百分之十几。我会把这些数据导入到EXCEL中绘成了一个图表，这样更直观一些。经过简单的计算（内存的增量/用例循环次数），得到用例每次执行后增加的内存使用值，即泄漏的内存数量，然后把操作过程和这个结果一起交给开发方，最后开发方根据我的信息，真的找到了一处有内存泄漏的地方，虽然泄漏的数量很少。以上就是我有过的一个类似的经历，我觉得可以提供给大家参考，同时也可以“举一反三，融会贯通”。如B/S的客户端控件，可以用QTP协助完成。在测试的最后阶段要去发现甚至定位内存泄漏挺难的，但只要发挥我们测试人员的主观能动性，总是找到一些“旁门左道”的测试手段。最后，我个人认为，从时间成本和各种风险考虑，要避免内存泄漏的问题，还是要回到前期的预防，即编程过程的规则检查和单元测试阶段主动的检测。一家之言，欢迎讨论。

fastjson反序列化使用不当导致内存泄露

分析一个线上内存告警的问题时，发现了造成内存告警的原因是使用fastjson不当导致的。
分析dump发现com.alibaba.fastjson.util.IdentityHashMap$Entry对象比较多。

查找相关文档：

1. fastjson IdentityHashMap 内存泄漏排查 (这篇文档分析描述的情况与我们遇到的问题的原因一样，是使用com.alibaba.fastjson.util.ParameterizedTypeImpl不当导致的)
2. fastjon官方在很早的版本就修复过类似的问题，https://github.com/alibaba/fastjson/issues/849 ，相关代码：https://github.com/alibaba/fastjson/commit/ef50a5b756a6cab1ab753f4a661bdfb0ccbd6b7e ，他们修复的这个bug是针对com.alibaba.fastjson.TypeReference，这个类实际也是基于com.alibaba.fastjson.util.ParameterizedTypeImpl的。

问题产生的原因分析：

1. com.alibaba.fastjson.ParserConfig定义一个字段用于缓存不同类的反序列化器，使用的是IdentityHashMap（IdentityHashMap使用的是==比较key的值，不同于HashMap使用equals比较），缓存是以Type为key：
   private final IdentityHashMap<Type, ObjectDeserializer> deserializers = new IdentityHashMap<Type, ObjectDeserializer>();

2. 而我们的业务代码是在调用一个接口后将结果反序列化，然后每次都去创建一个ParameterizedTypeImpl实例，而fastjson针对每次创建的PamrameterizedTypeImpl都会作为一个key加入到deserizers中进行缓存。

   // ... ...
   ParameterizedTypeImpl type = new ParameterizedTYpeImpl(new Type[]{ SomeInfo.class }, null, CommonVO.class);
   CommonVO<SomeInfo> result = (CommonVO<SomeInfo>)JSON.parseObject(jsonString, type);

   所以，随着不断的请求发起，内存泄漏产生了。（上面提到的fastjson自身的bug修复就是针对不同的类型又采用了ConcurrentHashMap基于Class进行了一次缓存）

问题修复：
方法一：
由于这里主要只是因为泛型才用了ParameterizedTypeImp，并且只有这一处，所以可以简单粗暴把这个定义为局部变量的type改为private static final的全局变量就可以避免内存泄漏了

private static final ParameterizedTypeImpl SOME_INFO_TYPE = ...

方法二：
使用com.alibaba.fastjson.TypeReference。

JSON.parseObject(json, new TypeReference<CommonVO<T>>(SomeInfo.class) {});

https://github.com/alibaba/fastjson/wiki/TypeReference