数学建模社区-数学中国

标题: C++内存检测工具(Dr Memory) [打印本页]

作者: sxzg2 时间: 2016-10-19 11:24
标题: C++内存检测工具(Dr Memory)
　　C++内存检测工具(Dr Memory) 不仅能够在 Linux 下面工作，也能在微软的 Windows 操作系统上工作。不过，本文撰写时，DrMemory 仅能支持 32 位程序，这是它的一个巨大缺陷，但相信随着开发的进行，DrMemory 会推出支持 64 位程序的版本。Dr. Memory 是一个开源免费的内存检测工具，它能够及时发现内存相关的编程错误，比如未初始化访问、内存非法访问以及内存泄露等。第六下载
　　Dr Memory特点：
　　Dr Memory 与 Valgrind 类似，可以直接检查已经编译好的可执行文件。用户不用改写被检查程序的源代码，也无须重新链接第三方库文件，使用起来非常方便。
　　易用性和性能是 DrMemory 的主要优点，此外 DrMemory 可以用于调试 Windows 程序，因此它被广泛认为是 Windows 上的 Valgrind 替代工具。在 Linux 平台中，DrMemory 也往往可以作为 Valgrind 之外的另一个选择。
　　DrMemory 对内存泄露的监测采用了比较独特的算法，大量减少了”false positive”，即虚假错误。如果您使用 Valgrind 等工具后仍无法找到程序中的内存错误，不妨试试 DrMemory 吧。
　　Dr. Memory 建立在 DynamoRIO 这个动态二进制插桩平台上。动态监测程序的运行，并对内存访问相关的执行代码进行动态修改，记录其行为，并采用先进的算法进行错误检查。
　　C++程序员最大的敌人就是内存处理错误，比如内存泄露、内存溢出等。这些错误不易发现，调试困难。本文介绍一个新的内存调试工具 DrMemory，为您的工具箱中添加一个新的内存检查利器吧。
　　Dr Memory内存检测实例：
　　Dr. Memory 建立在 DynamoRIO 这个动态二进制插桩平台上。动态监测程序的运行，并对内存访问相关的执行代码进行动态修改，记录其行为，并采用先进的算法进行错误检查。
　　根据 DrMemory 开发人员发表在 CGO 2011上的论文 Practical Memory Checking with Dr. Memory，DrMemory 对程序的正常执行影响较小，这在同类工具中是比较领先的。其 performance 和 Valgrind 的比较如图 1 所示(图片源自 DrMemory 主页)：
　　图 1. 和 Valgrind 的性能比较

　　Valgrind 对程序的正常运行影响较大，一般来说如果进行全面内存检测，会使程序的运行速度有 50 到 300 倍的减慢。而 DrMemory 在这个方面则有一定的优势。
　　易用性和性能是 DrMemory 的主要优点，此外 DrMemory 可以用于调试 Windows 程序，因此它被广泛认为是 Windows 上的 Valgrind 替代工具。在 Linux 平台中，DrMemory 也往往可以作为 Valgrind 之外的另一个选择。
　　DrMemory 对内存泄露的监测采用了比较独特的算法，大量减少了”false positive”，即虚假错误。如果您使用 Valgrind 等工具后仍无法找到程序中的内存错误，不妨试试 DrMemory 吧。
　　Windows 上 DrMemory 提供了可执行安装包，只需点击下一步，即可安装完毕。
　　DrMemory，第一印象 DrMemory 的使用很简单，可以说它是傻瓜式。正常运行一个程序时，我们在 shell 中敲入命令然后回车。为了用 DrMemory 检查，只需要在
　　Hello DrMemory，第一印象
　　DrMemory 的使用很简单，可以说它是傻瓜式。正常运行一个程序时，我们在 shell 中敲入命令然后回车。为了用 DrMemory 检查，只需要在正常命令之前加入 drmemory.pl，比如程序检查程序 t，那么就这样:
　　drmemory.pl ./t
　　在计算机领域，Helloworld 总是第一个程序。让我们写一个 HelloDrMemory，来和 DrMemory 简单接触一下吧。
　　清单 1，Hello DrMem 例子程序
　　1: int main()
　　2: {
　　3: char *ptr;
　　4: int i;
　　5: for(i=0;i<100;i++)
　　6: {
　　7: ptr=(char*)malloc(i);
　　8: if(i%2) free(ptr);
　　9: }
　　10: return 0;
　　11: }
　　很明显，有 50 个内存泄露，都在同一行代码中(Line 8)。让我们用 Dr Memory 来检查它。
　　屏幕上会有如上所示的错误汇总，注意看 ERRORS FOUND 下面的第 5 行：”50 total leaks”。不错吧。根据提示，更多的细节被写入一个 result 文本文件。打开并查看该文件，就可以知道程序在哪里出现了内存错误了。真是太方便了。不过 result 文件是否容易阅读呢?下面我们来详细解释如何阅读 DrMemory 产生的 result 文件。
　　DrMemory 报告解读细节
　　内存非法访问
　　DrMemory 认为任何对未分配内存区域的读写都是非法的。在 Linux 中，应用程序可以用以下几个方式分配内存：
　　调用 mmap (或者 mremap)
　　调用 malloc 在堆上分配内存
　　使用 alloca 在栈上分配内存
　　非法访问就是对以上三种方法分配的内存区域之外进行的访问。常见的问题包括 buffer overflow、数组越界、读写已经 free 的内存、堆栈溢出等等。让我们测试下面这个问题程序。
　　Buffer overflow
　　例子程序的第 5 到 6 行存在 buffer overflow。在内存中，buffer 的分布如下图所示：
　　图 2. Buffer 分布

　　访问 x+8 将产生一个非法内存访问。对此，Dr Memory 将给出如下的错误信息：
　　首先用大写的单词 UNADDRESSABLE ACCESS 表明这是一个非法访问错误。接着，“reading 0x0804a020-0x0804a021 1 byte(s)”表示这是一个非法读，读取的范围为 0x0804a020 到 0x0804a021，一共读了 1 个 byte。接下来的三行是调用堆栈信息，可以方便地看到错误发生在哪个源文件的哪一行(程序 t 需要在用 gcc 编译的时候给定-g 选项)。此外 DrMemory 还给出了一些辅助的错误信息。比如：
　　错误发生的时间：Note: elapsed time = 0:00:00.133 in thread 13971。这表明错误是程序开始的第 0.133 秒后发生的，有些情况下，人们可以根据这个时间进行辅助判断。
　　错误细节：Note: refers to 1 byte(s) beyond last valid byte in prior malloc。这里给出了错误的详细信息，如前所述，造成非法访问的可能很多，在本例中是 buffer overflow，因此这里的详细信息可以帮助我们了解非法访问的具体原因。
　　Note: prev lower malloc: 0x0804a018-0x0804a020。这里给出了 overflow 之前的合法内存地址，有些情况下对于查错有一定的帮助。
　　Note: instruction: movzx (%eax) -> %eax。这里给出的是造成错误的具体指令。
　　可以看到 DrMemory 只报告了一个未初始化读错误，在第 12 行。很多其他工具对于 memcpy(&b,&a, sizeof(T))也会报错。
　　GCC 将自动对齐数据结构(未使用 pack 修饰符的情况下)。因此 struct T 在内存中的实际分布如下：
　　图 3. 内存拷贝细节

　　在 memcpy 时，有 3 个未初始化 byte 也被访问了，但这类错误如果也报告的话，对正常程序 DrMemory 会产生很多错误信息。这些其实不是错误，所以被称为 False Positive。类似医学名词“假阳性”。内存调试工具的一个主要目标就是减少 False Positive，否则产生的报告有用性将极大降低。
　　其它很多工具，遇到上述拷贝会报告 false positive，浪费读报告的人们的时间。因此这是 Dr Memory 的一个重要优点。
　　内存泄露
　　内存泄露是常见的内存错误，我们可能都曾经遇到过。不过 Dr.Memory 对内存泄露的定义比较独特，在程序退出之前，Dr.Memory 把所有依然被分配的内存分为三类：
　　Still-reachable allocation
　　很多程序分配了内存之后，在其整个生命周期内都不释放。虽然这是一种泄露，但实际上多数情况下这是无害的，甚至是特意这样设计的。因此 Dr.Memory 并不认为这是一种内存泄露，而称之为”Still-reachable allocation”。
　　Leak
　　有一些内存无法再被释放，因为指向该内存的指针丢失了。比如下面这个代码：
　　清单 5.内存 Leak 例子代码
　　DrMemory 称这类错误为内存泄露。因为这些内存已经没有办法被释放了。
　　Possible Leak
　　如前所述指向内存的指针被修改会被认为是一个 Leak，但并非所有的指针修改都是一个 Leak。DrMemory 利用一些经验规则(Heuristic)将以下几种指针修改列为 Possible Leak。
　　第一种情况：C++程序利用 new[]分配了一个数组，该数组的每个元素都是拥有自己的析构函数的复杂数据结构。这种情况下，New 操作符为每个元素加上一个 header 用来保存数组的个数，以便 delete[]操作符知道需要调用多少个析构函数。但 new[]返回 caller 的是 header 之后的地址，这样就变成了一个 mid-allocation 指针。这可能被 Dr memory 认为是一个内存泄露。但可以使用-no_midchunk_new_ok 选项让 DrMemory 将这类错误报告为”possible leak”而非”leak”。
　　参考下图，理解这种情况。
　　图 4.mid-chunk new

　　从堆分配器的角度来看，buffer 的起点在 A 处，但 new 返回 B，给 Object 变量赋值。从某种角度上看，指针 A 丢失了，是一个 leak，但实际上，当调用 delete []操作符时，C++运行时库会自动将 Object 指针减 4，从而指向 A 点，再进行释放。某些编译器不使用这种做法，则没有这个问题。
　　第二种情况，某些 C++编译器在处理多继承时，会出现 mid-chunk 指针。很抱歉，具体细节本人也不甚了解。Dr Memory 的原文如下：it includes instances of a pointer to a class with multiple inheritance that is cast to one of the parents: it can end up pointing to the subobject representation in the middle of the allocation. 您可以用-no_midchunk_inheritance_ok 选项将这类“错误”报告为”possible leak” 。
　　还有一种可能：std::string 类把一个 char[]数组放置在分配空间中，并返回一个指针直接指向它，造成了一个 mid-allocation 指针。您可以用-no_midchunk_string_ok 选项让这类错误显示为”possible leak”。
　　一些有用的选项：
　　现实世界中真正的程序有很多不同于本文中所罗列的那些例子程序，现实程序更复杂，查找错误并不像例子所示的那么容易。DrMemory 设计了一些辅助选项，灵活使用它们才能在真正的工作中得到有用的信息。
　　监控子程序
　　缺省情况下 DrMemory 将监控当前进程产生的子进程的内存错误。如果您想禁止检查子进程，可以使用-no_follow_children 选项。
　　合并检查结果
　　用-aggregate 选项可以合并 DrMemory 的检查结果，比如下面的命令把 logs 目录下面多个 DrMemory 报告合并为一个总的报告。
　　这个功能在某些情况下比较有用。比如对同一个程序用多个不同的测试用例测出不同的内存错误，可以把多个报告合并起来，以便程序员一次阅读。
　　检查不退出程序
　　一些程序永远或者长时间都不退出，对于某些内存错误，比如未初始化读写，或者非法读写，DrMemory 一旦发现就立即写入 result 文件。但 DrMemory 只有在进程退出时才检查内存泄露。因此对于长期运行的程序，如果我们想在其运行期间得到内存泄露的报告，就需要使用 DrMemory 的 nudge 命令。比如您的进程 pid 为 1000，正在被 DrMemory 检测。那么你可以在 Shell 中运行下面这条命令，强制 DrMemory 进行内存泄露检查，并把结果更新到 result 文件中。
　　现在打开 result 文件，如果程序有内存泄露，您将在该文件中找到错误信息。
　　Suppressing Errors
　　内存错误检查工具的一个重要能力就是能够 suppress errors，即隐藏指定”错误”的能力。因为人们使用内存错误检测工具最希望的是它能给出“真正的”错误，而不是给出大量的不是错误的错误。工具本身可以根据一些经验算法隐藏一些“众所周知”的假错误。但更多的情况下，需要使用者告诉工具如何区分出假错误。
　　每次运行 DrMemory 时，它会产生一个 suppress 文件，和 result 文件放在一起。该文件的格式如下：
　　图 5. suppress 文件格式

　　suppress 文件有多个”One Error”小节组成，每个”One Error”表示一个可以被 suppress 的错误。用调用堆栈来表示，有两种格式来表示堆栈:
　　DrMemory 支持通配符，比如 t!*表示不报告所有模块 t 中的错误。在 Linux 下面，模块 t，就是由 t.c 生成的 t.o 所包含的代码，换句话说就是不检查 t.c 中的错误。
　　一些有用的选项：
　　现实世界中真正的程序有很多不同于本文中所罗列的那些例子程序，现实程序更复杂，查找错误并不像例子所示的那么容易。DrMemory 设计了一些辅助选项，灵活使用它们才能在真正的工作中得到有用的信息。
　　监控子程序
　　缺省情况下 DrMemory 将监控当前进程产生的子进程的内存错误。如果您想禁止检查子进程，可以使用-no_follow_children 选项。
　　合并检查结果
　　用-aggregate 选项可以合并 DrMemory 的检查结果，比如下面的命令把 logs 目录下面多个 DrMemory 报告合并为一个总的报告。
　　这个功能在某些情况下比较有用。比如对同一个程序用多个不同的测试用例测出不同的内存错误，可以把多个报告合并起来，以便程序员一次阅读。
　　检查不退出程序
　　一些程序永远或者长时间都不退出，对于某些内存错误，比如未初始化读写，或者非法读写，DrMemory 一旦发现就立即写入 result 文件。但 DrMemory 只有在进程退出时才检查内存泄露。因此对于长期运行的程序，如果我们想在其运行期间得到内存泄露的报告，就需要使用 DrMemory 的 nudge 命令。比如您的进程 pid 为 1000，正在被 DrMemory 检测。那么你可以在 Shell 中运行下面这条命令，强制 DrMemory 进行内存泄露检查，并把结果更新到 result 文件中。
　　现在打开 result 文件，如果程序有内存泄露，您将在该文件中找到错误信息。
　　Suppressing Errors
　　内存错误检查工具的一个重要能力就是能够 suppress errors，即隐藏指定”错误”的能力。因为人们使用内存错误检测工具最希望的是它能给出“真正的”错误，而不是给出大量的不是错误的错误。工具本身可以根据一些经验算法隐藏一些“众所周知”的假错误。但更多的情况下，需要使用者告诉工具如何区分出假错误。
　　每次运行 DrMemory 时，它会产生一个 suppress 文件，和 result 文件放在一起。该文件的格式如下：
　　图 5. suppress 文件格式

欢迎光临数学建模社区-数学中国 (http://www.madio.net/)