QQ登录

只需要一步,快速开始

 注册地址  找回密码
查看: 4338|回复: 0
打印 上一主题 下一主题

C++内存检测工具(Dr Memory)

[复制链接]
字体大小: 正常 放大
sxzg2        

57

主题

7

听众

191

积分

升级  45.5%

  • TA的每日心情

    2016-11-30 11:45
  • 签到天数: 7 天

    [LV.3]偶尔看看II

    自我介绍
    sx
    跳转到指定楼层
    1#
    发表于 2016-10-19 11:24 |只看该作者 |倒序浏览
    |招呼Ta 关注Ta
      C++内存检测工具(Dr Memory) 不仅能够在 Linux 下面工作,也能在微软的 Windows 操作系统上工作。不过,本文撰写时,DrMemory 仅能支持 32 位程序,这是它的一个巨大缺陷,但相信随着开发的进行,DrMemory 会推出支持 64 位程序的版本。Dr. Memory 是一个开源免费的内存检测工具,它能够及时发现内存相关的编程错误,比如未初始化访问、内存非法访问以及内存泄露等。第六下载' F( U  ]) p; _  Y0 T; P! W. `
      Dr Memory特点:) l1 T) Q; W) K# d2 L$ U
      Dr Memory 与 Valgrind 类似,可以直接检查已经编译好的可执行文件。用户不用改写被检查程序的源代码,也无须重新链接第三方库文件,使用起来非常方便。7 V/ P- B/ ]7 K  o, d
      易用性和性能是 DrMemory 的主要优点,此外 DrMemory 可以用于调试 Windows 程序,因此它被广泛认为是 Windows 上的 Valgrind 替代工具。在 Linux 平台中,DrMemory 也往往可以作为 Valgrind 之外的另一个选择。
    . I! b. j7 t* L. j: s$ p. g3 ]: ^  DrMemory 对内存泄露的监测采用了比较独特的算法,大量减少了”false positive”,即虚假错误。如果您使用 Valgrind 等工具后仍无法找到程序中的内存错误,不妨试试 DrMemory 吧。
    - U2 y9 _2 n/ A# @  Dr. Memory 建立在 DynamoRIO 这个动态二进制插桩平台上。动态监测程序的运行,并对内存访问相关的执行代码进行动态修改,记录其行为,并采用先进的算法进行错误检查。
    ' L# Q' D9 T5 T3 H+ u+ N' d  C++程序员最大的敌人就是内存处理错误,比如内存泄露、内存溢出等。这些错误不易发现,调试困难。本文介绍一个新的内存调试工具 DrMemory,为您的工具箱中添加一个新的内存检查利器吧。
    # T2 L  J0 `! _  Dr Memory内存检测实例:
    ; b5 p" g" @( i9 Z3 w  Dr. Memory 建立在 DynamoRIO 这个动态二进制插桩平台上。动态监测程序的运行,并对内存访问相关的执行代码进行动态修改,记录其行为,并采用先进的算法进行错误检查。
    : B4 D4 V& V3 E9 _7 {: H* t1 h% D$ T  根据 DrMemory 开发人员发表在 CGO 2011上的论文 Practical Memory Checking with Dr. Memory,DrMemory 对程序的正常执行影响较小,这在同类工具中是比较领先的。其 performance 和 Valgrind 的比较如图 1 所示(图片源自 DrMemory 主页):
    ; c0 }- m! |" w! {7 o6 A: T  图 1. 和 Valgrind 的性能比较
    * a# q: ]) V' u  Valgrind 对程序的正常运行影响较大,一般来说如果进行全面内存检测,会使程序的运行速度有 50 到 300 倍的减慢。而 DrMemory 在这个方面则有一定的优势。0 U) u+ H" j% w0 [( b( D6 ^
      易用性和性能是 DrMemory 的主要优点,此外 DrMemory 可以用于调试 Windows 程序,因此它被广泛认为是 Windows 上的 Valgrind 替代工具。在 Linux 平台中,DrMemory 也往往可以作为 Valgrind 之外的另一个选择。
    5 u( A8 V( E7 E9 r5 }  DrMemory 对内存泄露的监测采用了比较独特的算法,大量减少了”false positive”,即虚假错误。如果您使用 Valgrind 等工具后仍无法找到程序中的内存错误,不妨试试 DrMemory 吧。$ Y9 ?$ q- t# |: x) j6 k* a6 d# G
      Windows 上 DrMemory 提供了可执行安装包,只需点击下一步,即可安装完毕。# U0 x2 D2 N, w4 H: m
      DrMemory,第一印象 DrMemory 的使用很简单,可以说它是傻瓜式。正常运行一个程序时,我们在 shell 中敲入命令然后回车。为了用 DrMemory 检查,只需要在' p: o, R# k8 I- C7 {
      Hello DrMemory,第一印象
    1 P7 L0 n* A' [% }  DrMemory 的使用很简单,可以说它是傻瓜式。正常运行一个程序时,我们在 shell 中敲入命令然后回车。为了用 DrMemory 检查,只需要在正常命令之前加入 drmemory.pl,比如程序检查程序 t,那么就这样:
      H& e* w, w4 ^  drmemory.pl ./t
    " P1 F" x% |6 J9 B  在计算机领域,Helloworld 总是第一个程序。让我们写一个 HelloDrMemory,来和 DrMemory 简单接触一下吧。4 R' s9 n7 J4 E
      清单 1,Hello DrMem 例子程序& y9 i& H" P. w% I; a; c' \0 j
      1: int main()! L! ~. o5 y3 G2 S) q4 @5 p( d
      2: {
    1 I. ^! {# H" X3 L7 D- C* W  3: char *ptr;
      g3 v, M5 E$ F% N% Y  4: int i;0 L9 J/ W2 T7 q& d
      5: for(i=0;i<100;i++)+ y& U3 a3 l) |! G
      6: {5 D8 t+ H1 |  }4 O8 Y
      7: ptr=(char*)malloc(i);
      B6 F* b* d6 C  8: if(i%2) free(ptr);
    7 R0 W1 r. d8 |  9: }
    0 ^, k- i( O! i. D( A3 E  10: return 0;1 [2 Y2 |* c/ X; U* ]; {# y8 f4 S
      11: }
      T0 M' I. E  J' c) a& \; G  很明显,有 50 个内存泄露,都在同一行代码中(Line 8)。让我们用 Dr Memory 来检查它。
    ( K' T3 E0 K0 e/ T& E+ |  屏幕上会有如上所示的错误汇总,注意看 ERRORS FOUND 下面的第 5 行:”50 total leaks”。不错吧。根据提示,更多的细节被写入一个 result 文本文件。打开并查看该文件,就可以知道程序在哪里出现了内存错误了。真是太方便了。不过 result 文件是否容易阅读呢?下面我们来详细解释如何阅读 DrMemory 产生的 result 文件。2 n/ `+ D! K# t$ `4 |5 M9 f
      DrMemory 报告解读细节
    0 V0 {+ [) w8 ]( f' Y$ a  内存非法访问, P) u  b* [  {# e3 z3 `% ^% e
      DrMemory 认为任何对未分配内存区域的读写都是非法的。在 Linux 中,应用程序可以用以下几个方式分配内存:4 d/ Q' D0 s4 f
      调用 mmap (或者 mremap)
    # Y- Q/ w4 R6 ^' e  调用 malloc 在堆上分配内存
    # g- ^7 A7 v, ]! f  使用 alloca 在栈上分配内存! X8 i4 k/ d& ~
      非法访问就是对以上三种方法分配的内存区域之外进行的访问。常见的问题包括 buffer overflow、数组越界、读写已经 free 的内存、堆栈溢出等等。让我们测试下面这个问题程序。4 i; |) ?% R/ T
      Buffer overflow
    ; @% O  t3 K; |! Z* ~$ B: Y" z! R  例子程序的第 5 到 6 行存在 buffer overflow。在内存中,buffer 的分布如下图所示:  m. Z5 {0 Y0 X( E) K
      图 2. Buffer 分布! I1 b1 Z0 g: r+ I6 I
      访问 x+8 将产生一个非法内存访问。对此,Dr Memory 将给出如下的错误信息:
    * \* N8 M1 V* B  首先用大写的单词 UNADDRESSABLE ACCESS 表明这是一个非法访问错误。接着,“reading 0x0804a020-0x0804a021 1 byte(s)”表示这是一个非法读,读取的范围为 0x0804a020 到 0x0804a021,一共读了 1 个 byte。接下来的三行是调用堆栈信息,可以方便地看到错误发生在哪个源文件的哪一行(程序 t 需要在用 gcc 编译的时候给定-g 选项)。此外 DrMemory 还给出了一些辅助的错误信息。比如:
      ?% v' s; v' t1 T5 {. R  错误发生的时间:Note: elapsed time = 0:00:00.133 in thread 13971。这表明错误是程序开始的第 0.133 秒后发生的,有些情况下,人们可以根据这个时间进行辅助判断。, H3 b( Z+ o% J; Q, @" ~) ^, s! U5 u
      错误细节:Note: refers to 1 byte(s) beyond last valid byte in prior malloc。这里给出了错误的详细信息,如前所述,造成非法访问的可能很多,在本例中是 buffer overflow,因此这里的详细信息可以帮助我们了解非法访问的具体原因。+ m( v3 \0 r2 K: C' x5 l
      Note: prev lower malloc: 0x0804a018-0x0804a020。这里给出了 overflow 之前的合法内存地址,有些情况下对于查错 有一定的帮助。; x1 F1 ?4 ]/ O1 }- K
      Note: instruction: movzx (%eax) -> %eax。这里给出的是造成错误的具体指令。# k; c  i! u0 a% y3 m
      可以看到 DrMemory 只报告了一个未初始化读错误,在第 12 行。很多其他工具对于 memcpy(&b,&a, sizeof(T))也会报错。
    5 O: D6 ^# ]. Q, C, h  GCC 将自动对齐数据结构(未使用 pack 修饰符的情况下)。因此 struct T 在内存中的实际分布如下:
    : N" u. B: e8 }4 B  图 3. 内存拷贝细节
    ( |4 q% t& [& u; j  在 memcpy 时,有 3 个未初始化 byte 也被访问了,但这类错误如果也报告的话,对正常程序 DrMemory 会产生很多错误信息。这些其实不是错误,所以被称为 False Positive。类似医学名词“假阳性”。内存调试工具的一个主要目标就是减少 False Positive,否则产生的报告有用性将极大降低。5 ^1 B3 M+ k0 M# _+ b/ e
      其它很多工具,遇到上述拷贝会报告 false positive,浪费读报告的人们的时间。因此这是 Dr Memory 的一个重要优点。
    6 A) ?8 Z- u) P$ I! l; O- {  内存泄露
    5 K+ U/ r2 U$ M9 A$ ?  e  内存泄露是常见的内存错误,我们可能都曾经遇到过。不过 Dr.Memory 对内存泄露的定义比较独特,在程序退出之前,Dr.Memory 把所有依然被分配的内存分为三类:1 U5 d2 a3 D6 g
      Still-reachable allocation
    ) d( ]. |! f1 o2 {# T9 e1 d  很多程序分配了内存之后,在其整个生命周期内都不释放。虽然这是一种泄露,但实际上多数情况下这是无害的,甚至是特意这样设计的。因此 Dr.Memory 并不认为这是一种内存泄露,而称之为”Still-reachable allocation”。
    ; f5 K% C7 v  |% Z7 h& V  Leak
    : `' U  [' W; S  有一些内存无法再被释放,因为指向该内存的指针丢失了。比如下面这个代码:
    1 R/ O' g; t4 O% z: c" S# Q% Z: h5 `; K  清单 5.内存 Leak 例子代码0 @4 Q; }& U( s3 S/ {, f# w% }
      DrMemory 称这类错误为内存泄露。因为这些内存已经没有办法被释放了。3 i/ H$ f7 _# q0 \" y5 T
      Possible Leak4 h% ^9 k( m; v
      如前所述指向内存的指针被修改会被认为是一个 Leak,但并非所有的指针修改都是一个 Leak。DrMemory 利用一些经验规则(Heuristic)将以下几种指针修改列为 Possible Leak。9 n5 i+ c/ Z6 l
      第一种情况:C++程序利用 new[]分配了一个数组,该数组的每个元素都是 拥有自己的析构函数的复杂数据结构。这种情况下,New 操作符为每个元素加上一个 header 用来保存数组的个数,以便 delete[]操作符知道需要调用多少个析构函数。但 new[]返回 caller 的是 header 之后的地址,这样就变成了一个 mid-allocation 指针。这可能被 Dr memory 认为是一个内存泄露。但可以使用-no_midchunk_new_ok 选项让 DrMemory 将这类错误报告为”possible leak”而非”leak”。
    * _2 ^- b: F" h1 M1 D* _+ l  参考下图,理解这种情况。
    . \* F" [& }0 i, ]5 J# s  图 4.mid-chunk new0 u* `0 o7 S- y2 ?
      从堆分配器的角度来看,buffer 的起点在 A 处,但 new 返回 B,给 Object 变量赋值。从某种角度上看,指针 A 丢失了,是一个 leak,但实际上,当调用 delete []操作符时,C++运行时库会自动将 Object 指针减 4,从而指向 A 点,再进行释放。某些编译器不使用这种做法,则没有这个问题。
      C  |7 p( V2 n, Z2 d9 f) S  第二种情况,某些 C++编译器在处理多继承时,会出现 mid-chunk 指针。很抱歉,具体细节本人也不甚了解。Dr Memory 的原文如下:it includes instances of a pointer to a class with multiple inheritance that is cast to one of the parents: it can end up pointing to the subobject representation in the middle of the allocation. 您可以用-no_midchunk_inheritance_ok 选项将这类“错误”报告为”possible leak” 。5 X  e0 {+ s+ [4 r; N' c
      还有一种可能:std::string 类把一个 char[]数组放置在分配空间中,并返回一个指针直接指向它,造成了一个 mid-allocation 指针。您可以用-no_midchunk_string_ok 选项让这类错误显示为”possible leak”。' ~6 `! t2 z1 I
      一些有用的选项:( a/ h! A/ o. c6 @" W+ @. L' z$ z
      现实世界中真正的程序有很多不同于本文中所罗列的那些例子程序,现实程序更复杂,查找错误并不像例子所示的那么容易。DrMemory 设计了一些辅助选项,灵活使用它们才能在真正的工作中得到有用的信息。
    ; n! Y, e1 u* h1 l) H& H7 s0 q& ?! Z  监控子程序
    % N8 U7 R8 v4 T5 R  缺省情况下 DrMemory 将监控当前进程产生的子进程的内存错误。如果您想禁止检查子进程,可以使用-no_follow_children 选项。
    - f. t$ [  K  t5 ?# ~4 V) J& c  合并检查结果
    $ C# r. o% J3 Q2 t5 p  用-aggregate 选项可以合并 DrMemory 的检查结果,比如下面的命令把 logs 目录下面多个 DrMemory 报告合并为一个总的报告。. g& r' h: z; H0 P1 ^5 H2 S2 W/ k
      这个功能在某些情况下比较有用。比如对同一个程序用多个不同的测试用例测出不同的内存错误,可以把多个报告合并起来,以便程序员一次阅读。; ~  I# K% R1 I8 @7 L
      检查不退出程序8 l6 {. h  }9 N! l& E( b* }
      一些程序永远或者长时间都不退出,对于某些内存错误,比如未初始化读写,或者非法读写,DrMemory 一旦发现就立即写入 result 文件。但 DrMemory 只有在进程退出时才检查内存泄露。因此对于长期运行的程序,如果我们想在其运行期间得到内存泄露的报告,就需要使用 DrMemory 的 nudge 命令。比如您的进程 pid 为 1000,正在被 DrMemory 检测。那么你可以在 Shell 中运行下面这条命令,强制 DrMemory 进行内存泄露检查,并把结果更新到 result 文件中。3 v0 q  D, J+ ?: p, j" a9 U
      现在打开 result 文件,如果程序有内存泄露,您将在该文件中找到错误信息。1 u6 U7 g5 ^6 N1 z" N; x! c8 q. i
      Suppressing Errors1 [. g4 q, |% o6 y# V7 L, n- O
      内存错误检查工具的一个重要能力就是能够 suppress errors,即隐藏指定”错误”的能力。因为人们使用内存错误检测工具最希望的是它能给出“真正的”错误,而不是给出大量的不是错误的错误。工具本身可以根据一些经验算法隐藏一些“众所周知”的假错误。但更多的情况下,需要使用者告诉工具如何区分出假错误。1 ^0 @$ B9 @5 P8 U- P# }+ P
      每次运行 DrMemory 时,它会产生一个 suppress 文件,和 result 文件放在一起。该文件的格式如下:, r! S$ O/ T' U  J
      图 5. suppress 文件格式
    4 m6 h. y& G' p; z0 U5 x, E; A  suppress 文件有多个”One Error”小节组成,每个”One Error”表示一个可以被 suppress 的错误。用调用堆栈来表示,有两种格式来表示堆栈:- u6 U0 |( T# u* v3 Z" y
      DrMemory 支持通配符,比如 t!*表示不报告所有模块 t 中的错误。在 Linux 下面,模块 t,就是由 t.c 生成的 t.o 所包含的代码,换句话说就是不检查 t.c 中的错误。
    - [+ S- e3 H- H5 Q6 {  一些有用的选项:
    6 O# d% Q1 T3 `8 A  现实世界中真正的程序有很多不同于本文中所罗列的那些例子程序,现实程序更复杂,查找错误并不像例子所示的那么容易。DrMemory 设计了一些辅助选项,灵活使用它们才能在真正的工作中得到有用的信息。
    1 n) W- s6 _' D( v7 C$ V% @+ W  监控子程序' }' W' }1 h8 B7 D; R& ]: K
      缺省情况下 DrMemory 将监控当前进程产生的子进程的内存错误。如果您想禁止检查子进程,可以使用-no_follow_children 选项。* @3 x6 P2 [8 y* ^
      合并检查结果% l( X, l' I9 d! t8 r
      用-aggregate 选项可以合并 DrMemory 的检查结果,比如下面的命令把 logs 目录下面多个 DrMemory 报告合并为一个总的报告。
    1 V1 e2 V, T& _8 ^: ]  这个功能在某些情况下比较有用。比如对同一个程序用多个不同的测试用例测出不同的内存错误,可以把多个报告合并起来,以便程序员一次阅读。4 u" J, x1 u0 G" G
      检查不退出程序, i( V" C% a1 W+ \  B" _" |
      一些程序永远或者长时间都不退出,对于某些内存错误,比如未初始化读写,或者非法读写,DrMemory 一旦发现就立即写入 result 文件。但 DrMemory 只有在进程退出时才检查内存泄露。因此对于长期运行的程序,如果我们想在其运行期间得到内存泄露的报告,就需要使用 DrMemory 的 nudge 命令。比如您的进程 pid 为 1000,正在被 DrMemory 检测。那么你可以在 Shell 中运行下面这条命令,强制 DrMemory 进行内存泄露检查,并把结果更新到 result 文件中。
    5 b# ]! f8 h5 ~: f  现在打开 result 文件,如果程序有内存泄露,您将在该文件中找到错误信息。
    1 n& S. U1 ?# r- p% i& T  Suppressing Errors% k% i8 y) y4 R
      内存错误检查工具的一个重要能力就是能够 suppress errors,即隐藏指定”错误”的能力。因为人们使用内存错误检测工具最希望的是它能给出“真正的”错误,而不是给出大量的不是错误的错误。工具本身可以根据一些经验算法隐藏一些“众所周知”的假错误。但更多的情况下,需要使用者告诉工具如何区分出假错误。
    ) L0 j5 m# B# H" v  每次运行 DrMemory 时,它会产生一个 suppress 文件,和 result 文件放在一起。该文件的格式如下:
    / b4 P# N. @% P( w5 E' y  \  图 5. suppress 文件格式
    . m9 L* M/ f/ R: Y" B5 b& @  suppress 文件有多个”One Error”小节组成,每个”One Error”表示一个可以被 suppress 的错误。用调用堆栈来表示,有两种格式来表示堆栈:
    ' a3 Z) \) u" n: i: T  DrMemory 支持通配符,比如 t!*表示不报告所有模块 t 中的错误。在 Linux 下面,模块 t,就是由 t.c 生成的 t.o 所包含的代码,换句话说就是不检查 t.c 中的错误。
    ) z, |! a6 [- p  O
    ; `1 P2 g0 [2 G3 G9 @- A
    2 ]7 t  ]4 e, }2 D  H1 c
    zan
    转播转播0 分享淘帖0 分享分享0 收藏收藏0 支持支持0 反对反对0 微信微信
    您需要登录后才可以回帖 登录 | 注册地址

    qq
    收缩
    • 电话咨询

    • 04714969085
    fastpost

    关于我们| 联系我们| 诚征英才| 对外合作| 产品服务| QQ

    手机版|Archiver| |繁體中文 手机客户端  

    蒙公网安备 15010502000194号

    Powered by Discuz! X2.5   © 2001-2013 数学建模网-数学中国 ( 蒙ICP备14002410号-3 蒙BBS备-0002号 )     论坛法律顾问:王兆丰

    GMT+8, 2026-4-12 05:19 , Processed in 0.270000 second(s), 50 queries .

    回顶部