请选择 进入手机版 | 继续访问电脑版

QQ登录

只需要一步,快速开始

 注册地址  找回密码
查看: 3040|回复: 0

C++内存检测工具(Dr Memory)

[复制链接]
字体大小: 正常 放大
sxzg2        

57

主题

7

听众

191

积分

升级  45.5%

  • TA的每日心情

    2016-11-30 11:45
  • 签到天数: 7 天

    [LV.3]偶尔看看II

    自我介绍
    sx
    发表于 2016-10-19 11:24 |显示全部楼层
    |招呼Ta 关注Ta
      C++内存检测工具(Dr Memory) 不仅能够在 Linux 下面工作,也能在微软的 Windows 操作系统上工作。不过,本文撰写时,DrMemory 仅能支持 32 位程序,这是它的一个巨大缺陷,但相信随着开发的进行,DrMemory 会推出支持 64 位程序的版本。Dr. Memory 是一个开源免费的内存检测工具,它能够及时发现内存相关的编程错误,比如未初始化访问、内存非法访问以及内存泄露等。第六下载
    : U3 t: [/ H+ d% h- t0 Y, u+ G  Dr Memory特点:6 s5 G, \/ m6 L6 u' U( x
      Dr Memory 与 Valgrind 类似,可以直接检查已经编译好的可执行文件。用户不用改写被检查程序的源代码,也无须重新链接第三方库文件,使用起来非常方便。
    ' b# b- I6 F% i; s  易用性和性能是 DrMemory 的主要优点,此外 DrMemory 可以用于调试 Windows 程序,因此它被广泛认为是 Windows 上的 Valgrind 替代工具。在 Linux 平台中,DrMemory 也往往可以作为 Valgrind 之外的另一个选择。
    + K3 S& d, x+ E  DrMemory 对内存泄露的监测采用了比较独特的算法,大量减少了”false positive”,即虚假错误。如果您使用 Valgrind 等工具后仍无法找到程序中的内存错误,不妨试试 DrMemory 吧。
    8 }4 V$ e7 H$ @% Y5 L# _4 O  Dr. Memory 建立在 DynamoRIO 这个动态二进制插桩平台上。动态监测程序的运行,并对内存访问相关的执行代码进行动态修改,记录其行为,并采用先进的算法进行错误检查。2 ]) f5 J6 S0 @- H0 s5 T( `5 o+ x
      C++程序员最大的敌人就是内存处理错误,比如内存泄露、内存溢出等。这些错误不易发现,调试困难。本文介绍一个新的内存调试工具 DrMemory,为您的工具箱中添加一个新的内存检查利器吧。3 H6 ]( x  U( Q0 ~# s' f
      Dr Memory内存检测实例:! _% h$ e: @& C8 J% h2 x, W" ]# `/ l
      Dr. Memory 建立在 DynamoRIO 这个动态二进制插桩平台上。动态监测程序的运行,并对内存访问相关的执行代码进行动态修改,记录其行为,并采用先进的算法进行错误检查。
    . i8 w( H2 k7 d& y6 c  根据 DrMemory 开发人员发表在 CGO 2011上的论文 Practical Memory Checking with Dr. Memory,DrMemory 对程序的正常执行影响较小,这在同类工具中是比较领先的。其 performance 和 Valgrind 的比较如图 1 所示(图片源自 DrMemory 主页):
    $ M* X( z& x. _3 W8 W2 j7 r5 T  图 1. 和 Valgrind 的性能比较) e7 o3 \$ t4 l7 n' I6 T% j$ }; B
      Valgrind 对程序的正常运行影响较大,一般来说如果进行全面内存检测,会使程序的运行速度有 50 到 300 倍的减慢。而 DrMemory 在这个方面则有一定的优势。
    6 U/ L# b) r' H: E  易用性和性能是 DrMemory 的主要优点,此外 DrMemory 可以用于调试 Windows 程序,因此它被广泛认为是 Windows 上的 Valgrind 替代工具。在 Linux 平台中,DrMemory 也往往可以作为 Valgrind 之外的另一个选择。1 H+ a) f3 @- Q  ~# B
      DrMemory 对内存泄露的监测采用了比较独特的算法,大量减少了”false positive”,即虚假错误。如果您使用 Valgrind 等工具后仍无法找到程序中的内存错误,不妨试试 DrMemory 吧。
    4 \# f9 E; j3 \& D% V$ d) i8 a  Windows 上 DrMemory 提供了可执行安装包,只需点击下一步,即可安装完毕。
    " [- a+ D" r( W- }5 d  DrMemory,第一印象 DrMemory 的使用很简单,可以说它是傻瓜式。正常运行一个程序时,我们在 shell 中敲入命令然后回车。为了用 DrMemory 检查,只需要在! H$ a6 T8 _8 C4 G1 N' h
      Hello DrMemory,第一印象3 N: T# N. f0 S% B0 l: A. @
      DrMemory 的使用很简单,可以说它是傻瓜式。正常运行一个程序时,我们在 shell 中敲入命令然后回车。为了用 DrMemory 检查,只需要在正常命令之前加入 drmemory.pl,比如程序检查程序 t,那么就这样:( j( ~+ W4 d- ~* Z$ u5 }  Q( u
      drmemory.pl ./t
    0 Z. t9 s$ b: n% r6 [/ }: w  在计算机领域,Helloworld 总是第一个程序。让我们写一个 HelloDrMemory,来和 DrMemory 简单接触一下吧。# N8 @) e9 H9 @  u, D4 i
      清单 1,Hello DrMem 例子程序2 ~% x' S7 W* c( R- U; s) {( l
      1: int main()
    9 [0 X) p" g- m8 y  2: {
    + F7 ?' n1 i6 n0 k  3: char *ptr;" D0 I1 K& z# g4 I
      4: int i;% Z; ]# j. n9 R7 Q
      5: for(i=0;i<100;i++)' {5 f/ l4 \, M- }' K0 R0 `
      6: {0 b4 O* m8 E( {8 Z; V$ k. N
      7: ptr=(char*)malloc(i);, \, ]" v% I* r" v& c  P
      8: if(i%2) free(ptr);$ f5 U4 V$ p/ ]! `* k2 `
      9: }
    " P5 _" ~! m8 z: x  10: return 0;
    ! @) k4 [" p; _  G# D% ^# ~! l& ?  11: }3 u4 a; Y3 @* @6 w6 j, m
      很明显,有 50 个内存泄露,都在同一行代码中(Line 8)。让我们用 Dr Memory 来检查它。; d  F+ g7 t% ^+ Z
      屏幕上会有如上所示的错误汇总,注意看 ERRORS FOUND 下面的第 5 行:”50 total leaks”。不错吧。根据提示,更多的细节被写入一个 result 文本文件。打开并查看该文件,就可以知道程序在哪里出现了内存错误了。真是太方便了。不过 result 文件是否容易阅读呢?下面我们来详细解释如何阅读 DrMemory 产生的 result 文件。
    ; S. ~( n( X+ {7 z0 W  u4 e5 a7 u  DrMemory 报告解读细节
    5 r" @# H! @6 f  u# g4 ~  内存非法访问
    % Q% F! Q# O4 S( B6 S  DrMemory 认为任何对未分配内存区域的读写都是非法的。在 Linux 中,应用程序可以用以下几个方式分配内存:- {5 }# m( P- l. U- H1 h' F
      调用 mmap (或者 mremap)
    ' j3 g) g' q. E$ g4 e7 M1 P  调用 malloc 在堆上分配内存  E5 B+ U+ L0 o# Q' w
      使用 alloca 在栈上分配内存! K; u  z4 J2 p# i$ N
      非法访问就是对以上三种方法分配的内存区域之外进行的访问。常见的问题包括 buffer overflow、数组越界、读写已经 free 的内存、堆栈溢出等等。让我们测试下面这个问题程序。
    ' P$ q5 [3 N& F- z  Buffer overflow7 B/ q' V4 f5 G/ c& S- g- y
      例子程序的第 5 到 6 行存在 buffer overflow。在内存中,buffer 的分布如下图所示:. q: K5 u+ e5 x
      图 2. Buffer 分布
    3 C' D1 }3 f+ }7 u# [  访问 x+8 将产生一个非法内存访问。对此,Dr Memory 将给出如下的错误信息:
    # x( @" d' E5 Q  c& |$ N6 Y" q  首先用大写的单词 UNADDRESSABLE ACCESS 表明这是一个非法访问错误。接着,“reading 0x0804a020-0x0804a021 1 byte(s)”表示这是一个非法读,读取的范围为 0x0804a020 到 0x0804a021,一共读了 1 个 byte。接下来的三行是调用堆栈信息,可以方便地看到错误发生在哪个源文件的哪一行(程序 t 需要在用 gcc 编译的时候给定-g 选项)。此外 DrMemory 还给出了一些辅助的错误信息。比如:
    ' R: a8 G# q" b2 j9 T6 C' R( {  错误发生的时间:Note: elapsed time = 0:00:00.133 in thread 13971。这表明错误是程序开始的第 0.133 秒后发生的,有些情况下,人们可以根据这个时间进行辅助判断。
    # t" }. Y& [  w+ e8 R- _  错误细节:Note: refers to 1 byte(s) beyond last valid byte in prior malloc。这里给出了错误的详细信息,如前所述,造成非法访问的可能很多,在本例中是 buffer overflow,因此这里的详细信息可以帮助我们了解非法访问的具体原因。
      P  H' u2 g3 f2 C, K% M  Note: prev lower malloc: 0x0804a018-0x0804a020。这里给出了 overflow 之前的合法内存地址,有些情况下对于查错 有一定的帮助。
    ( b2 Y4 v" d5 `  Note: instruction: movzx (%eax) -> %eax。这里给出的是造成错误的具体指令。- f' u  K3 q. L+ ^; E
      可以看到 DrMemory 只报告了一个未初始化读错误,在第 12 行。很多其他工具对于 memcpy(&b,&a, sizeof(T))也会报错。: v- o) V% \# D
      GCC 将自动对齐数据结构(未使用 pack 修饰符的情况下)。因此 struct T 在内存中的实际分布如下:0 w3 P: Q3 g2 Z1 z  O3 z
      图 3. 内存拷贝细节
    8 s+ P- K# `; @  在 memcpy 时,有 3 个未初始化 byte 也被访问了,但这类错误如果也报告的话,对正常程序 DrMemory 会产生很多错误信息。这些其实不是错误,所以被称为 False Positive。类似医学名词“假阳性”。内存调试工具的一个主要目标就是减少 False Positive,否则产生的报告有用性将极大降低。
    ! S+ w1 P* i5 f; D" x& s8 _; G- B  其它很多工具,遇到上述拷贝会报告 false positive,浪费读报告的人们的时间。因此这是 Dr Memory 的一个重要优点。
    / [. L6 y, L' L: N' q1 A  内存泄露  b  I. b' \% I1 o$ u5 Q/ \! i
      内存泄露是常见的内存错误,我们可能都曾经遇到过。不过 Dr.Memory 对内存泄露的定义比较独特,在程序退出之前,Dr.Memory 把所有依然被分配的内存分为三类:  K+ S8 E$ O* `6 G, K- e  W# ?! Y1 x
      Still-reachable allocation
    ( }7 v; i/ V9 \; l: R  很多程序分配了内存之后,在其整个生命周期内都不释放。虽然这是一种泄露,但实际上多数情况下这是无害的,甚至是特意这样设计的。因此 Dr.Memory 并不认为这是一种内存泄露,而称之为”Still-reachable allocation”。
    , ^8 Y3 Y2 i6 b) E" z  Leak
    + R& H% L; W' y* g  有一些内存无法再被释放,因为指向该内存的指针丢失了。比如下面这个代码:
    5 b7 P; A- F1 z' X& e! {  清单 5.内存 Leak 例子代码, j6 ]1 @- r$ I+ B4 h
      DrMemory 称这类错误为内存泄露。因为这些内存已经没有办法被释放了。! m8 R7 k9 j, o# f6 y0 d0 y
      Possible Leak
    . V, K6 n% w" ^$ I  如前所述指向内存的指针被修改会被认为是一个 Leak,但并非所有的指针修改都是一个 Leak。DrMemory 利用一些经验规则(Heuristic)将以下几种指针修改列为 Possible Leak。
    ) ?) ~/ C6 k8 I$ U6 z  第一种情况:C++程序利用 new[]分配了一个数组,该数组的每个元素都是 拥有自己的析构函数的复杂数据结构。这种情况下,New 操作符为每个元素加上一个 header 用来保存数组的个数,以便 delete[]操作符知道需要调用多少个析构函数。但 new[]返回 caller 的是 header 之后的地址,这样就变成了一个 mid-allocation 指针。这可能被 Dr memory 认为是一个内存泄露。但可以使用-no_midchunk_new_ok 选项让 DrMemory 将这类错误报告为”possible leak”而非”leak”。0 q5 W; J" z2 u' i. r
      参考下图,理解这种情况。3 b! J7 b4 n& _: l1 G: s7 G
      图 4.mid-chunk new
    4 B% ^9 y7 y( c5 {9 Q  从堆分配器的角度来看,buffer 的起点在 A 处,但 new 返回 B,给 Object 变量赋值。从某种角度上看,指针 A 丢失了,是一个 leak,但实际上,当调用 delete []操作符时,C++运行时库会自动将 Object 指针减 4,从而指向 A 点,再进行释放。某些编译器不使用这种做法,则没有这个问题。
    8 V+ {+ g& b( j9 O' E8 e& t* Y  第二种情况,某些 C++编译器在处理多继承时,会出现 mid-chunk 指针。很抱歉,具体细节本人也不甚了解。Dr Memory 的原文如下:it includes instances of a pointer to a class with multiple inheritance that is cast to one of the parents: it can end up pointing to the subobject representation in the middle of the allocation. 您可以用-no_midchunk_inheritance_ok 选项将这类“错误”报告为”possible leak” 。6 x* Q: v& _$ ]) m% ^* W
      还有一种可能:std::string 类把一个 char[]数组放置在分配空间中,并返回一个指针直接指向它,造成了一个 mid-allocation 指针。您可以用-no_midchunk_string_ok 选项让这类错误显示为”possible leak”。
      f1 j  e* L3 o" m7 X  一些有用的选项:
    $ L& e# s) b: U. b; L  现实世界中真正的程序有很多不同于本文中所罗列的那些例子程序,现实程序更复杂,查找错误并不像例子所示的那么容易。DrMemory 设计了一些辅助选项,灵活使用它们才能在真正的工作中得到有用的信息。% H- P) J% \6 ]1 S+ X- h) i  c* `* i
      监控子程序
    # q# J, T: i5 M, e8 j$ z5 b5 b  缺省情况下 DrMemory 将监控当前进程产生的子进程的内存错误。如果您想禁止检查子进程,可以使用-no_follow_children 选项。) {; T- x" Q; \, k% T
      合并检查结果: @% f* l6 b5 j8 k# O/ h( R- Z
      用-aggregate 选项可以合并 DrMemory 的检查结果,比如下面的命令把 logs 目录下面多个 DrMemory 报告合并为一个总的报告。
    ( a# E! [0 {: i6 p) Y5 e, `( x  这个功能在某些情况下比较有用。比如对同一个程序用多个不同的测试用例测出不同的内存错误,可以把多个报告合并起来,以便程序员一次阅读。( h+ F: P0 V/ f8 Z6 |2 \& d
      检查不退出程序
      a' h: k. Q& E: m* v/ V  一些程序永远或者长时间都不退出,对于某些内存错误,比如未初始化读写,或者非法读写,DrMemory 一旦发现就立即写入 result 文件。但 DrMemory 只有在进程退出时才检查内存泄露。因此对于长期运行的程序,如果我们想在其运行期间得到内存泄露的报告,就需要使用 DrMemory 的 nudge 命令。比如您的进程 pid 为 1000,正在被 DrMemory 检测。那么你可以在 Shell 中运行下面这条命令,强制 DrMemory 进行内存泄露检查,并把结果更新到 result 文件中。8 N$ Z  X6 T3 j% F9 X
      现在打开 result 文件,如果程序有内存泄露,您将在该文件中找到错误信息。4 C" W1 h" D6 q/ t
      Suppressing Errors
    # L3 N) |. B  N$ y  内存错误检查工具的一个重要能力就是能够 suppress errors,即隐藏指定”错误”的能力。因为人们使用内存错误检测工具最希望的是它能给出“真正的”错误,而不是给出大量的不是错误的错误。工具本身可以根据一些经验算法隐藏一些“众所周知”的假错误。但更多的情况下,需要使用者告诉工具如何区分出假错误。
      k8 P/ ~, v4 d8 t: T; G# [  每次运行 DrMemory 时,它会产生一个 suppress 文件,和 result 文件放在一起。该文件的格式如下:  R. S. x( f+ I- V6 q+ Q
      图 5. suppress 文件格式7 T' c8 e- `3 \
      suppress 文件有多个”One Error”小节组成,每个”One Error”表示一个可以被 suppress 的错误。用调用堆栈来表示,有两种格式来表示堆栈:1 {1 L+ u6 @( N+ \
      DrMemory 支持通配符,比如 t!*表示不报告所有模块 t 中的错误。在 Linux 下面,模块 t,就是由 t.c 生成的 t.o 所包含的代码,换句话说就是不检查 t.c 中的错误。& \* X* F1 i% o: B5 S: a1 o3 N/ F
      一些有用的选项:. N0 {. {; n2 s' m0 R
      现实世界中真正的程序有很多不同于本文中所罗列的那些例子程序,现实程序更复杂,查找错误并不像例子所示的那么容易。DrMemory 设计了一些辅助选项,灵活使用它们才能在真正的工作中得到有用的信息。6 P) ]0 |8 Z/ }) I4 Y
      监控子程序+ E2 w( p! t0 ^% R+ l( h
      缺省情况下 DrMemory 将监控当前进程产生的子进程的内存错误。如果您想禁止检查子进程,可以使用-no_follow_children 选项。
    # t# E' q, o. V/ D# r, m) U" p' h* z3 M  合并检查结果0 G9 v# \% G! Z0 C" S
      用-aggregate 选项可以合并 DrMemory 的检查结果,比如下面的命令把 logs 目录下面多个 DrMemory 报告合并为一个总的报告。# n9 s: W, B& Q& [
      这个功能在某些情况下比较有用。比如对同一个程序用多个不同的测试用例测出不同的内存错误,可以把多个报告合并起来,以便程序员一次阅读。
    % U- m4 M( n/ P- @6 m- \  检查不退出程序/ j+ v. A) z$ v, o+ q; A7 }
      一些程序永远或者长时间都不退出,对于某些内存错误,比如未初始化读写,或者非法读写,DrMemory 一旦发现就立即写入 result 文件。但 DrMemory 只有在进程退出时才检查内存泄露。因此对于长期运行的程序,如果我们想在其运行期间得到内存泄露的报告,就需要使用 DrMemory 的 nudge 命令。比如您的进程 pid 为 1000,正在被 DrMemory 检测。那么你可以在 Shell 中运行下面这条命令,强制 DrMemory 进行内存泄露检查,并把结果更新到 result 文件中。
    $ d3 p7 x+ t+ V( g( T  现在打开 result 文件,如果程序有内存泄露,您将在该文件中找到错误信息。5 L' V8 n7 y  o$ p# e: @1 r. b% V
      Suppressing Errors
    : k0 d- J/ s' T: f; A  内存错误检查工具的一个重要能力就是能够 suppress errors,即隐藏指定”错误”的能力。因为人们使用内存错误检测工具最希望的是它能给出“真正的”错误,而不是给出大量的不是错误的错误。工具本身可以根据一些经验算法隐藏一些“众所周知”的假错误。但更多的情况下,需要使用者告诉工具如何区分出假错误。" i+ b" u5 K" L. C
      每次运行 DrMemory 时,它会产生一个 suppress 文件,和 result 文件放在一起。该文件的格式如下:0 y2 P4 X( D/ a: q
      图 5. suppress 文件格式
    ! Z! P+ O2 S  _: c  suppress 文件有多个”One Error”小节组成,每个”One Error”表示一个可以被 suppress 的错误。用调用堆栈来表示,有两种格式来表示堆栈:4 y# {6 c+ o, I* g2 O
      DrMemory 支持通配符,比如 t!*表示不报告所有模块 t 中的错误。在 Linux 下面,模块 t,就是由 t.c 生成的 t.o 所包含的代码,换句话说就是不检查 t.c 中的错误。
    2 N/ x+ K8 E  \( G% d7 Q+ ~  J$ A0 C4 O! G+ z: K

    / O( ?% B: d3 r0 @7 F1 Y% M
    zan
    您需要登录后才可以回帖 登录 | 注册地址

    qq
    收缩
    • 电话咨询

    • 04714969085
    fastpost

    关于我们| 联系我们| 诚征英才| 对外合作| 产品服务| QQ

    手机版|Archiver| |繁體中文 手机客户端  

    蒙公网安备 15010502000194号

    Powered by Discuz! X2.5   © 2001-2013 数学建模网-数学中国 ( 蒙ICP备14002410号-3 蒙BBS备-0002号 )     论坛法律顾问:王兆丰

    GMT+8, 2024-3-30 00:13 , Processed in 0.414793 second(s), 50 queries .

    回顶部