数学建模社区-数学中国

标题: 牛B的 John Carmack密码:0x5f3759df--Quake III的源代码分析 [打印本页]

作者: 5800    时间: 2009-11-26 23:24
标题: 牛B的 John Carmack密码:0x5f3759df--Quake III的源代码分析
有人在Quake III(雷神之锤3)的源代码里面发现这么一段用来求平方根的代码:
8 {9 V6 m; p+ B' ~) p7 l! Z7 x* Q/*================SquareRootFloat================*/
- K0 W- y  P9 V  Z# D  @% Yfloat SquareRootFloat(float number) {" I/ L1 B, P+ d+ d9 M: z5 A, V4 j+ n
long i;
- u: [8 C" l! Mfloat x, y;! `2 X8 ?; J3 m  I" d
const float f = 1.5F;
: i+ e- x$ Y; j) d$ x% |x = number * 0.5F;7 k; L* C9 i! W3 R3 H2 z
y = number;
: x$ k6 d4 i6 J+ ~" }i = * ( long * ) &y;
) |; p! L3 Y6 zi = 0x5f3759df - ( i >> 1 ); //注意这一行* k/ X$ J" v* z
y = * ( float * ) &i;
+ o0 {* O# }% Z2 N8 ly = y * ( f - ( x * y * y ) );( u, `& q- @7 j
y = y * ( f - ( x * y * y ) );1 ?$ e+ V; i0 W9 K5 Y) [
return number * y;
3 Y7 c3 m5 M" a$ O9 P}
6 H2 \4 f  q9 i( {; i; R: X& m0x5f3759df? 这是个什么东西? 学过数值分析就知道,算法里面求平方根一般采用
8 p( ~$ A% n3 R0 e的是无限逼近的方法,比如牛顿迭代法,抱歉当年我数值分析学的太烂,也讲不清楚
: z" N) x* y1 z" G- Z。简单来说比如求5的平方根,选一个猜测值比如2,那么我们可以这么算
- u. g8 x( T+ l# {: L1 k5/2 = 2.5; 2.5+2/2 = 2.25; 5/2.25 = **; 2.25+**/2 = **x ...
7 o- _+ s) e. `; O! @6 P这样反复迭代下去,结果必定收敛于sqrt(5),没错,一般的求平方根都是这么算的) {% `; n. t6 x+ Z
。而卡马克的不同之处在于,他选择了一个神秘的猜测值0x5f3759df作为起始,使得  w" `: P$ R! ]
整个逼近过程收敛速度暴涨,对于Quake III所要求的精度10的负三次方,只需要一( [: V' Z% W. A4 w3 ]0 x! g
次迭代就能够得到结果。( E0 ?1 u8 i  c( C$ X
好吧,如果这还不算牛b,接着看。
# M* _' P, |+ Y0 |+ O$ t+ S' Q- \普渡大学的数学家Chris Lomont看了以后觉得有趣,决定要研究一下卡马克弄出来的& M9 b. H) A( Z
这个猜测值有什么奥秘。Lomont也是个牛人,在精心研究之后从理论上也推导出一个
8 Y$ d0 S4 j' |最佳猜测值,和卡马克的数字非常接近, 0x5f37642f。卡马克真牛,他是外星人吗?; L; I% B7 k$ ?! }* o

& s! I3 |: k( P) q% C传奇并没有在这里结束。Lomont计算出结果以后非常满意,于是拿自己计算出的起始2 Q8 s: T  C5 K$ C; D1 D
值和卡马克的神秘数字做比赛,看看谁的数字能够更快更精确的求得平方根。结果是9 K2 T5 V' ?- j% `  q
卡马克赢了... 谁也不知道卡马克是怎么找到这个数字的。. G/ i9 X( C; g8 a% z  ~3 L% `
最后Lomont怒了,采用暴力方法一个数字一个数字试过来,终于找到一个比卡马克数
6 e6 \7 H+ l$ G& u' C; z$ F5 s8 `字要好上那么一丁点的数字,虽然实际上这两个数字所产生的结果非常近似,这个暴
( ^8 V- ?% S6 G4 p力得出的数字是0x5f375a86。
/ [; T* w3 T& Q: z. a  E$ PLomont为此写下一篇论文,"Fast Inverse Square Root"。
+ {( R+ s) T- G5 W3 H  w/ |John Carmack, ID的无价之宝。/ j$ r2 I, Q5 M# \- a9 V
//===============================================================
4 X* J) @) [$ h' ~/ S- f1 W日前在书上看到一段使用多项式逼近计算平方根的代码,至今都没搞明白作者是怎样推算出那个公式的。但在尝试解决问题的过程中,学到了不少东西,于是便有了这篇心得,写出来和大家共享。其中有错漏的地方,还请大家多多指教。$ c! a+ K; q! X5 ]& n4 ^" F1 S
的确,正如许多人所说的那样,现在有有FPU,有3DNow,有SIMD,讨论软件算法好像不合时宜。关于sqrt的话题其实早在2003年便已在 GameDev.net上得到了广泛的讨论(可见我实在非常火星了,当然不排除还有其他尚在冥王星的人,嘿嘿)。而尝试探究该话题则完全是出于本人的兴趣和好奇心(换句话说就是无知)。3 q& |1 q6 R& F/ x$ h# e; g6 j
我只是个beginner,所以这种大是大非的问题我也说不清楚(在GameDev.net上也有很多类似的争论)。但无论如何,Carmack在DOOM3中还是使用了软件算法,而多知道一点数学知识对3D编程来说也只有好处没坏处。3D图形编程其实就是数学,数学,还是数学。
) v9 L( R8 E/ w文章原本是用HTML编排的,所以只截取了部分有比较有趣的东西放在这里。原文在我的个人主页上,同时也提供了2篇论文的下载:http://greatsorcerer.go2.icpcn.com/info/fastsqrt.html
. u1 ?; |- T5 @4 R+ W7 M=========================================================+ P8 i! t& v4 b" b- C2 G2 W8 C
在3D图形编程中,经常要求平方根或平方根的倒数,例如:求向量的长度或将向量归一化。C数学函数库中的sqrt具有理想的精度,但对于3D游戏程式来说速度太慢。我们希望能够在保证足够的精度的同时,进一步提高速度。
( W. j: P7 D) r9 ICarmack在QUAKE3中使用了下面的算法,它第一次在公众场合出现的时候,几乎震住了所有的人。据说该算法其实并不是Carmack发明的,它真正的作者是Nvidia的Gary Tarolli(未经证实)。
- o  l# W5 \, H0 @2 T5 m. D0 q-----------------------------------
* R% B% m- N& M8 W) j5 S0 K//
0 E- q# A7 f0 |! q# |- e% E7 r// 计算参数x的平方根的倒数
* D7 R1 f9 v0 }- H, m//
1 ~: Q5 p7 C4 A8 R& U, {float InvSqrt (float x)
& {$ Y- z  a6 J3 p1 @7 O7 W$ i{
. d' d- l. l. _* D8 @/ l+ tfloat xhalf = 0.5f*x;
9 `6 o, E+ Z! bint i = *(int*)&x;( f; j3 E* X, p& c* q. t7 b
i = 0x5f3759df - (i >> 1); // 计算第一个近似根
) u- ]) R% c3 s: ]- g$ }- a* ^x = *(float*)&i;4 l% x) J. s3 {" h
x = x*(1.5f - xhalf*x*x); // 牛顿迭代法5 [8 C0 W7 |9 u: F: q) K0 ?8 o5 T
return x;
: D& o8 j3 r$ x& ?& S1 i}
8 j9 C' Z/ m, q3 D/ n- K$ Z  w( s----------------------------------
8 `: z1 ~9 B8 K  e0 w- Z该算法的本质其实就是牛顿迭代法(Newton-Raphson Method,简称NR),而NR的基础则是泰勒级数(Taylor Series)。NR是一种求方程的近似根的方法。首先要估计一个与方程的根比较靠近的数值,然后根据公式推算下一个更加近似的数值,不断重复直到可以获得满意的精度。其公式如下:
, d$ ~4 S; C$ j$ k7 \-----------------------------------
: a2 s" Y8 z5 |2 q) I, B( S函数:y=f(x)
! o& W9 ^1 G* z- Z% ?5 }其一阶导数为:y'=f'(x)
. l0 ^# k( c/ F/ B则方程:f(x)=0 的第n+1个近似根为
0 Y7 ]9 r3 c% f& d5 mx[n+1] = x[n] - f(x[n]) / f'(x[n])
: }/ D$ `- E8 B-----------------------------------8 e6 n# _" U& a& v1 S
NR最关键的地方在于估计第一个近似根。如果该近似根与真根足够靠近的话,那么只需要少数几次迭代,就可以得到满意的解。
$ i/ g4 ], M8 r6 \- Y现在回过头来看看如何利用牛顿法来解决我们的问题。求平方根的倒数,实际就是求方程1/(x^2)-a=0的解。将该方程按牛顿迭代法的公式展开为:8 K/ L- A0 A  J; j+ S) x/ ~* r
x[n+1]=1/2*x[n]*(3-a*x[n]*x[n])# t$ b, u; c) w) X/ N& a
将1/2放到括号里面,就得到了上面那个函数的倒数第二行。. {" ^& x) |" R, U2 u/ T
接着,我们要设法估计第一个近似根。这也是上面的函数最神奇的地方。它通过某种方法算出了一个与真根非常接近的近似根,因此它只需要使用一次迭代过程就获得了较满意的解。它是怎样做到的呢?所有的奥妙就在于这一行:
& E" w; i4 d# O' C4 ii = 0x5f3759df - (i >> 1); // 计算第一个近似根8 P5 M, e' t6 ^1 I  z
超级莫名其妙的语句,不是吗?但仔细想一下的话,还是可以理解的。我们知道,IEEE标准下,float类型的数据在32位系统上是这样表示的(大体来说就是这样,但省略了很多细节,有兴趣可以GOOGLE):
7 R* k- ?  e/ Z% G5 x, f-------------------------------6 L) ?: t7 t/ \6 D8 N8 V
bits:31 30 ... 0
; ^3 X% R& Z0 {( S+ z# u0 m  e7 ~31:符号位3 S# l; ]; L  V& Q' J( ~9 \
30-23:共8位,保存指数(E)
; w9 O7 i& Z2 g+ w: J5 j22-0:共23位,保存尾数(M). _+ _# g9 S; ~* Y$ a2 a
-------------------------------
* M7 R; d2 \8 u所以,32位的浮点数用十进制实数表示就是:M*2^E。开根然后倒数就是:M^(-1/2)*2^(-E/2)。现在就十分清晰了。语句i> >1其工作就是将指数除以2,实现2^(E/2)的部分。而前面用一个常数减去它,目的就是得到M^(1/2)同时反转所有指数的符号。' }/ h. N( R# w
至于那个0x5f3759df,呃,我只能说,的确是一个超级的Magic Number。
: ~9 u: Y  \. t) f3 x" ]4 W" g那个Magic Number是可以推导出来的,但我并不打算在这里讨论,因为实在太繁琐了。简单来说,其原理如下:因为IEEE的浮点数中,尾数M省略了最前面的1,所以实际的尾数是1+M。如果你在大学上数学课没有打瞌睡的话,那么当你看到(1+M)^(-1/2)这样的形式时,应该会马上联想的到它的泰勒级数展开,而该展开式的第一项就是常数。下面给出简单的推导过程:
, {+ X0 r( ^8 D" \-------------------------------
. _) }$ X& f9 _5 `' v对于实数R>0,假设其在IEEE的浮点表示中,0 }0 m7 Z- \7 ^8 ]( ^6 z4 T
指数为E,尾数为M,则:
+ M  L8 i& K; b4 t) A% bR^(-1/2)
- U. q2 O# P( G. N2 l& k/ P3 l& ~) L= (1+M)^(-1/2) * 2^(-E/2): q5 A; `+ i. X( r: t; M
将(1+M)^(-1/2)按泰勒级数展开,取第一项,得:0 M9 [' Z+ k/ \6 {; J3 i& |4 w
原式" `( |' b" G, R( o$ y9 C6 Y# j
= (1-M/2) * 2^(-E/2)
; W! S+ P# }5 _. M* X6 A4 i+ p; F2 w6 h= 2^(-E/2) - (M/2) * 2^(-E/2)
0 \, a! z5 i8 J/ z如果不考虑指数的符号的话,
; K) y4 ^4 I* K% ^1 O* E(M/2)*2^(E/2)正是(R>>1),( b0 x* J7 ~; p
而在IEEE表示中,指数的符号只需简单地加上一个偏移即可,& R( F0 @! c& `$ k
而式子的前半部分刚好是个常数,所以原式可以转化为:$ Q) f2 s( Q% f! v( U; q
原式 = C - (M/2)*2^(E/2) = C - (R>>1),其中C为常数
5 |' A& @3 G- z$ d  y所以只需要解方程:
: ^0 O7 c7 N" DR^(-1/2)) R" ?  T2 ?) ?: P9 Q
= (1+M)^(-1/2) * 2^(-E/2)$ Y+ U+ \2 a" u9 m1 N
= C - (R>>1)/ S+ g$ ~8 O( H9 k
求出令到相对误差最小的C值就可以了
% V) j4 V: J- L' f' @6 _1 }; D0 ?-------------------------------8 G, ]; t5 ^4 s7 I! T$ `
上面的推导过程只是我个人的理解,并未得到证实。而Chris Lomont则在他的论文中详细讨论了最后那个方程的解法,并尝试在实际的机器上寻找最佳的常数C。有兴趣的朋友可以在文末找到他的论文的链接。
- q" E4 J# c2 A0 B# c0 x' E所以,所谓的Magic Number,并不是从N元宇宙的某个星系由于时空扭曲而掉到地球上的,而是几百年前就有的数学理论。只要熟悉NR和泰勒级数,你我同样有能力作出类似的优化。
; \8 m  Q8 K+ b+ ^- v) T# R在GameDev.net上有人做过测试,该函数的相对误差约为0.177585%,速度比C标准库的sqrt提高超过20%。如果增加一次迭代过程,相对误差可以降低到e-004 的级数,但速度也会降到和sqrt差不多。据说在DOOM3中,Carmack通过查找表进一步优化了该算法,精度近乎完美,而且速度也比原版提高了一截(正在努力弄源码,谁有发我一份)。
# F' G" D! f7 H值得注意的是,在Chris Lomont的演算中,理论上最优秀的常数(精度最高)是0x5f37642f,并且在实际测试中,如果只使用一次迭代的话,其效果也是最好的。但奇怪的是,经过两次NR后,在该常数下解的精度将降低得非常厉害(天知道是怎么回事!)。经过实际的测试,Chris Lomont认为,最优秀的常数是0x5f375a86。如果换成64位的double版本的话,算法还是一样的,而最优常数则为0x5fe6ec85e7de30da(又一个令人冒汗的Magic Number - -b)。
( y2 l0 B8 f9 J# R' Q9 m) A- h这个算法依赖于浮点数的内部表示和字节顺序,所以是不具移植性的。如果放到Mac上跑就会挂掉。如果想具备可移植性,还是乖乖用sqrt好了。但算法思想是通用的。大家可以尝试推算一下相应的平方根算法。$ J+ [! h/ Z# W/ O+ b- {
下面给出Carmack在QUAKE3中使用的平方根算法。Carmack已经将QUAKE3的所有源代码捐给开源了,所以大家可以放心使用,不用担心会受到律师信。
8 c1 ^! h$ j, c! s$ K---------------------------------
5 {4 O9 a4 L. X7 w- h//6 i! a3 q2 A2 O0 Z+ `0 U3 b. f
// Carmack在QUAKE3中使用的计算平方根的函数
/ k2 T: W8 T' x$ J) m7 V  @//
5 H# e1 k, l1 yfloat CarmSqrt(float x){
8 e" O) W+ y2 m/ z8 \union{
+ ~; b9 E9 F8 a: wint intPart;# ~) x1 a$ `- ]) r  r
float floatPart;8 h6 A. f9 K, m- L" M! h
} convertor;& M% R$ D7 _. ]$ a+ H) q
union{
& t$ ]. y4 E* Rint intPart;# D& J2 H- V# [6 h7 Q; Z
float floatPart;
. b* q6 x; ?4 E1 }" d) `5 R$ L} convertor2;
$ g* U, G: |# |* {: w9 uconvertor.floatPart = x;
: Y; c0 r- H# C+ q7 qconvertor2.floatPart = x;
2 ]" h$ @5 v, o7 _' P1 F0 g: vconvertor.intPart = 0x1FBCF800 + (convertor.intPart >> 1);- z# R9 Q$ s. t5 E6 Y$ s" ~
convertor2.intPart = 0x5f3759df - (convertor2.intPart >> 1);; [: @  U- n# m7 v( b/ M" \
return 0.5f*(convertor.floatPart + (x * convertor2.floatPart));6 m& F- M' @* E, n+ H6 x
}
作者: olh2008    时间: 2009-11-27 08:22
// 计算参数x的平方根的倒数( {/ x4 b; I  O6 K& @% Y+ c6 n9 a
//
3 X( D; F+ X/ x8 `3 D5 \2 m0 p% }float InvSqrt (float x)0 e8 H# ^7 V2 |) X/ P% B5 H1 C, d
{
- G0 |3 V: c, U! Ffloat xhalf = 0.5f*x;
3 g7 G9 O: o( F! Yint i = *(int*)&x;4 G, ?+ m. i$ b6 A/ X3 a
i = 0x5f3759df - (i >> 1); // 计算第一个近似根/ q8 ?$ k( l$ n, \/ ]/ A( c( t
x = *(float*)&i;3 F+ B  Z  Q5 y' f7 l3 t+ _" C) R; K
x = x*(1.5f - xhalf*x*x); // 牛顿迭代法
; F: F1 a) D$ c% \( ]: O* l; ?7 C7 rreturn x;" U: b" ?  @' T, O( n  C
}

2 l1 I$ X3 |2 v2 P0 q" l: g3 O% f! f这个函数好像并不能实现计算x的平方根的倒数,比如我输入参数为100,它得到的却是-NAN




欢迎光临 数学建模社区-数学中国 (http://www.madio.net/) Powered by Discuz! X2.5