数学建模社区-数学中国

标题: 10个编写快速运行的Mathematica代码的小诀窍 [打印本页]
作者: Asdmath2020    时间: 2020-3-16 16:28
标题: 10个编写快速运行的Mathematica代码的小诀窍
本帖最后由 Asdmath2020 于 2020-3-16 16:32 编辑
; @# Q1 v, ]( Z& q+ w- |" l/ ~" V$ b" F1 b4 m
当我听到人们说Mathematica不够快的时候，我通常会提出想要看一下这段令他们烦恼的代码，然后会发现，其实并不是Mathematica本身的表现不够好，而是Mathematica没有被最优使用。我觉得我应该和大家分享一下我在优化Mathematica代码时首先会看的一些内容。
. i0 I) X0 F+ Q( p3 H

+ c) `8 G! P" g% h  z01 如果可以的话尽量尽早使用浮点数6 G& s, V& Z) I
3 t, b% K% B) z, \4 e
我最常看到的导致代码变慢的问题是，程序员会不经意地让Mathematica做超出需要的细致的事情。没必要的代数精确是其中最常见的问题。
在多数与数字相关的软件中，是不需要这么精确的代数的。1/3和0.33333333333333是一样的。当你碰到特别严重的在数字上不稳定的问题时这个差异可能会被放大的特别明显，但是，在大多数情况中，浮点数已经足够使用了，而且最重要的是，浮点数运算更快。Mathematica中，任何小于16位的小数都被看作是机器浮点数，所以如果更想要速度而可以舍弃一些精确性的时候，记得用小数（比如，三分之一输入为1./3.）。以下是一个例子，可以看到使用浮点数是精确数运行速度的50.6倍。在这个例子中，两个数字的使用得到的是同一个结果。
9 D0 A9 m' H3 ^2 @- E# p' d
04.jpg
: b" h9 t) l+ n8 E! a0 E! m在符号运算中也是这样。如果你不是很在意符号式的结果，并且计算的稳定性也不是问题的话，那么尽快使用数值作为替代。比如，求解下面的二项式符号计算时，在使用数值作为替代之前，这个代码可能会让Mathematica生成长达五页的中间符号表达式。. O4 I+ |" v; U! T6 j3 m# B
001.png * j- d  n: ~# B& l
003.png
6 y6 W6 h3 H; Z1 |$ {但是如果先用数值替代，那么Solve会使用更快的数值方法。' y5 D7 w3 f' a. V! L( g/ ?
05.jpg
; t3 ^% ^3 x- P5 _ 002.png 0 y( b0 B/ p9 `# y; ^, s+ s0 J
当用数据列表工作时，使用实数的方法必须保持一致。只要一个精确的数值就可以让整个数据组处于一个更灵活但是缺乏效率的形式中。
, X5 _( f( a0 {0 K; o 004.png " S9 h9 ~* Z; `) O+ G8 \+ M
02学会Compile$ t/ x" {1 v& ~1 ~5 j9 U3 M2 o  K8 o

, G& a: T5 e* g1 S4 O
Compile函数接受Mathematica的代码，并让你预先声明输入参数的类型（比如实数、复数等）和结构（如数值、列表、矩阵等）。这虽然失去了Mathematica语言灵活性的优势，但是可以免于担心类似于“如果参数是符号怎么办？”的问题，Mathematica也可以最优化程序并创建一个字节码在虚拟器上运行。并不是所有东西都可以被编译，且简单的代码可能不会有太大效果，但是那种复杂的低阶数字代码速度可以得到大大的提升。
下面是一个例子：

$ t6 [7 C& A# D, k3 T. @/ Z: |4 n' z 005.png 9 S6 Q8 v% H  A
使用Compile可以比Function的运行速度提高80倍。- b- D9 A9 m3 U( u
006.png . L$ s2 A3 h+ `: V# ]
但是我们可以在Compile函数中加入一些代码的可并行性质，这样可以生成更好的结果。8 {! k, a/ M5 r5 s. w* n9 |, c
06.jpg
/ V& u0 w4 ^- r3 X
在我的双核处理器电脑上，我的运行结果比原本快150倍，如果是多核处理器那么效果会更加明显。2 y4 H% L4 ?6 p' M9 W. \) O, S) b1 v
但是要注意，很多Mathematica函数比如Table、Plot、NIntegrate等会自动编译它们的参数，这样的话你使用上述方法可能不会看到任何速度上的提升。
7 P, G# |& l1 P3 m! f4 r4 Y
02.5使用Compile生成C代码
9 p5 G+ {# ?; t9 }! \; }7 K' x$ r: `: {' K/ o0 M0 Z
另外，如果你的代码可编译，你还可以使用选项CompilationTarget->“C”来生成C代码，调用你的C编码器并将其汇编成一个DLL，并把这个DLL链接回Mathematica，都是自动操作的。在编译阶段，DLL直接在CPU上运行而非Mathematica的虚拟器，所以会更快得到结果。
009.png + J% F$ Z8 D7 v0 \7 o5 i

% a& H: q$ D4 X03使用内置函数
  s6 g* p$ {* d# [3 _, i) t. }6 V* [( {0 u
Mathematica有很多函数。起码半数以上的人可能不会坐下来学习所有函数。所以当我看见有些人会写一些代码而没有意识到其实Mathematica知道怎么做这些操作的时候，我一点也不意外。这种重复操作不仅是浪费时间，而且公司是花钱请程序员来开发研究运行这些操作的最有效方法，所以内置的函数一般是非常快的。
如果你发现有些结果很接近了但是不完全对的时候，此时可以检查选项和参数，通常它们会概括可以覆盖很多特殊用法或者专有应用的函数。
下面举一个这样的例子。如果我有一个一百万2x2矩阵的列表，我想把该列表转换成一百万个包含四个元素的列表，概念上来说最简单的方法是用Map把已经用Flatten扁平化过的数据进行映射即可。
& R; |* O. C* T. r
010.png / X9 A' r. q, R0 y* Y8 G- w
但是Flatten本身知道怎么把整个步骤完成，你只要说明数据结构的第二层和第三层应该被合并而第一层不动就可以了。说明这种细节的内容可能相对来说是比较细致的工作，但是只需要使用Flatten就能完成整个扁平化工作可以让整个进程比你自己手动做这些程序要快将近4倍。# Z( d4 A/ }# M( l
012.png . M. M' J' G5 m3 p
所以记住：在运行代码之前在帮助菜单里先搜索一遍。
& G, y; I$ g" T8 {; C
( @$ `' r7 ?7 E, ^5 E04使用Wolfram Workbench
9 _. Y8 {" w) H& B
; e( o2 T) p3 X
Mathematica对于某些种类的编程错误容忍度很高——如果你忘记在正确的时候初始化一个变量，Mathematica会以符号的模式顺利运行，而并不会有循环计算或者预料之外的数据类型出现。如果你只想要一个答案的话这个功能是很棒的，但是这也会让你没有得到最优的解答。
Workbench会在几个方面帮助你。首先它会帮你排除程序问题，并把大型的代码项目组织得更好，整齐易读的代码会让程序员更好地写优秀的代码。但是最关键的功能在于分析器会告诉你是哪一行代码用光了时间，而且会告诉你调用这些代码用了多少时间。
看下这个例子，一个很可怕的执行斐波那契数的方法。如果你没有考虑到数列的双重递归，你可能会惊讶计算fib[35]怎么会需要22秒钟（大约和内置函数计算Fibonacci[1000000000]所有208,987,639位数字需要的时间一样）（请看诀窍3）。
011.png
2 n5 V9 t) ^- K) C8 }8 N0 N
在分析器中运行这个代码可以解释这个现象的原因。主要规则被援引9,227,464次，fib[1]的值被请求18,454,929次。7 t" \; q) m+ t# Y& @' ]
学习代码能做什么，而不是想当然，会让你眼界大开。
( @3 f6 \/ P. v8 K/ M  T8 S
05记住你将来会需要用到的值6 ~; V9 X7 ?# A4 u6 j

+ }+ K; t+ b* a这个编程诀窍对任何语言都管用。Mathematica认为你想知道的是这个：
- g* c# k) E$ H7 K$ ~  \8 n
) B: O7 R- z0 r; L9 } 013.png
3 E/ ]8 g; n( G) I! H, \3 f% A% g这省去了用任何值调用 f 的结果，这样的话如果再用相同数值调用 f，Mathematica不需要再算一遍。这里你就是用内存换取计算速度，所以如果你的函数要用大量不同数值调用而不太重复的时候这个方法可能不合适。但是如果输入的范围有限，那么这个方法就很有用了。以下就是如何拯救我刚才提到的来解释诀窍3的例子的方法。可以把第一条规则改成这样：. R  T4 z% w* B# K+ e+ Q
014.png " x$ V% a, I1 Z4 D
然后速度立刻就可以提升，因为fib[35]现在只需要用主要的规则运算33次。查询之前的结果可以防止循环递归fib[1]的问题。7 j/ j, e; a8 j1 n' ^
) m$ B  h6 {9 y% @
06并行
. o% j+ T5 A3 C/ |7 M: n/ s9 d" u- Z5 ?
有很多Mathematica的操作都会自动在本地核中并行运行（大部分是代数、图像处理和统计），如果需要手动的话，Compile也可以。但是对于其他操作来说，或者如果你想在远程硬件上并行操作，你可以试用内置的并行编程架构来完成。
有一个这样工具的集合，但是都是为非常独立的任务服务的，比如ParallelTable,ParallelMap，ParallelTry，还有很多。每个这样的小工具都可以自动进行通信、工作管理和收集结果。发送任务和回收结果需要一点时间，所以在减少时间和增加时间上会有需要一个取舍。你的Mathematica有四个计算内核，如果你有额外的CPU可使用的话，还可以通过gridMathematica在此基础上提高这一性能。这里由于我用的是双核电脑，ParallelTable实际将我的运算时间缩少了一半。如果有更多CPU则会得到更好的结果。

& u, K; X( b6 L5 z" Z: w 015.png
1 x/ H$ E. h9 V7 W8 ?4 k
任何Mathematica可以做的事情都可以以并行方法运行。比如，你可以给远程硬件发送一个并任务集合，每个任务都在CPU或GPU中编译和运行。
% G; w* X+ B* `4 J" w/ w- A# `

+ c. z+ [  H- b) I0 Y2 F06.5想想CUDALink和OPENCLLink
: z& ]7 j- _: \; O" i0 ^9 M$ t3 T# I, u( _$ Y/ w6 {
如果你有GPU硬件，有一些用批量并行运行方法可以做的非常快的事情。除非这些最优化CUDA函数恰好可以做你想要它们做的事情，否则你还要做一点额外的工作，但是CUDALink和OpenCLLink 工具可以为你自动化很多繁琐的细节。

% z# V7 y4 D9 ?07使用Sow和Reap累积大量数据（不是AppendTo）+ b3 B/ A) e+ y: c0 y
1 j1 |! g2 [* y) K: T% Q7 r
因为Mathematica数据结构的灵活性，AppendTo不会假设你要追加的是一个数字，因为你要追加的可能是一个文件、音频或者图像等。所以AppendTo必须为所有数据创建一个新的副本，并重新调整架构以适应新追加的信息。当数据累积的时候这个过程会变得越来越慢。（而且构建data=Append[data,value]与AppendTo一样。）
尝试使用Sow和Reap。Sow会舍弃你想要累积的值，而Reap收集它们并一次性在末尾建立一个数据对象。下列范例是等价的：
017.png : S6 P$ s' c# h. }% `3 ^7 ?
08使用Block或With而非Module
+ ~0 b% O( F  \* e, U: d: p7 G, z9 T! {6 Q
Block，With和Module都是本地化构建的工具，但是属性上有些小区别。根据我的经验，95%以上的几率在我写的代码中Block和Module是可以互相替换的，但是Block通常快一点，而在另一些例子中（Block的变量在只读状态的情况下）With会快一些。0 X: [; n' V7 K4 S" _; A: P# Z7 p& w4 D
018.png 6 w0 K' m  _; j

. i7 a9 q4 q4 t+ H% R4 R# E$ t& D( e1 a09少用模式匹配7 s4 [2 [5 p0 o5 h
. q7 I2 u  h$ B1 z; z7 j
模式匹配很好，可以让项目中复杂的任务变得简单一点。但是它有时会很慢，尤其是像BlankNullSequence这种比较复杂的模式（通常写作“___”）中，可能会花很长时间仔细在你的数据中搜索一些——你作为一个程序员可能已经可以判断的——不存在的模式。如果想要速度的话，那么选择范围更窄的模式，或者不用模式会更好。
比如，下面范例使用了模式，在一行代码中简洁地执行了冒泡排序：
019.png 3 Y  E$ d0 P, x1 z& J
上例概念上很简单，但是比起这个我最开始学习编程的时候就学过的列出步骤的方法来说还是要慢很多：# Z$ V  C" X! Z; u7 N
1 E+ _! W% W8 a
020.png
) L8 o" E! s6 M8 W& U- h当然在这个例子中你可以用内置函数（参见诀窍3），这个内置函数会使用比冒泡排序更好的排序算法。4 |% _7 E& \- z4 h
  Q3 L3 @2 D$ n. F
010尝试不同的方法
+ a8 P  D# f3 E* ?: ]! o! t$ q  f$ k/ u9 o
Mathematica的一个很重要的优点是，它可以用不同的方式处理同一个问题。它允许你按照你自己的想法编程，而不是为了编程语言的风格重构你的问题。但是，概念上简单和计算效率不是一件事。有时候容易懂的想法可能会需要更多的工作才能实现。
但是另一个问题是，因为Mathematica中最优化和一些绝妙算法都是自动应用的，所以很难预测什么时候Mathematica又会做出另一个绝妙的操作。比如，下例是两种计算阶乘的方法，第二种比第一种快10倍。
021.png
# M, M* i+ Y9 n8 @) u7 p- M2 v) S
/ _( J, J+ E1 C
为什么？你可能会猜可能Do的循环很慢，或者所有这些任务缓存都需要时间，或者可能第一次执行的时候有什么东西出了问题，但是实际的原因很难预料到。Time有一个很聪明的二元分离的小技巧，可以在当你有大量整数参数的情况下使用，即将循环将参数分成两个更小的乘积(1*2*…*32767)*(32768*…*65536)，而不是把这个参数从第一个用到最后一个。当然要做的乘法数量还是一样，但是不会再包括数值非常大的整数，所以平均来说，运算的速度会更快。在Mathematica中有很多这样隐藏的小魔法，而且每次新版本发布都会有更多的小技巧加入。% X3 p( d: |6 ^% _
当然最好的方法还是使用内置函数（又说到诀窍3了）：

/ L' u- _! Q( A7 k' V7 t- P 022.png " G+ D" s: R# |$ ]
Mathematica可以做非常高级的计算，而且有强大的功能和极高的精确性，但是这两者并不总能兼得。我希望这些诀窍可以在快速编程、快速执行和精确结果的冲突诉求中对你有些许帮助。
, f+ Q5 C3 G  J6 J4 C
8 p& l% y4 n1 y' A( x) {/ Y, {
1 r: S2 y7 f3 o5 T6 r# A4 F0 W光学软件供应      软件定制开发光学软件培训      光学解决方案光学仪器设备      光学镜头设计科学计算软件      机械设计软件高校辅助教学方案    BSDF测量衍射光学元件设计开发-------------------------------- r8 H: m. o% E- V- B% B
电话：19926678573邮箱：ada@asdoptics.com网址：www.asdoptics.com
2 I# E5 o7 W. m9 u  {. s" N0 Q- L( E  x1 |" [1 z: {4 h. `
+ Z0 u( ^6 g( _  f3 z; W

008.png (19.59 KB, 下载次数: 1391)

008.png

07.jpg (15.98 KB, 下载次数: 391)

07.jpg

07.jpg (15.98 KB, 下载次数: 375)

07.jpg

007.png (116.25 KB, 下载次数: 444)

007.png

05.jpg (15.61 KB, 下载次数: 375)

05.jpg

作者: 去嗨嗨嗨嗨嗨    时间: 2020-3-16 17:57
大神好厉害啊！
3 X- j- o* s) L5 G& `' I



欢迎光临 数学建模社区-数学中国 (http://www.madio.net/) Powered by Discuz! X2.5