数学建模社区-数学中国

标题: 与大稀疏矩阵的计算有关的内存错误问题 [打印本页]
作者: ℡oメ心情浪子o    时间: 2013-10-1 20:02
标题: 与大稀疏矩阵的计算有关的内存错误问题
    从文件导入数据建立一个大于10000*5000的稀疏矩阵，然后用corrcoef()计算相关系数时，刚开始就不能跑起来，直接显示 out of memort，后来通过开启3G模式之后可以跑起来，但是跑了大概40分分钟之后显示相同的错误，错误信息如下：
$ W/ O1 t: f& }) H- G" G: Y+ O, daaa=corrcoef(B)
$ g2 |% P9 f4 F; V, r( NError using  ./
% }* m* E& R$ {$ ^$ \5 BOut of memory. Type HELP MEMORY for your options.* j6 [6 D4 A5 m6 v: C1 }

. \# Y+ [: K9 k6 ^; a" F/ G! O- L2 d) P
Error in cov (line 97)' R9 }$ t. _) `5 j7 i9 x
    xy = (xc' * xc) / (m-1);' h1 i) B/ }: S& ~# N. c" `
5 Y) n! w, B% [7 ?9 Q3 e9 H
3 I2 Z7 Q% K4 O" y
Error in corrcoef>correl (line 209)
0 Y) G: ]1 N1 `2 O( d4 p1 p- Br = cov(x);7 Y6 s, E% a! O! j& _

: X1 v; a* F5 D+ `4 |" s/ w9 q, v% h; k8 e+ G
Error in corrcoef (line 92): L0 ]! R) y3 ]1 Z. j
   r = correl(x);
; B( W1 |' s8 ^0 v8 a  n/ F- ~怎么破，求大神！
. q+ X2 {0 c: a' E, J" s
作者: madio    时间: 2013-10-3 18:15
这个问题我觉得既然3G模式可以跑起来，说明这个矩阵可以放进去了，但是跑了一段时间出现内存不足，说明中间变量过多了，我建议你不要用这个函数来求相关系数矩阵，毕竟这个相关系数矩阵数学上的算法很明确，你编一个循环程序来计算，每次只调用两个向量，用完了这个空间就被下一组向量占用，这样会省很大的空间。不要只依赖函数
作者: madio    时间: 2013-10-3 18:16
转一篇别人写的过于内存溢出问题的文章，里面介绍了一些基本的方法。* E0 z1 C1 P. m4 Q! g
MATLAB程序碰到OUT OF MEMORY的问题
matlab程序碰到out of memory的问题真是让人崩溃的一件事情，程序是别人的，不能做大的改动，只能想办法增加内存。别人总结的可用的方法有：
1. 增加虚拟内存：右击我的电脑—属性--高级--性能设置--高级--虚拟内存更改，按自己电脑的硬盘在自定义大小里设置数字，然后再按设置-确定，然后重启。否则更改无效。
对XP，我发现即使增大虚拟内存到4G, matlab可用虚拟内存仍只有2G。仍然out of memory.3 r: I2 f  Q/ B  m7 O# h
>> feature('memstats')
1 H9 R" \  k; O4 ?- ?Physical Memory (RAM):: ]7 V, X! q1 m# Z$ a5 S* V
In Use:                              611 MB (26364000)
; O& ^& ~. d- g% {Free:                               1428 MB (59418000)* ], j3 e$ Y; S$ K
Total:                              2039 MB (7f77c000); \4 Y6 B% Q: ^9 I) A  T- D0 i
Page File (Swap space):( a4 X3 v5 {8 P+ }& S0 v3 P. j5 ~! @
In Use:                              470 MB (1d628000)
# E3 M/ |8 x. k: kFree:                               4481 MB (118156000)
. [; R( A3 ^! ~1 q5 W- e2 bTotal:                              4951 MB (13577e000)+ e- a" a- Q& u
Virtual Memory (Address Space):
8 r) e( q0 R+ {+ B5 B4 wIn Use:                              400 MB (190d3000)
  x) z: t/ R7 I% n- l  I& ?1 HFree:                               1647 MB (66f0d000)
4 }7 V( `2 B/ d! P) v3 e: D3 J! qTotal:                              2047 MB (7ffe0000)$ T, B/ k& T: b  Z
Largest Contiguous Free Blocks:7 e9 a& [! s3 K% Z$ c& s$ [6 w
1. [at 20017000]                    675 MB (2a3f9000)
" }' S$ ?: J' u. `# j5 m; |2. [at 4b033000]                    253 MB ( fd8d000)! x& K! w2 U$ p  c# S2 v
3. [at 18010000]                    127 MB ( 7ff0000)- p) v& `' h: c+ s
4. [at 68ff7000]                     64 MB ( 4009000). [, p9 {& ~% N) ~7 i9 E% @
5. [at 6d7c5000]                     56 MB ( 389b000)# }7 ^6 Z( J5 K4 B! l, G& D
6. [at 62c29000]                     50 MB ( 3207000)/ _% s/ b1 X1 B" V* z, C8 v
7. [at  d330000]                     44 MB ( 2ca0000)
8 s% K% j3 f# l6 u% |* u' W% P  h8. [at 663dd000]                     41 MB ( 2983000)
9 X/ b3 Z# k. H' G" m& K9. [at 60809000]                     36 MB ( 2417000)% J% f/ |* Z0 ]' |
10. [at 5adf7000]                     35 MB ( 2379000)9 a% V4 L, ?; k9 {
======= ==========
0 d' u: b7 ~7 I% ]( B1385 MB (569d4000)
对Vista系统，可能是因为我在第四步设置了命令3GB switche：可用最大虚拟内存是3G
>> feature('memstats')
% z4 D7 P+ @6 X  K
1 C+ w. E' M0 s& d9 j0 T9 xPhysical Memory (RAM):8 }& q5 Q' z4 G* x: d# T! l" c. c
In Use:                             1082 MB (43a3a000)" g' a3 ~+ s7 `
Free:                               1467 MB (5bb96000)
' C/ _8 D6 b# L* PTotal:                              2549 MB (9f5d0000)$ H0 n& ^2 J" z7 K3 f" n: m! b4 @
Page File (Swap space):- h3 b4 D& M6 z( h) F1 ^
In Use:                             1227 MB (4cbe3000)
& O& y+ o) Z+ rFree:                               5315 MB (14c36e000)
2 W& R& i. ?- j0 O& tTotal:                              6543 MB (198f51000): ^; V" }3 `- [7 j" f" L+ I' t+ L1 M
Virtual Memory (Address Space):! k/ m$ Q- L2 M# j/ ?
In Use:                              501 MB (1f5bf000)
  {1 X( U; G. O% JFree:                               2570 MB (a0a21000)
* ]  \/ e8 ]2 D: P6 G$ hTotal:                              3071 MB (bffe0000)
) }4 k; R$ r8 O5 V! ?+ oLargest Contiguous Free Blocks:. ~0 O+ U8 ^+ Z
1. [at 1b010000]                   1074 MB (432d0000)" W6 B( q8 d* c! {2 \  c6 c
2. [at 7fff0000]                   1023 MB (3ff9c000)
+ v2 |5 d: Z) Q% _2 M- f" e* d. |6 |3. [at 5e302000]                    227 MB ( e32e000), ?/ R& `! |, ?1 r9 ?( r! Q, v
4. [at 7c41b000]                     50 MB ( 32d5000)- _) [4 H; l7 b  ~& a" c6 s% ~
5. [at 6d857000]                     30 MB ( 1e09000)2 C  d: s6 ^, T, c4 B
6. [at 6f66b000]                     21 MB ( 1595000)+ I% s6 m/ J5 s/ ~
7. [at 715c3000]                     20 MB ( 149d000)5 o/ h: {3 n4 S4 c# F9 @7 e
8. [at 7a038000]                     18 MB ( 12f8000)
" p2 L5 j: K' q. d" r9. [at 739a6000]                     17 MB ( 114a000)1 Q' Z) e' i- M7 @, w% n
10. [at 70c41000]                      9 MB (  94f000)7 S: X, {: _9 U& w- B5 R0 }
======= ==========
3 Z, V9 V. S. f7 W) A2 ?# J2494 MB (9be3b000)
2. 采用PACK： 试了不管用

" V2 y& v5 V; Y- R8 _, d3. 条件允许的话采用64位系统：32位免谈

! P4 _# l: T% L! }4. 采用3GB switch： 由于32位 Windows 操作系统的限制，每个进程只能使用最多 2GB 的虚拟内存地址空间，因此 Matlab 的可分配内存也受到相应的限制。Matlab 7.0.1 引进了新的内存管理机制，可以利用 Windows 的 3GB 开关，使用 3GB 开关启动的 Windows 每个进程可以在多分配 1 GB 的虚拟地址空间。我的笔记本是vista系统，台式机是XP系统。
1）对vista系统：Bcdedit 位于X:\Windows\system32\ "X:"为安装Vista的盘符，利用Bcdedit命令，可以自定义你的Vista启动管理项。使用命令: BCDEdit /set increaseuserva 3072 ，DOS界面显示操作成功，注意虚拟内存应设成大于3G，否则内存分配<3G。可在matlab里使用 system_dependent memstats或feature('memstats')命令查询。
2）对XP：右键单击我的电脑--->>属性--->>高级--->>启动和故障修复--->>设置--->>编辑--->>将最后一行multi(0)disk(0)rdisk(0)partition(1)\WINDOWS="Microsoft Windows XP Professional" 复制，在下一行粘贴，并将粘贴一行改为： multi(0)disk(0)rdisk(0)partition(1)\WINDOWS="Microsoft Windows XP Professional with 3GB switche" /3gb --->>存储--->>确定--->>重新启动计算机--->>在显示选择操作系统时，选择带有 3GB switche的一项--->>打开matlab。可是我设置完重启计算机，选择3GB switche的一项时，显示lsass.exe 应用程序错误，无法登陆！看来我的XP系统不支持3GB switche模式登录，因此matlab的可用虚拟内存不会超过2G。

, H7 Y9 C7 z) ~! N7 x$ Y8 I5. 优化程序，减少变量
3 i/ W4 y2 E% G* K
6. 如果必有必要，不要启动java虚拟机，采用matlab -nojvm启动
+ o5 ~. z$ k/ A5 v1 o
7. 关闭Matlab Server

, {4 p7 r7 t5 X: \- _! r( Q
4 q( l% Q( ]( M9 x& @/ ?
# m4 g; |8 ~7 `
, R" q) ?/ }0 f! h; y- y/ j/ V- ^
作者: ℡oメ心情浪子o    时间: 2013-10-7 16:12
madio 发表于 2013-10-3 18:16 " X$ t; e- r$ A  s. ?2 r( j& R9 O
转一篇别人写的过于内存溢出问题的文章，里面介绍了一些基本的方法。
( ~% i8 b3 y2 |9 \. ]4 SMATLAB程序碰到OUT OF MEMORY的问题m ...

( Y# w2 O' r0 n) T. E( @7 O十分谢谢。。



欢迎光临 数学建模社区-数学中国 (http://www.madio.net/) Powered by Discuz! X2.5