数学建模社区-数学中国

标题: 与大稀疏矩阵的计算有关的内存错误问题 [打印本页]
作者: ℡oメ心情浪子o    时间: 2013-10-1 20:02
标题: 与大稀疏矩阵的计算有关的内存错误问题
    从文件导入数据建立一个大于10000*5000的稀疏矩阵，然后用corrcoef()计算相关系数时，刚开始就不能跑起来，直接显示 out of memort，后来通过开启3G模式之后可以跑起来，但是跑了大概40分分钟之后显示相同的错误，错误信息如下：
4 A. `1 E7 b) i: }1 Q7 q; `aaa=corrcoef(B)
& j% @9 `  l+ D' K0 cError using  ./
& B8 [* Y' C& s8 {Out of memory. Type HELP MEMORY for your options.1 j7 }" n* v7 g: {: M7 |9 @; O" S
  @8 w7 @9 J9 @- K2 {% i

# l# ]( ]* b' H7 h2 UError in cov (line 97)
2 s7 H9 y! P' [    xy = (xc' * xc) / (m-1);; D' r  \* O0 ~

% o/ s. Q; @  o/ R( ~$ j
4 f. t! ^% ~" w. w' T, }* J* V* Y* yError in corrcoef>correl (line 209)2 `( y  [  l$ `0 \( ^* P# M
r = cov(x);
5 _5 }+ W3 Y5 I- P$ U2 h5 r2 w9 q6 Y" \  Q! f! m
" [! J' T+ D+ P) }$ f* I2 @5 B
Error in corrcoef (line 92)& L8 ?% b& d  _* i
   r = correl(x);+ ~0 R! P  g6 u
怎么破，求大神！8 z- `: s: h0 o4 X9 e1 m3 F4 u, Z0 M
作者: madio    时间: 2013-10-3 18:15
这个问题我觉得既然3G模式可以跑起来，说明这个矩阵可以放进去了，但是跑了一段时间出现内存不足，说明中间变量过多了，我建议你不要用这个函数来求相关系数矩阵，毕竟这个相关系数矩阵数学上的算法很明确，你编一个循环程序来计算，每次只调用两个向量，用完了这个空间就被下一组向量占用，这样会省很大的空间。不要只依赖函数
作者: madio    时间: 2013-10-3 18:16
转一篇别人写的过于内存溢出问题的文章，里面介绍了一些基本的方法。
/ F0 k7 R- Q% IMATLAB程序碰到OUT OF MEMORY的问题
matlab程序碰到out of memory的问题真是让人崩溃的一件事情，程序是别人的，不能做大的改动，只能想办法增加内存。别人总结的可用的方法有：
1. 增加虚拟内存：右击我的电脑—属性--高级--性能设置--高级--虚拟内存更改，按自己电脑的硬盘在自定义大小里设置数字，然后再按设置-确定，然后重启。否则更改无效。
对XP，我发现即使增大虚拟内存到4G, matlab可用虚拟内存仍只有2G。仍然out of memory.
, P$ l# F3 ]- Y- L6 c. t9 o( s0 @
>> feature('memstats')! m2 g; O" d9 ]" k- b" B/ _
Physical Memory (RAM):
, M$ W/ N' m2 h4 u, j5 gIn Use:                              611 MB (26364000)% {! \* O, q; d; C
Free:                               1428 MB (59418000)" Y/ {' D$ w/ b  Y
Total:                              2039 MB (7f77c000)7 i# i' R& P0 P/ `6 M2 i- X
Page File (Swap space):
) J% e8 w- h0 R* SIn Use:                              470 MB (1d628000)
- t' z& a* o# wFree:                               4481 MB (118156000)0 j8 D- l  h& }* U8 X  |
Total:                              4951 MB (13577e000)
* P, s$ U8 Q. I7 QVirtual Memory (Address Space):
( z  N) R$ j* X5 h8 o& P$ iIn Use:                              400 MB (190d3000)- M: R: h3 I2 r! f* Z
Free:                               1647 MB (66f0d000)
6 O% D% J+ R* m1 S2 ?Total:                              2047 MB (7ffe0000)
! A  @5 ~  ^$ M; _* v; aLargest Contiguous Free Blocks:
7 v* Q; v3 @+ a) ]8 X1. [at 20017000]                    675 MB (2a3f9000)* n: Z% m7 W, w* F* ]& ^( i
2. [at 4b033000]                    253 MB ( fd8d000)1 U& O! y$ E- Z( r. |8 k* g
3. [at 18010000]                    127 MB ( 7ff0000)
3 t- N1 \' s9 n0 p. t( g3 j4. [at 68ff7000]                     64 MB ( 4009000)! ^4 ^6 j* y4 M# i
5. [at 6d7c5000]                     56 MB ( 389b000)5 P7 F  j4 X% j" m+ W' d
6. [at 62c29000]                     50 MB ( 3207000)2 p& T' O$ n6 K$ H$ e1 I4 j4 g
7. [at  d330000]                     44 MB ( 2ca0000)
8 u+ |  J1 [: @6 C* u# \8. [at 663dd000]                     41 MB ( 2983000)
3 J9 u  H" B0 |3 L" X3 {& z9. [at 60809000]                     36 MB ( 2417000)0 a; e; N/ g! ^: f2 \
10. [at 5adf7000]                     35 MB ( 2379000)
6 `& P' V# i% S- L% p' e+ H6 w+ S======= ==========- K  i+ N! C- F& ^, y
1385 MB (569d4000)
对Vista系统，可能是因为我在第四步设置了命令3GB switche：可用最大虚拟内存是3G
>> feature('memstats')
" y& Z' ?5 Q& R& s3 R5 F' i
9 H# f! E5 b0 f9 ]3 F/ WPhysical Memory (RAM):
  ~# L1 l* `6 ]: S6 ~3 ]In Use:                             1082 MB (43a3a000)# ?* @& V" ]) a
Free:                               1467 MB (5bb96000)( n1 b% ^& q1 |; ?2 [
Total:                              2549 MB (9f5d0000)0 P8 X6 @$ ?; T
Page File (Swap space):
3 E2 I- H" _, @" Y! P/ tIn Use:                             1227 MB (4cbe3000)
, L( t& f" I* @5 lFree:                               5315 MB (14c36e000)7 [  _' B* L" S: E$ F4 f
Total:                              6543 MB (198f51000)) v. Z& r: u. _! j$ r" Y
Virtual Memory (Address Space):2 v: Z0 r" ~$ Q* G, m* ^
In Use:                              501 MB (1f5bf000), w* w# d  l1 G
Free:                               2570 MB (a0a21000)
$ Q" m' g3 L9 h6 ^Total:                              3071 MB (bffe0000)
- `9 P" j& \8 Y( ]. mLargest Contiguous Free Blocks:
' |% E" F( }8 I7 u1. [at 1b010000]                   1074 MB (432d0000)
( F1 h- V9 u5 D) R$ k2. [at 7fff0000]                   1023 MB (3ff9c000)
0 m: Q% l! `+ U2 @( ?3. [at 5e302000]                    227 MB ( e32e000)
( z/ d- M; _5 A6 s2 n$ u4. [at 7c41b000]                     50 MB ( 32d5000)4 q8 t0 G$ x4 v- ]& M
5. [at 6d857000]                     30 MB ( 1e09000)8 C8 }% f0 w# a6 k
6. [at 6f66b000]                     21 MB ( 1595000)
# @* k, D6 g& P! F2 K" w5 l7. [at 715c3000]                     20 MB ( 149d000)
1 n. l! v% |) g8 N8. [at 7a038000]                     18 MB ( 12f8000)/ B, E% Q6 q( N" l" u
9. [at 739a6000]                     17 MB ( 114a000)
* p1 |& V( O$ W0 P. I6 J! B; c10. [at 70c41000]                      9 MB (  94f000)
: P6 Q" p, O; Y4 T! l" s/ P======= ==========
( f3 h+ z( D! H% r& N2494 MB (9be3b000)
2. 采用PACK： 试了不管用
6 f" V+ S5 p! t7 z* z" ]: I
3. 条件允许的话采用64位系统：32位免谈

$ e; w& H* l; E( `# b4. 采用3GB switch： 由于32位 Windows 操作系统的限制，每个进程只能使用最多 2GB 的虚拟内存地址空间，因此 Matlab 的可分配内存也受到相应的限制。Matlab 7.0.1 引进了新的内存管理机制，可以利用 Windows 的 3GB 开关，使用 3GB 开关启动的 Windows 每个进程可以在多分配 1 GB 的虚拟地址空间。我的笔记本是vista系统，台式机是XP系统。
1）对vista系统：Bcdedit 位于X:\Windows\system32\ "X:"为安装Vista的盘符，利用Bcdedit命令，可以自定义你的Vista启动管理项。使用命令: BCDEdit /set increaseuserva 3072 ，DOS界面显示操作成功，注意虚拟内存应设成大于3G，否则内存分配<3G。可在matlab里使用 system_dependent memstats或feature('memstats')命令查询。
2）对XP：右键单击我的电脑--->>属性--->>高级--->>启动和故障修复--->>设置--->>编辑--->>将最后一行multi(0)disk(0)rdisk(0)partition(1)\WINDOWS="Microsoft Windows XP Professional" 复制，在下一行粘贴，并将粘贴一行改为： multi(0)disk(0)rdisk(0)partition(1)\WINDOWS="Microsoft Windows XP Professional with 3GB switche" /3gb --->>存储--->>确定--->>重新启动计算机--->>在显示选择操作系统时，选择带有 3GB switche的一项--->>打开matlab。可是我设置完重启计算机，选择3GB switche的一项时，显示lsass.exe 应用程序错误，无法登陆！看来我的XP系统不支持3GB switche模式登录，因此matlab的可用虚拟内存不会超过2G。
; L" n3 I2 e& j9 Y
5. 优化程序，减少变量
" r. H3 P$ ^& j9 |9 Z
6. 如果必有必要，不要启动java虚拟机，采用matlab -nojvm启动

" E7 {: }8 b- \' T; w3 |7. 关闭Matlab Server
: D/ L/ T$ p) I2 v/ r+ G& [( @$ G

! `, Z, ~$ S/ y# |  @( Z- {2 W/ S. q' [3 I+ o

$ r6 p6 f) s8 a3 `' X
作者: ℡oメ心情浪子o    时间: 2013-10-7 16:12
madio 发表于 2013-10-3 18:16 & S0 C( {- E9 ]% G% o' a2 E
转一篇别人写的过于内存溢出问题的文章，里面介绍了一些基本的方法。
2 o7 R, g0 ~$ L8 v8 }% n! sMATLAB程序碰到OUT OF MEMORY的问题m ...

: L9 D3 R+ i, R6 Q! j0 p' e+ x' ~十分谢谢。。



欢迎光临 数学建模社区-数学中国 (http://www.madio.net/) Powered by Discuz! X2.5