数学建模社区-数学中国

标题: 与大稀疏矩阵的计算有关的内存错误问题 [打印本页]

---

作者: ℡oメ心情浪子o    时间: 2013-10-1 20:02
标题: 与大稀疏矩阵的计算有关的内存错误问题
    从文件导入数据建立一个大于10000*5000的稀疏矩阵，然后用corrcoef()计算相关系数时，刚开始就不能跑起来，直接显示 out of memort，后来通过开启3G模式之后可以跑起来，但是跑了大概40分分钟之后显示相同的错误，错误信息如下：
0 \$ I% N  z% [& G0 Laaa=corrcoef(B)
Error using  ./
/ Z- D* p& B/ s1 kOut of memory. Type HELP MEMORY for your options.


  S0 y4 o" S8 F3 lError in cov (line 97)
    xy = (xc' * xc) / (m-1);
4 W- M! i2 N  v  w% n
3 o4 b0 _% N% Y
. \/ Z5 V9 m1 J% K( e8 _- t, ZError in corrcoef>correl (line 209)
; \& ]; Y# R. Y1 g' Z& \  A, W1 [r = cov(x);

* K* L& a7 a* I; Z7 P3 O0 L( y
Error in corrcoef (line 92)
   r = correl(x);
怎么破，求大神！

---

作者: madio    时间: 2013-10-3 18:15
这个问题我觉得既然3G模式可以跑起来，说明这个矩阵可以放进去了，但是跑了一段时间出现内存不足，说明中间变量过多了，我建议你不要用这个函数来求相关系数矩阵，毕竟这个相关系数矩阵数学上的算法很明确，你编一个循环程序来计算，每次只调用两个向量，用完了这个空间就被下一组向量占用，这样会省很大的空间。不要只依赖函数

---

作者: madio    时间: 2013-10-3 18:16
转一篇别人写的过于内存溢出问题的文章，里面介绍了一些基本的方法。
MATLAB程序碰到OUT OF MEMORY的问题

matlab程序碰到out of memory的问题真是让人崩溃的一件事情，程序是别人的，不能做大的改动，只能想办法增加内存。别人总结的可用的方法有：

1. 增加虚拟内存：右击我的电脑—属性--高级--性能设置--高级--虚拟内存更改，按自己电脑的硬盘在自定义大小里设置数字，然后再按设置-确定，然后重启。否则更改无效。

对XP，我发现即使增大虚拟内存到4G, matlab可用虚拟内存仍只有2G。仍然out of memory.
% B! F- I0 I* e( ~% ~; G

>> feature('memstats')
% M8 ]' g' X, i/ p- T) Q3 YPhysical Memory (RAM):
. |9 y2 [$ @2 x6 \9 S+ `In Use:                              611 MB (26364000)
! D2 h1 |8 o4 y5 x' l* c! hFree:                               1428 MB (59418000)
8 \* N- A9 ]% J4 V1 |# r0 aTotal:                              2039 MB (7f77c000)
Page File (Swap space):
) e  Z& |$ R) y# S% v. C) o# VIn Use:                              470 MB (1d628000)
# d( m2 M: e! y3 _8 bFree:                               4481 MB (118156000)
2 G% x1 {3 u+ z6 q, u  mTotal:                              4951 MB (13577e000)
Virtual Memory (Address Space):
In Use:                              400 MB (190d3000)
Free:                               1647 MB (66f0d000)
Total:                              2047 MB (7ffe0000)
# c9 Q) w* t9 T* JLargest Contiguous Free Blocks:
1. [at 20017000]                    675 MB (2a3f9000)
% }$ e& Y9 A/ A$ u0 t2. [at 4b033000]                    253 MB ( fd8d000)
1 p/ d; f9 h5 @, L, R! A5 h. i3. [at 18010000]                    127 MB ( 7ff0000)
4. [at 68ff7000]                     64 MB ( 4009000)
+ Q6 g; `  k" i& V# U5. [at 6d7c5000]                     56 MB ( 389b000)
  t: V  I6 ~9 c8 B) g% T8 V6 ]2 B6. [at 62c29000]                     50 MB ( 3207000)
7. [at  d330000]                     44 MB ( 2ca0000)
. F- m( g+ K; k; @" [1 J( F8. [at 663dd000]                     41 MB ( 2983000)
9. [at 60809000]                     36 MB ( 2417000)
( e' D) r6 o/ f  v  r10. [at 5adf7000]                     35 MB ( 2379000)
; D( D* m& O$ ^& h======= ==========
1385 MB (569d4000)

对Vista系统，可能是因为我在第四步设置了命令3GB switche：可用最大虚拟内存是3G

>> feature('memstats')
3 S4 q* j0 _$ z6 F  e4 R; u
+ D' V* P( e; Q- S9 ?+ t: o6 ZPhysical Memory (RAM):
In Use:                             1082 MB (43a3a000)
6 U  A6 C& b! h) ]& A* H. UFree:                               1467 MB (5bb96000)
  r& N' {& Y# e5 ^Total:                              2549 MB (9f5d0000)
Page File (Swap space):
In Use:                             1227 MB (4cbe3000)
Free:                               5315 MB (14c36e000)
Total:                              6543 MB (198f51000)
Virtual Memory (Address Space):
% t- ~/ \- U; B; S0 hIn Use:                              501 MB (1f5bf000)
Free:                               2570 MB (a0a21000)
Total:                              3071 MB (bffe0000)
- ~/ B1 ~- B) H+ b4 m, R& LLargest Contiguous Free Blocks:
3 D- ^$ X: D- }! F1. [at 1b010000]                   1074 MB (432d0000)
2 [# ~4 J% ^& J$ l2 G/ U2. [at 7fff0000]                   1023 MB (3ff9c000)
0 v, B4 }: t6 i) U/ o3. [at 5e302000]                    227 MB ( e32e000)
( \; T- {1 I: P' }+ d* M4. [at 7c41b000]                     50 MB ( 32d5000)
5. [at 6d857000]                     30 MB ( 1e09000)
# ], S( P( b! }- e( g3 `6. [at 6f66b000]                     21 MB ( 1595000)
2 s( ?$ O' L1 h! \/ T/ P5 o7. [at 715c3000]                     20 MB ( 149d000)
8. [at 7a038000]                     18 MB ( 12f8000)
9. [at 739a6000]                     17 MB ( 114a000)
  @  J  o2 e1 H10. [at 70c41000]                      9 MB (  94f000)
======= ==========
2494 MB (9be3b000)

2. 采用PACK： 试了不管用

3 D/ G" K  \+ A4 Y3. 条件允许的话采用64位系统：32位免谈

4. 采用3GB switch： 由于32位 Windows 操作系统的限制，每个进程只能使用最多 2GB 的虚拟内存地址空间，因此 Matlab 的可分配内存也受到相应的限制。Matlab 7.0.1 引进了新的内存管理机制，可以利用 Windows 的 3GB 开关，使用 3GB 开关启动的 Windows 每个进程可以在多分配 1 GB 的虚拟地址空间。我的笔记本是vista系统，台式机是XP系统。

1）对vista系统：Bcdedit 位于X:\Windows\system32\ "X:"为安装Vista的盘符，利用Bcdedit命令，可以自定义你的Vista启动管理项。使用命令: BCDEdit /set increaseuserva 3072 ，DOS界面显示操作成功，注意虚拟内存应设成大于3G，否则内存分配<3G。可在matlab里使用 system_dependent memstats或feature('memstats')命令查询。

2）对XP：右键单击我的电脑--->>属性--->>高级--->>启动和故障修复--->>设置--->>编辑--->>将最后一行multi(0)disk(0)rdisk(0)partition(1)\WINDOWS="Microsoft Windows XP Professional" 复制，在下一行粘贴，并将粘贴一行改为： multi(0)disk(0)rdisk(0)partition(1)\WINDOWS="Microsoft Windows XP Professional with 3GB switche" /3gb --->>存储--->>确定--->>重新启动计算机--->>在显示选择操作系统时，选择带有 3GB switche的一项--->>打开matlab。可是我设置完重启计算机，选择3GB switche的一项时，显示lsass.exe 应用程序错误，无法登陆！看来我的XP系统不支持3GB switche模式登录，因此matlab的可用虚拟内存不会超过2G。

3 s- W. D! J4 N5. 优化程序，减少变量

2 I) U" F# F: N7 ]6. 如果必有必要，不要启动java虚拟机，采用matlab -nojvm启动

3 A) D0 I; H: T6 O3 R1 M7. 关闭Matlab Server

" x$ N) ?- p0 Y/ \% Q, [


9 A2 ~5 w2 {, _- V/ P

---

作者: ℡oメ心情浪子o    时间: 2013-10-7 16:12

madio 发表于 2013-10-3 18:16
转一篇别人写的过于内存溢出问题的文章，里面介绍了一些基本的方法。
MATLAB程序碰到OUT OF MEMORY的问题m ...

2 Y1 q2 S. U3 R9 p+ u0 u) I十分谢谢。。

---

欢迎光临 数学建模社区-数学中国 (http://www.madio.net/)

Powered by Discuz! X2.5