QQ登录

只需要一步,快速开始

 注册地址  找回密码
查看: 3476|回复: 3
打印 上一主题 下一主题

与大稀疏矩阵的计算有关的内存错误问题

[复制链接]
字体大小: 正常 放大

13

主题

18

听众

2618

积分

升级  20.6%

  • TA的每日心情
    奋斗
    2015-4-16 19:40
  • 签到天数: 101 天

    [LV.6]常住居民II

    社区QQ达人

    群组: 2013年美赛优秀论文解

    群组: 2014年美赛冲刺培训

    群组: 物联网工程师培训

    跳转到指定楼层
    1#
    发表于 2013-10-1 20:02 |只看该作者 |倒序浏览
    |招呼Ta 关注Ta
        从文件导入数据建立一个大于10000*5000的稀疏矩阵,然后用corrcoef()计算相关系数时,刚开始就不能跑起来,直接显示 out of memort,后来通过开启3G模式之后可以跑起来,但是跑了大概40分分钟之后显示相同的错误,错误信息如下:
    - b/ E, S. L( ]( ~7 P3 x* }! laaa=corrcoef(B), j$ _, M) p+ g. D$ X
    Error using  ./
    * [0 Y" p/ O8 W( E% \" z. y# gOut of memory. Type HELP MEMORY for your options.
    ( u. ^4 f3 A8 N0 _( }, v$ R$ j4 T5 G1 v6 L, v5 z
    * V# W( b( A; [4 E: M/ H
    Error in cov (line 97)
    + u6 j1 G6 k, C: q* l    xy = (xc' * xc) / (m-1);
    2 d4 A" K* v! l1 c$ L2 }  Z, {
    8 ^( D* |# ?/ o" M/ t
    - b' g! Y8 ~) ?% J5 a
    Error in corrcoef>correl (line 209)
    ( R3 j1 a8 v( Qr = cov(x);
    0 O% I2 `9 P* M% r
    + ]& d6 c% J4 ?
    * a) }7 Q( l( N4 b+ I, X
    Error in corrcoef (line 92)
    ! h  ~% b+ u& j0 k4 C/ i   r = correl(x);
    4 x6 w- X( ?% H3 o, I* F怎么破,求大神!
    $ U& |, p+ o& v# F& F
    zan
    转播转播0 分享淘帖0 分享分享0 收藏收藏0 支持支持0 反对反对0 微信微信
    madio        

    3万

    主题

    1313

    听众

    5万

    积分

  • TA的每日心情
    奋斗
    2024-7-1 22:21
  • 签到天数: 2014 天

    [LV.Master]伴坛终老

    自我介绍
    数学中国站长

    社区QQ达人 邮箱绑定达人 优秀斑竹奖 发帖功臣 风雨历程奖 新人进步奖 最具活力勋章

    群组: 数学建模培训课堂1

    群组: 数学中国美赛辅助报名

    群组: Matlab讨论组

    群组: 2013认证赛A题讨论群组

    群组: 2013认证赛C题讨论群组

    这个问题我觉得既然3G模式可以跑起来,说明这个矩阵可以放进去了,但是跑了一段时间出现内存不足,说明中间变量过多了,我建议你不要用这个函数来求相关系数矩阵,毕竟这个相关系数矩阵数学上的算法很明确,你编一个循环程序来计算,每次只调用两个向量,用完了这个空间就被下一组向量占用,这样会省很大的空间。不要只依赖函数
    数学建模社会化
    回复

    使用道具 举报

    madio        

    3万

    主题

    1313

    听众

    5万

    积分

  • TA的每日心情
    奋斗
    2024-7-1 22:21
  • 签到天数: 2014 天

    [LV.Master]伴坛终老

    自我介绍
    数学中国站长

    社区QQ达人 邮箱绑定达人 优秀斑竹奖 发帖功臣 风雨历程奖 新人进步奖 最具活力勋章

    群组: 数学建模培训课堂1

    群组: 数学中国美赛辅助报名

    群组: Matlab讨论组

    群组: 2013认证赛A题讨论群组

    群组: 2013认证赛C题讨论群组

    转一篇别人写的过于内存溢出问题的文章,里面介绍了一些基本的方法。7 s" |+ h$ k& }' K  D
    MATLAB程序碰到OUT OF MEMORY的问题
    matlab程序碰到out of memory的问题真是让人崩溃的一件事情,程序是别人的,不能做大的改动,只能想办法增加内存。别人总结的可用的方法有:
    1. 增加虚拟内存:右击我的电脑—属性--高级--性能设置--高级--虚拟内存更改,按自己电脑的硬盘在自定义大小里设置数字,然后再按设置-确定,然后重启。否则更改无效。
    对XP,我发现即使增大虚拟内存到4G, matlab可用虚拟内存仍只有2G。仍然out of memory.
    7 k  B: |" f, l) {8 E9 H6 s" L$ v
    >> feature('memstats')
    3 B1 o. j4 Y+ u+ Y7 ^4 ^1 ?Physical Memory (RAM):
    # T: c/ w* w6 q- j0 fIn Use:                              611 MB (26364000)
    5 A$ x. f2 H. M2 {$ YFree:                               1428 MB (59418000)
    ! V! W: {4 ~6 j- y% g" k8 vTotal:                              2039 MB (7f77c000)8 V1 d7 u, E1 V& ~9 J$ E1 O
    Page File (Swap space):8 J( h( C, @  m2 @
    In Use:                              470 MB (1d628000)
    & ~# J/ @% r  w; kFree:                               4481 MB (118156000)3 T( Q. e+ c: }' r* p$ f7 Y
    Total:                              4951 MB (13577e000): d: m- H9 E0 N  T1 ?* c
    Virtual Memory (Address Space):* n6 ?8 Y( q! o
    In Use:                              400 MB (190d3000)
    ! s4 P; b$ [2 gFree:                               1647 MB (66f0d000)6 ?+ h4 V! O- y2 f, ~1 o5 c" E" |" S
    Total:                              2047 MB (7ffe0000)
    8 D) E" q2 i( QLargest Contiguous Free Blocks:( G# c$ B" v9 J* J' K
    1. [at 20017000]                    675 MB (2a3f9000)
    ' c$ E% E+ Q1 g2. [at 4b033000]                    253 MB ( fd8d000)
    8 l* d4 L. b+ M: |3. [at 18010000]                    127 MB ( 7ff0000); i5 w3 g) ?6 h8 L; k
    4. [at 68ff7000]                     64 MB ( 4009000)
    $ [! }3 d' Y5 e0 L' D1 n5. [at 6d7c5000]                     56 MB ( 389b000)2 R8 R, P, E# s% }& B; K" X6 m
    6. [at 62c29000]                     50 MB ( 3207000)2 D3 L/ R3 B7 }) O# F1 _
    7. [at  d330000]                     44 MB ( 2ca0000)
    # t& N/ o5 ?: i9 q4 h% ]8. [at 663dd000]                     41 MB ( 2983000)" q1 l  l; j8 _; j$ \: J! M& @0 B
    9. [at 60809000]                     36 MB ( 2417000)( _7 B1 X. Z2 f0 [0 C
    10. [at 5adf7000]                     35 MB ( 2379000)
    8 Y- p  s4 [9 P# J7 z======= ==========
    6 [" I+ j+ H1 k+ L& f- [% p3 r1385 MB (569d4000)
    对Vista系统,可能是因为我在第四步设置了命令3GB switche:可用最大虚拟内存是3G
    >> feature('memstats')
      e! y) f1 Z) P( B- ^6 w, m2 ?/ H) `+ f9 S: I3 k# q% F: h
    Physical Memory (RAM):
    9 }% k  x4 K. n. u1 a; g5 \In Use:                             1082 MB (43a3a000)
    . W  i9 Y' d; Z! ~0 E* IFree:                               1467 MB (5bb96000); E: B) p" }. O! W+ R) \8 B8 K
    Total:                              2549 MB (9f5d0000)
    8 j) x* D; ?; Q  J7 L$ R" cPage File (Swap space):, }6 f3 _7 x! K7 J( H
    In Use:                             1227 MB (4cbe3000)
    * ]3 R  ~' a$ _' AFree:                               5315 MB (14c36e000)
    + T" s6 D  U, \4 UTotal:                              6543 MB (198f51000)! k. u0 |2 `  E- m* m$ m9 ?7 Z& d
    Virtual Memory (Address Space):
    & S7 V  m1 q1 E: a2 aIn Use:                              501 MB (1f5bf000); t1 s# H4 R# |9 S
    Free:                               2570 MB (a0a21000)
    + d1 d; b6 K) D& s- ~) O1 j( ATotal:                              3071 MB (bffe0000)
    6 F2 C- [( d( b" T0 WLargest Contiguous Free Blocks:0 F; u. I; y. e, |& L% }* N0 L- H
    1. [at 1b010000]                   1074 MB (432d0000)
    % H6 ]4 {2 y# F& z7 H2. [at 7fff0000]                   1023 MB (3ff9c000)
      M. d* M& E* O- T9 c0 a3. [at 5e302000]                    227 MB ( e32e000)
    ) A% Q& Z1 ]5 M# X# C4. [at 7c41b000]                     50 MB ( 32d5000)
    ' @, p* G6 d6 }: Q( `+ H  t5. [at 6d857000]                     30 MB ( 1e09000)
    ) V& U" @0 ^2 U. d: D0 N5 x6. [at 6f66b000]                     21 MB ( 1595000)
    + Z+ _9 M& I9 d8 z% N3 ^- n1 p7 Q7. [at 715c3000]                     20 MB ( 149d000)
    % X+ t2 T( _0 P* x+ w# \2 s8. [at 7a038000]                     18 MB ( 12f8000)% s/ r& z. c9 t& \* m+ s  q7 T. m
    9. [at 739a6000]                     17 MB ( 114a000)3 p7 {4 M) z  S- v' {  E
    10. [at 70c41000]                      9 MB (  94f000)& ]8 y$ n+ w3 e5 g
    ======= ==========$ B3 X% s' |( g8 }+ q
    2494 MB (9be3b000)
    2. 采用PACK: 试了不管用

    9 j% F- O. E- A7 q3. 条件允许的话采用64位系统:32位免谈
    ; N$ d2 r( L* i0 g( {# }
    4. 采用3GB switch: 由于32位 Windows 操作系统的限制,每个进程只能使用最多 2GB 的虚拟内存地址空间,因此 Matlab 的可分配内存也受到相应的限制。Matlab 7.0.1 引进了新的内存管理机制,可以利用 Windows 的 3GB 开关,使用 3GB 开关启动的 Windows 每个进程可以在多分配 1 GB 的虚拟地址空间。我的笔记本是vista系统,台式机是XP系统。
    1)对vista系统:Bcdedit 位于X:\Windows\system32\ "X:"为安装Vista的盘符,利用Bcdedit命令,可以自定义你的Vista启动管理项。使用命令: BCDEdit /set increaseuserva 3072 ,DOS界面显示操作成功,注意虚拟内存应设成大于3G,否则内存分配<3G。可在matlab里使用 system_dependent memstats或feature('memstats')命令查询。
    2)对XP:右键单击我的电脑--->>属性--->>高级--->>启动和故障修复--->>设置--->>编辑--->>将最后一行multi(0)disk(0)rdisk(0)partition(1)\WINDOWS="Microsoft Windows XP Professional" 复制,在下一行粘贴,并将粘贴一行改为: multi(0)disk(0)rdisk(0)partition(1)\WINDOWS="Microsoft Windows XP Professional with 3GB switche" /3gb --->>存储--->>确定--->>重新启动计算机--->>在显示选择操作系统时,选择带有 3GB switche的一项--->>打开matlab。可是我设置完重启计算机,选择3GB switche的一项时,显示lsass.exe 应用程序错误,无法登陆!看来我的XP系统不支持3GB switche模式登录,因此matlab的可用虚拟内存不会超过2G。

    ; Z5 M2 X) W! y5. 优化程序,减少变量

    ; G3 J9 K. I2 K4 G! p9 Z% Y3 y6. 如果必有必要,不要启动java虚拟机,采用matlab -nojvm启动
    6 q0 g  {; {3 \9 J
    7. 关闭Matlab Server

    & N- Q6 @  Q6 z( }& n" x' h; F. A6 J3 n0 Q$ S" r7 \2 ?
    ( X$ b# L6 i$ F4 c  y, I
    1 W6 j( @2 F; u" X1 Q

    点评

    ℡oメ心情浪子o  十分谢谢。。  详情 回复 发表于 2013-10-7 16:12
    数学建模社会化
    回复

    使用道具 举报

    13

    主题

    18

    听众

    2618

    积分

    升级  20.6%

  • TA的每日心情
    奋斗
    2015-4-16 19:40
  • 签到天数: 101 天

    [LV.6]常住居民II

    社区QQ达人

    群组: 2013年美赛优秀论文解

    群组: 2014年美赛冲刺培训

    群组: 物联网工程师培训

    madio 发表于 2013-10-3 18:16
    : f( e$ A1 h4 ^转一篇别人写的过于内存溢出问题的文章,里面介绍了一些基本的方法。
    ' E' l% F% {; z6 G% _5 K1 w1 R1 QMATLAB程序碰到OUT OF MEMORY的问题m ...

    + ~: e6 B+ A" N+ G% S; g+ }1 f, [十分谢谢。。
    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 注册地址

    fastpost qq
    收缩
    • 电话咨询

    • 04714969085

    关于我们| 联系我们| 诚征英才| 对外合作| 产品服务| QQ

    手机版|Archiver| |繁體中文 手机客户端  

    蒙公网安备 15010502000194号

    Powered by Discuz! X2.5   © 2001-2013 数学建模网-数学中国 ( 蒙ICP备14002410号-3 蒙BBS备-0002号 )     论坛法律顾问:王兆丰

    GMT+8, 2026-11-23 06:06 , Processed in 0.524412 second(s), 67 queries .

    回顶部