QQ登录

只需要一步,快速开始

 注册地址  找回密码
查看: 3164|回复: 3
打印 上一主题 下一主题

与大稀疏矩阵的计算有关的内存错误问题

[复制链接]
字体大小: 正常 放大

13

主题

18

听众

2618

积分

升级  20.6%

  • TA的每日心情
    奋斗
    2015-4-16 19:40
  • 签到天数: 101 天

    [LV.6]常住居民II

    社区QQ达人

    群组2013年美赛优秀论文解

    群组2014年美赛冲刺培训

    群组物联网工程师培训

    跳转到指定楼层
    1#
    发表于 2013-10-1 20:02 |只看该作者 |倒序浏览
    |招呼Ta 关注Ta
        从文件导入数据建立一个大于10000*5000的稀疏矩阵,然后用corrcoef()计算相关系数时,刚开始就不能跑起来,直接显示 out of memort,后来通过开启3G模式之后可以跑起来,但是跑了大概40分分钟之后显示相同的错误,错误信息如下:
    1 i/ `7 C& k$ X( _: faaa=corrcoef(B)9 z; |  u' L; ?9 C& B" J
    Error using  ./ + ^4 d7 u& c3 ~/ p
    Out of memory. Type HELP MEMORY for your options.
    . G! C* F& i) r$ @% b0 d. j
    7 z" e( X* g" v

    0 h+ a* x8 R2 f; }8 a: @( vError in cov (line 97)- o; }& ?2 M' Z
        xy = (xc' * xc) / (m-1);
    ) c" M) q- o4 r+ y: Y
    , _" B) F4 A7 Z1 J0 t5 E6 T
    5 n* U( L) o7 d& i
    Error in corrcoef>correl (line 209)
    1 }2 K5 j, m4 y+ F3 d% Fr = cov(x);7 K7 u+ I1 ~4 |  i" G' y

    * _4 r. |5 x, K. b4 v7 ~; h4 g

    3 I% ]+ o7 U2 G0 m: V/ ]Error in corrcoef (line 92)( O) V1 v6 f/ I, R6 @
       r = correl(x);0 q% Z; r# X0 _
    怎么破,求大神!! f, a+ t5 G- ]& k
    zan
    转播转播0 分享淘帖0 分享分享0 收藏收藏0 支持支持0 反对反对0 微信微信
    madio        

    3万

    主题

    1312

    听众

    5万

    积分

  • TA的每日心情
    奋斗
    2024-7-1 22:21
  • 签到天数: 2014 天

    [LV.Master]伴坛终老

    自我介绍
    数学中国站长

    社区QQ达人 邮箱绑定达人 优秀斑竹奖 发帖功臣 风雨历程奖 新人进步奖 最具活力勋章

    群组数学建模培训课堂1

    群组数学中国美赛辅助报名

    群组Matlab讨论组

    群组2013认证赛A题讨论群组

    群组2013认证赛C题讨论群组

    这个问题我觉得既然3G模式可以跑起来,说明这个矩阵可以放进去了,但是跑了一段时间出现内存不足,说明中间变量过多了,我建议你不要用这个函数来求相关系数矩阵,毕竟这个相关系数矩阵数学上的算法很明确,你编一个循环程序来计算,每次只调用两个向量,用完了这个空间就被下一组向量占用,这样会省很大的空间。不要只依赖函数
    数学建模社会化
    回复

    使用道具 举报

    madio        

    3万

    主题

    1312

    听众

    5万

    积分

  • TA的每日心情
    奋斗
    2024-7-1 22:21
  • 签到天数: 2014 天

    [LV.Master]伴坛终老

    自我介绍
    数学中国站长

    社区QQ达人 邮箱绑定达人 优秀斑竹奖 发帖功臣 风雨历程奖 新人进步奖 最具活力勋章

    群组数学建模培训课堂1

    群组数学中国美赛辅助报名

    群组Matlab讨论组

    群组2013认证赛A题讨论群组

    群组2013认证赛C题讨论群组

    转一篇别人写的过于内存溢出问题的文章,里面介绍了一些基本的方法。
    + B$ u) ^& }$ T& KMATLAB程序碰到OUT OF MEMORY的问题
    matlab程序碰到out of memory的问题真是让人崩溃的一件事情,程序是别人的,不能做大的改动,只能想办法增加内存。别人总结的可用的方法有:
    1. 增加虚拟内存:右击我的电脑—属性--高级--性能设置--高级--虚拟内存更改,按自己电脑的硬盘在自定义大小里设置数字,然后再按设置-确定,然后重启。否则更改无效。
    对XP,我发现即使增大虚拟内存到4G, matlab可用虚拟内存仍只有2G。仍然out of memory.: w6 j/ P8 _, b8 P4 v/ l
    >> feature('memstats')
    $ b1 p+ A  l. ^0 `& v. EPhysical Memory (RAM):
    2 ~2 B0 S- x1 R$ ?8 k, M4 j* MIn Use:                              611 MB (26364000)
    9 S; ?4 H$ P% X# nFree:                               1428 MB (59418000)
    & _" f2 t5 P: S; iTotal:                              2039 MB (7f77c000)
    : ^. \$ s" T! V5 Q0 m! D8 b$ JPage File (Swap space):* f. j; l4 n4 R% Q
    In Use:                              470 MB (1d628000)  s6 l9 r3 g# d' m5 [, X$ y$ G
    Free:                               4481 MB (118156000)
    3 z- e& d1 A8 {: {# f! \Total:                              4951 MB (13577e000)) N) k' I6 D8 p7 [8 Y/ T! j
    Virtual Memory (Address Space):
    ; c" S6 i( R; p/ R1 n3 U' F" x: k! {In Use:                              400 MB (190d3000)# x* z5 E& I* L2 h1 v2 M
    Free:                               1647 MB (66f0d000)* x: R+ s7 o5 {$ B# |) H
    Total:                              2047 MB (7ffe0000)2 }# o3 d) R( h- V1 v5 Q
    Largest Contiguous Free Blocks:& j  `1 Y0 [. s" H' e3 ^8 H
    1. [at 20017000]                    675 MB (2a3f9000)  L( z, L. `/ q9 H
    2. [at 4b033000]                    253 MB ( fd8d000)5 t% P6 }: l( [2 E- @9 Z4 `
    3. [at 18010000]                    127 MB ( 7ff0000)/ B5 l' @2 u' x) B5 M
    4. [at 68ff7000]                     64 MB ( 4009000)
    ) s! b2 [) j0 c4 w! j! H6 ^5. [at 6d7c5000]                     56 MB ( 389b000)4 {! N# s$ w/ D! Z7 i7 v
    6. [at 62c29000]                     50 MB ( 3207000)
    1 g4 z: y5 i- l. c7. [at  d330000]                     44 MB ( 2ca0000)
    ; S6 o7 l6 F* ]# d/ n' F8 r# I8. [at 663dd000]                     41 MB ( 2983000)( y$ F6 l# w& n3 [% g; t2 S" t( M
    9. [at 60809000]                     36 MB ( 2417000)0 A; \% N2 e7 \% I3 e) N$ G# ^% v/ s
    10. [at 5adf7000]                     35 MB ( 2379000)
    ) \, q+ w# F0 U: F6 W======= ==========
    . z+ K  K, F9 @7 K6 o, A9 M$ {% P' \1385 MB (569d4000)
    对Vista系统,可能是因为我在第四步设置了命令3GB switche:可用最大虚拟内存是3G
    >> feature('memstats')& U  o4 b! }( J# N

    $ Z1 x+ i% l6 h! xPhysical Memory (RAM):
    0 a1 E( ]" O7 A8 JIn Use:                             1082 MB (43a3a000)" E& k: s+ r' m: L6 t4 z
    Free:                               1467 MB (5bb96000)
    - f1 ]9 X# V2 ]: e' @0 |Total:                              2549 MB (9f5d0000)
    3 L& l/ _' _; j6 ~Page File (Swap space):8 R) F) p& T( r0 r
    In Use:                             1227 MB (4cbe3000)4 I5 k# \- A2 r( G* ?
    Free:                               5315 MB (14c36e000)  d) }& K8 M* o
    Total:                              6543 MB (198f51000)$ K& ]1 X8 q+ p9 g: D8 }* \& l) w
    Virtual Memory (Address Space):) k1 V9 b  [) N; c" E5 V* ?& |
    In Use:                              501 MB (1f5bf000)
    5 q8 x' Z& m4 oFree:                               2570 MB (a0a21000)
    " K/ L$ J, }- e2 H: l3 P5 f; NTotal:                              3071 MB (bffe0000)1 h  z: f7 ]! @6 m% F/ t: D
    Largest Contiguous Free Blocks:
    6 B! M0 K$ _& f6 C- g$ p' A( T1. [at 1b010000]                   1074 MB (432d0000)
    : o6 |9 d5 R$ x  b2. [at 7fff0000]                   1023 MB (3ff9c000); p: [. e4 M2 ~: A# R0 W1 |8 V
    3. [at 5e302000]                    227 MB ( e32e000)
    + x4 J% V& _/ s. p# `8 W4. [at 7c41b000]                     50 MB ( 32d5000)
    0 I; p& c: {1 I4 `5. [at 6d857000]                     30 MB ( 1e09000)
    # r3 E, r# l$ {7 S- X  G) E6. [at 6f66b000]                     21 MB ( 1595000)& g7 X( g& ^2 ?9 I$ g
    7. [at 715c3000]                     20 MB ( 149d000)
    ! r% v+ ]' t/ ~$ b0 q; q) u8. [at 7a038000]                     18 MB ( 12f8000)$ _. u1 Y0 x9 ]
    9. [at 739a6000]                     17 MB ( 114a000)* q/ P( f) j: c* t3 z
    10. [at 70c41000]                      9 MB (  94f000)
    6 J- K, H( n$ _2 h0 c======= ==========
    - l0 \+ b  u3 G, ?$ k( g) A2494 MB (9be3b000)
    2. 采用PACK: 试了不管用
    % S* G/ m9 g$ H/ }9 Q1 G
    3. 条件允许的话采用64位系统:32位免谈
    # V* j9 X6 {) n8 B+ C. {
    4. 采用3GB switch: 由于32位 Windows 操作系统的限制,每个进程只能使用最多 2GB 的虚拟内存地址空间,因此 Matlab 的可分配内存也受到相应的限制。Matlab 7.0.1 引进了新的内存管理机制,可以利用 Windows 的 3GB 开关,使用 3GB 开关启动的 Windows 每个进程可以在多分配 1 GB 的虚拟地址空间。我的笔记本是vista系统,台式机是XP系统。
    1)对vista系统:Bcdedit 位于X:\Windows\system32\ "X:"为安装Vista的盘符,利用Bcdedit命令,可以自定义你的Vista启动管理项。使用命令: BCDEdit /set increaseuserva 3072 ,DOS界面显示操作成功,注意虚拟内存应设成大于3G,否则内存分配<3G。可在matlab里使用 system_dependent memstats或feature('memstats')命令查询。
    2)对XP:右键单击我的电脑--->>属性--->>高级--->>启动和故障修复--->>设置--->>编辑--->>将最后一行multi(0)disk(0)rdisk(0)partition(1)\WINDOWS="Microsoft Windows XP Professional" 复制,在下一行粘贴,并将粘贴一行改为: multi(0)disk(0)rdisk(0)partition(1)\WINDOWS="Microsoft Windows XP Professional with 3GB switche" /3gb --->>存储--->>确定--->>重新启动计算机--->>在显示选择操作系统时,选择带有 3GB switche的一项--->>打开matlab。可是我设置完重启计算机,选择3GB switche的一项时,显示lsass.exe 应用程序错误,无法登陆!看来我的XP系统不支持3GB switche模式登录,因此matlab的可用虚拟内存不会超过2G。

    3 k( s: S# Q0 b6 j5. 优化程序,减少变量

    8 ]. b$ K* ]+ |% x% `/ z6 L& n6 [6. 如果必有必要,不要启动java虚拟机,采用matlab -nojvm启动

    + n- t7 q2 c, c. w) x/ x5 d! h* B7. 关闭Matlab Server
    & z3 T1 u9 e6 T' s2 w8 J* `0 ]

    ' T1 f! Y" _  @, `) }7 T# j3 g
    - j' H, E+ E9 l( s  _& m4 I
    + x  G7 T; r3 A

    点评

    ℡oメ心情浪子o  十分谢谢。。  详情 回复 发表于 2013-10-7 16:12
    数学建模社会化
    回复

    使用道具 举报

    13

    主题

    18

    听众

    2618

    积分

    升级  20.6%

  • TA的每日心情
    奋斗
    2015-4-16 19:40
  • 签到天数: 101 天

    [LV.6]常住居民II

    社区QQ达人

    群组2013年美赛优秀论文解

    群组2014年美赛冲刺培训

    群组物联网工程师培训

    madio 发表于 2013-10-3 18:16 3 Q2 m- D! D3 y! J/ F& c
    转一篇别人写的过于内存溢出问题的文章,里面介绍了一些基本的方法。: @0 a# I" \1 [1 s1 b
    MATLAB程序碰到OUT OF MEMORY的问题m ...
    ! X- O$ V! U: |& C( e% m
    十分谢谢。。
    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 注册地址

    qq
    收缩
    • 电话咨询

    • 04714969085
    fastpost

    关于我们| 联系我们| 诚征英才| 对外合作| 产品服务| QQ

    手机版|Archiver| |繁體中文 手机客户端  

    蒙公网安备 15010502000194号

    Powered by Discuz! X2.5   © 2001-2013 数学建模网-数学中国 ( 蒙ICP备14002410号-3 蒙BBS备-0002号 )     论坛法律顾问:王兆丰

    GMT+8, 2026-4-10 12:25 , Processed in 0.818590 second(s), 67 queries .

    回顶部