QQ登录

只需要一步,快速开始

 注册地址  找回密码
查看: 3168|回复: 3
打印 上一主题 下一主题

与大稀疏矩阵的计算有关的内存错误问题

[复制链接]
字体大小: 正常 放大

13

主题

18

听众

2618

积分

升级  20.6%

  • TA的每日心情
    奋斗
    2015-4-16 19:40
  • 签到天数: 101 天

    [LV.6]常住居民II

    社区QQ达人

    群组2013年美赛优秀论文解

    群组2014年美赛冲刺培训

    群组物联网工程师培训

    跳转到指定楼层
    1#
    发表于 2013-10-1 20:02 |只看该作者 |倒序浏览
    |招呼Ta 关注Ta
        从文件导入数据建立一个大于10000*5000的稀疏矩阵,然后用corrcoef()计算相关系数时,刚开始就不能跑起来,直接显示 out of memort,后来通过开启3G模式之后可以跑起来,但是跑了大概40分分钟之后显示相同的错误,错误信息如下:
    ) E( F9 Y' s: [+ N1 yaaa=corrcoef(B)
    5 d6 g8 t  w; W' P9 N( eError using  ./ . e- |; c. [5 [
    Out of memory. Type HELP MEMORY for your options.
    + {8 G- y  p. W4 b+ f  b; X9 k, {2 @. k% @  Z
    . a4 |+ [9 {8 \. a
    Error in cov (line 97)' a2 Z* \! C, X+ u
        xy = (xc' * xc) / (m-1);; y7 w8 k( U3 r/ ?! H( @; ]" |1 y
    1 Z7 {; F2 {6 m- c
    1 K4 F) R0 A& j# ]. t
    Error in corrcoef>correl (line 209): ^9 N# i- b. N) n9 o- `/ K8 X
    r = cov(x);6 |( @3 @% m: x; c5 Q& n3 X' u/ K

    + Y( W+ M, O+ @

    1 s, A9 W% a6 b  GError in corrcoef (line 92)
    / E. ~7 _- H9 ^0 O3 c   r = correl(x);
    # g% |, V; i2 L4 K怎么破,求大神!) Z6 Y) X' |, {# P
    zan
    转播转播0 分享淘帖0 分享分享0 收藏收藏0 支持支持0 反对反对0 微信微信
    madio        

    3万

    主题

    1312

    听众

    5万

    积分

  • TA的每日心情
    奋斗
    2024-7-1 22:21
  • 签到天数: 2014 天

    [LV.Master]伴坛终老

    自我介绍
    数学中国站长

    社区QQ达人 邮箱绑定达人 优秀斑竹奖 发帖功臣 风雨历程奖 新人进步奖 最具活力勋章

    群组数学建模培训课堂1

    群组数学中国美赛辅助报名

    群组Matlab讨论组

    群组2013认证赛A题讨论群组

    群组2013认证赛C题讨论群组

    这个问题我觉得既然3G模式可以跑起来,说明这个矩阵可以放进去了,但是跑了一段时间出现内存不足,说明中间变量过多了,我建议你不要用这个函数来求相关系数矩阵,毕竟这个相关系数矩阵数学上的算法很明确,你编一个循环程序来计算,每次只调用两个向量,用完了这个空间就被下一组向量占用,这样会省很大的空间。不要只依赖函数
    数学建模社会化
    回复

    使用道具 举报

    madio        

    3万

    主题

    1312

    听众

    5万

    积分

  • TA的每日心情
    奋斗
    2024-7-1 22:21
  • 签到天数: 2014 天

    [LV.Master]伴坛终老

    自我介绍
    数学中国站长

    社区QQ达人 邮箱绑定达人 优秀斑竹奖 发帖功臣 风雨历程奖 新人进步奖 最具活力勋章

    群组数学建模培训课堂1

    群组数学中国美赛辅助报名

    群组Matlab讨论组

    群组2013认证赛A题讨论群组

    群组2013认证赛C题讨论群组

    转一篇别人写的过于内存溢出问题的文章,里面介绍了一些基本的方法。
    " m& Q" r4 W+ a  g9 h, ?7 \" pMATLAB程序碰到OUT OF MEMORY的问题
    matlab程序碰到out of memory的问题真是让人崩溃的一件事情,程序是别人的,不能做大的改动,只能想办法增加内存。别人总结的可用的方法有:
    1. 增加虚拟内存:右击我的电脑—属性--高级--性能设置--高级--虚拟内存更改,按自己电脑的硬盘在自定义大小里设置数字,然后再按设置-确定,然后重启。否则更改无效。
    对XP,我发现即使增大虚拟内存到4G, matlab可用虚拟内存仍只有2G。仍然out of memory.
    6 N2 W+ t- ^' @& [1 @9 o
    >> feature('memstats')
    7 x7 `; Z, B% r' WPhysical Memory (RAM):. T, P' A; @! w( o
    In Use:                              611 MB (26364000)
    $ w8 I5 @' ~3 i  R) n6 ]' EFree:                               1428 MB (59418000)' u" F& ]3 _7 ?
    Total:                              2039 MB (7f77c000)! C3 M+ v5 m2 Q" H- i* v
    Page File (Swap space):3 F! E! d5 M2 F6 }! e) d: z1 D7 e" U
    In Use:                              470 MB (1d628000)
    1 o% W) z% s4 P. T# t, k- ?Free:                               4481 MB (118156000)
      i: S  Y5 N, y. z, N! E+ X- _+ PTotal:                              4951 MB (13577e000)
      r4 C& }0 H' w5 z( t8 V/ RVirtual Memory (Address Space):
    " r0 J- K6 |6 K4 j% t& C9 ?4 rIn Use:                              400 MB (190d3000)! @& n3 l/ ^/ {4 U6 S0 `
    Free:                               1647 MB (66f0d000)! e. z% `: T+ H3 z/ f  v
    Total:                              2047 MB (7ffe0000)* g0 v9 Q- M1 W+ A* i; d
    Largest Contiguous Free Blocks:" X3 w$ Q$ w5 A- D1 n
    1. [at 20017000]                    675 MB (2a3f9000)
    7 w/ C, V4 p& j# k9 y  M2. [at 4b033000]                    253 MB ( fd8d000)
    - O, d7 X3 K. {& _% k2 `: I' A3. [at 18010000]                    127 MB ( 7ff0000); I# N+ {2 D  \
    4. [at 68ff7000]                     64 MB ( 4009000)
    ' E2 d4 C/ o! |0 z7 @4 ?& J1 S5 c5. [at 6d7c5000]                     56 MB ( 389b000)
    1 h/ P7 G: i% O6 g3 U8 @! D6. [at 62c29000]                     50 MB ( 3207000). B+ T4 Y% \2 E+ J0 x- y# E- Z
    7. [at  d330000]                     44 MB ( 2ca0000)/ M9 c( S" c7 {$ f( y) U
    8. [at 663dd000]                     41 MB ( 2983000)$ I% b" }* A# E& w+ l$ T) m/ X
    9. [at 60809000]                     36 MB ( 2417000)
    - I# X1 I/ t/ [0 K( g10. [at 5adf7000]                     35 MB ( 2379000)
    9 {8 b* {3 a1 \6 Q) s7 z======= ==========
    " i! [9 Y0 B9 m$ Y1385 MB (569d4000)
    对Vista系统,可能是因为我在第四步设置了命令3GB switche:可用最大虚拟内存是3G
    >> feature('memstats')* [0 U2 d2 Q6 r+ z
    ) V0 n* J! k! \) l
    Physical Memory (RAM):
    ! u/ h9 L" W+ g& u7 I# O! u( QIn Use:                             1082 MB (43a3a000)
    5 e* [3 \. w& F4 I1 MFree:                               1467 MB (5bb96000). i" C$ ^+ d6 p
    Total:                              2549 MB (9f5d0000)
    ! u# t5 E, y3 ^+ Q% B1 MPage File (Swap space):" R1 p7 P0 A8 J5 h$ a# G- Y' D
    In Use:                             1227 MB (4cbe3000)# K* F/ L4 C# T6 q
    Free:                               5315 MB (14c36e000)) m, H/ ~& g* x+ h' B0 j
    Total:                              6543 MB (198f51000)
    & H. D9 u9 @. \8 }, j# W2 zVirtual Memory (Address Space):
    ) g6 a3 k; q. k) W' k( j3 MIn Use:                              501 MB (1f5bf000)( K$ }  P$ c( e
    Free:                               2570 MB (a0a21000)/ I1 ~. e* w5 _5 G1 t
    Total:                              3071 MB (bffe0000)+ D! A1 [) ?3 Q1 v9 B
    Largest Contiguous Free Blocks:5 Y3 \9 X- Y; X6 ~* i- z+ U
    1. [at 1b010000]                   1074 MB (432d0000)
    4 C2 \. I! \' l; b/ `2. [at 7fff0000]                   1023 MB (3ff9c000)( p5 i& W* P5 B
    3. [at 5e302000]                    227 MB ( e32e000)7 S* \% a! Q) v5 {
    4. [at 7c41b000]                     50 MB ( 32d5000)
    0 H& c. L4 ]6 M9 }7 \0 _' a5. [at 6d857000]                     30 MB ( 1e09000)
    ) ]( Q; L5 n( }$ ~# G6. [at 6f66b000]                     21 MB ( 1595000)
    & s- d8 y# c9 r, Q0 M0 v7. [at 715c3000]                     20 MB ( 149d000)9 E+ R3 P' G7 q
    8. [at 7a038000]                     18 MB ( 12f8000)5 V6 E( ^( K" F2 @; {; v
    9. [at 739a6000]                     17 MB ( 114a000)
    ) ?( H& P, H" ~- u10. [at 70c41000]                      9 MB (  94f000)
    - R4 D6 E2 q& T; e+ {======= ==========
    : ~& e4 Y1 e) q9 M2494 MB (9be3b000)
    2. 采用PACK: 试了不管用
    5 f6 B7 A, h2 w/ L
    3. 条件允许的话采用64位系统:32位免谈
    % C' _0 Y1 w5 l+ A5 g' j
    4. 采用3GB switch: 由于32位 Windows 操作系统的限制,每个进程只能使用最多 2GB 的虚拟内存地址空间,因此 Matlab 的可分配内存也受到相应的限制。Matlab 7.0.1 引进了新的内存管理机制,可以利用 Windows 的 3GB 开关,使用 3GB 开关启动的 Windows 每个进程可以在多分配 1 GB 的虚拟地址空间。我的笔记本是vista系统,台式机是XP系统。
    1)对vista系统:Bcdedit 位于X:\Windows\system32\ "X:"为安装Vista的盘符,利用Bcdedit命令,可以自定义你的Vista启动管理项。使用命令: BCDEdit /set increaseuserva 3072 ,DOS界面显示操作成功,注意虚拟内存应设成大于3G,否则内存分配<3G。可在matlab里使用 system_dependent memstats或feature('memstats')命令查询。
    2)对XP:右键单击我的电脑--->>属性--->>高级--->>启动和故障修复--->>设置--->>编辑--->>将最后一行multi(0)disk(0)rdisk(0)partition(1)\WINDOWS="Microsoft Windows XP Professional" 复制,在下一行粘贴,并将粘贴一行改为: multi(0)disk(0)rdisk(0)partition(1)\WINDOWS="Microsoft Windows XP Professional with 3GB switche" /3gb --->>存储--->>确定--->>重新启动计算机--->>在显示选择操作系统时,选择带有 3GB switche的一项--->>打开matlab。可是我设置完重启计算机,选择3GB switche的一项时,显示lsass.exe 应用程序错误,无法登陆!看来我的XP系统不支持3GB switche模式登录,因此matlab的可用虚拟内存不会超过2G。
    / _. I/ _3 ]3 i8 k
    5. 优化程序,减少变量

    ! j" c; R$ y4 |. q' e6. 如果必有必要,不要启动java虚拟机,采用matlab -nojvm启动
    4 j' E5 B6 ]- ?9 h' e) y+ g' j+ i
    7. 关闭Matlab Server
    9 ]- `' x5 c/ v# p$ M# H7 j
    7 H; v1 s. Y  B8 C( v

    ; ~! x! A0 j' H, g. t/ i' d3 L
    ' U( _; A5 x- }7 r  r: R

    点评

    ℡oメ心情浪子o  十分谢谢。。  详情 回复 发表于 2013-10-7 16:12
    数学建模社会化
    回复

    使用道具 举报

    13

    主题

    18

    听众

    2618

    积分

    升级  20.6%

  • TA的每日心情
    奋斗
    2015-4-16 19:40
  • 签到天数: 101 天

    [LV.6]常住居民II

    社区QQ达人

    群组2013年美赛优秀论文解

    群组2014年美赛冲刺培训

    群组物联网工程师培训

    madio 发表于 2013-10-3 18:16   o6 q! [3 Q# |7 D8 C7 ]+ x
    转一篇别人写的过于内存溢出问题的文章,里面介绍了一些基本的方法。9 Q5 A. Y& Q7 i
    MATLAB程序碰到OUT OF MEMORY的问题m ...

    / x( Z# \6 u; ^8 x4 ?9 _5 d十分谢谢。。
    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 注册地址

    qq
    收缩
    • 电话咨询

    • 04714969085
    fastpost

    关于我们| 联系我们| 诚征英才| 对外合作| 产品服务| QQ

    手机版|Archiver| |繁體中文 手机客户端  

    蒙公网安备 15010502000194号

    Powered by Discuz! X2.5   © 2001-2013 数学建模网-数学中国 ( 蒙ICP备14002410号-3 蒙BBS备-0002号 )     论坛法律顾问:王兆丰

    GMT+8, 2026-4-10 22:43 , Processed in 1.423869 second(s), 68 queries .

    回顶部