数学建模社区-数学中国

标题: [疑难解惑] 如何提高sas的data step的读取速度 [打印本页]

作者: pinky_0211    时间: 2012-1-15 13:54
标题: [疑难解惑] 如何提高sas的data step的读取速度
本人用sas进行些股票的研究。
9 T& c4 ?- U7 P# B4 E$ z数据是从大智慧上拷贝的,格式如下:) M$ ^4 U9 n9 B/ |- q) C
+ F) V' X# [. c
一只股票一个txt文件,有2036只股票;每只股票记录的天数大概在1500天左右,每天有8个变量(开盘,最高,最低。。。等): G* `  D2 m/ Q: z6 b

3 _6 m+ g* H/ q# Z/ e用sas data step 读入,并转化成sas内部的data; 例如A600000.sas7data,存放在不是work的一个逻辑区下保存。在读入txt文件的时候用的是data step方法,并用macro,一个股票一个股票的读入。这个阶段还好,实际用一个 %do i = 1 to 2036 %end,很快就可以读好。这样每个data有约1500*8 个记录,同时有2036个这样的data。
  w8 R4 _- T8 s8 P6 c  e" W" x! p
: G; s; Q6 q* b+ p+ {问题来了,现在我想把他们join到一个data里边,这样就可以方便的根据时间或者symbol来读取股票数值了。因为单个股票只能进行个例分析,如果想看某一个时间段的股票相对表现,个人认为这样存放data比较方便。: O: ]: ^5 h, @) ?' N" u3 k

! P  k# r2 _% E  E" A! P但是这样的话生成的data有(1500*2036)row 8 column的dimensions,我的方法是一个一个的往一个总的data里merge或者join。但是无论用data step还是sql的方法,结果都很差,到最后就是10几秒才能merge一个股票,因为前期merge的data很大了,还要读取,用macro的loop方法每一次都要读取一个股票数据和前边merge好的data,这样的话很慢。$ K- G2 B; J1 w) U' Y

7 Z3 U1 ]+ ?  L+ K4 r5 [& U对sasdata的存储大家能给点建议么?谢谢. v7 P  u* g, n* b9 p" d
本文来自: **经济论坛 SAS专版 版,详细出处参考:bbs.pinggu.org/thread-1015417-1-1.html& s3 U$ }' l3 A1 K2 G' M

作者: 孤寂冷逍遥    时间: 2012-1-15 17:00

作者: lynli    时间: 2012-1-28 20:22

作者: Create_our_futu    时间: 2013-8-31 22:31
这样也可以啊
作者: 暗夜№☆修罗    时间: 2013-11-25 21:47
路过。。。
作者: 泛滥的尐青春    时间: 2013-11-27 14:17
顶一个




欢迎光临 数学建模社区-数学中国 (http://www.madio.net/) Powered by Discuz! X2.5