数学建模社区-数学中国
标题:
[疑难解惑] 如何提高sas的data step的读取速度
[打印本页]
作者:
pinky_0211
时间:
2012-1-15 13:54
标题:
[疑难解惑] 如何提高sas的data step的读取速度
本人用sas进行些股票的研究。
$ |$ h, N' t" O
数据是从大智慧上拷贝的，格式如下：
* \/ ?7 i4 q! l4 e1 i
' ]. z- ^* ?8 \, L) X8 U
一只股票一个txt文件，有2036只股票；每只股票记录的天数大概在1500天左右，每天有8个变量（开盘，最高，最低。。。等）
, J! b) ^2 g" [
2 a( O6 g8 E+ S0 J6 v
用sas data step 读入，并转化成sas内部的data； 例如A600000.sas7data，存放在不是work的一个逻辑区下保存。在读入txt文件的时候用的是data step方法，并用macro，一个股票一个股票的读入。这个阶段还好，实际用一个 %do i = 1 to 2036 %end,很快就可以读好。这样每个data有约1500*8 个记录，同时有2036个这样的data。
. ?& |5 U/ C& x5 D# O" J" @# |) ?
" H* W4 \: A& E/ X. |8 P5 x
问题来了，现在我想把他们join到一个data里边，这样就可以方便的根据时间或者symbol来读取股票数值了。因为单个股票只能进行个例分析，如果想看某一个时间段的股票相对表现，个人认为这样存放data比较方便。
2 o) B0 ~0 ]) a7 R
3 \) y, U% c6 }# @
但是这样的话生成的data有（1500*2036）row 8 column的dimensions，我的方法是一个一个的往一个总的data里merge或者join。但是无论用data step还是sql的方法，结果都很差，到最后就是10几秒才能merge一个股票，因为前期merge的data很大了，还要读取，用macro的loop方法每一次都要读取一个股票数据和前边merge好的data，这样的话很慢。
2 W( O+ s5 t( f7 C
/ r- l: A6 c7 Y* _3 l
对sasdata的存储大家能给点建议么？谢谢
, H d1 ]7 T @
本文来自: **经济论坛 SAS专版 版，详细出处参考：bbs.pinggu.org/thread-1015417-1-1.html
, H0 ~$ M7 @9 X, V* z
作者:
孤寂冷逍遥
时间:
2012-1-15 17:00
作者:
lynli
时间:
2012-1-28 20:22
作者:
Create_our_futu
时间:
2013-8-31 22:31
这样也可以啊
作者:
暗夜№☆修罗
时间:
2013-11-25 21:47
路过。。。
作者:
泛滥的尐青春
时间:
2013-11-27 14:17
顶一个
欢迎光临 数学建模社区-数学中国 (http://www.madio.net/)
Powered by Discuz! X2.5
