数学建模社区-数学中国
标题:
[疑难解惑] 如何提高sas的data step的读取速度
[打印本页]
作者:
pinky_0211
时间:
2012-1-15 13:54
标题:
[疑难解惑] 如何提高sas的data step的读取速度
本人用sas进行些股票的研究。
' M0 m9 u) t2 r% Y( D6 L' d9 x
数据是从大智慧上拷贝的，格式如下：
8 n, w# ^" d$ Y; f5 X& j5 }" u/ N
* Y x6 B7 ~5 k- ^; Z
一只股票一个txt文件，有2036只股票；每只股票记录的天数大概在1500天左右，每天有8个变量（开盘，最高，最低。。。等）
# j0 \) Y0 i# H/ ~' b# S
! T5 c' U8 i' p9 z( a
用sas data step 读入，并转化成sas内部的data； 例如A600000.sas7data，存放在不是work的一个逻辑区下保存。在读入txt文件的时候用的是data step方法，并用macro，一个股票一个股票的读入。这个阶段还好，实际用一个 %do i = 1 to 2036 %end,很快就可以读好。这样每个data有约1500*8 个记录，同时有2036个这样的data。
6 A# ]- g7 V$ T7 I) K- ^, v
$ n1 @, C. r% |; H1 u: Q
问题来了，现在我想把他们join到一个data里边，这样就可以方便的根据时间或者symbol来读取股票数值了。因为单个股票只能进行个例分析，如果想看某一个时间段的股票相对表现，个人认为这样存放data比较方便。
* S) ^, X$ a5 L. y1 O3 f
# ?) M8 v. z+ w d7 ] w
但是这样的话生成的data有（1500*2036）row 8 column的dimensions，我的方法是一个一个的往一个总的data里merge或者join。但是无论用data step还是sql的方法，结果都很差，到最后就是10几秒才能merge一个股票，因为前期merge的data很大了，还要读取，用macro的loop方法每一次都要读取一个股票数据和前边merge好的data，这样的话很慢。
5 m) g" S1 X- X! ^* ~0 v) Q
( t2 M' }, O' |7 o
对sasdata的存储大家能给点建议么？谢谢
( M* S) A5 E) f/ y1 [ Q5 f4 A) \
本文来自: **经济论坛 SAS专版 版，详细出处参考：bbs.pinggu.org/thread-1015417-1-1.html
" [- f6 T W9 ^9 J
作者:
孤寂冷逍遥
时间:
2012-1-15 17:00
作者:
lynli
时间:
2012-1-28 20:22
作者:
Create_our_futu
时间:
2013-8-31 22:31
这样也可以啊
作者:
暗夜№☆修罗
时间:
2013-11-25 21:47
路过。。。
作者:
泛滥的尐青春
时间:
2013-11-27 14:17
顶一个
欢迎光临 数学建模社区-数学中国 (http://www.madio.net/)
Powered by Discuz! X2.5
