- 在线时间
- 5024 小时
- 最后登录
- 2022-11-28
- 注册时间
- 2009-4-8
- 听众数
- 738
- 收听数
- 1
- 能力
- 23 分
- 体力
- 77271 点
- 威望
- 96 点
- 阅读权限
- 255
- 积分
- 27108
- 相册
- 1
- 日志
- 14
- 记录
- 36
- 帖子
- 4293
- 主题
- 1341
- 精华
- 15
- 分享
- 16
- 好友
- 1975

数学中国总编辑
TA的每日心情 | 衰 2016-11-18 10:46 |
|---|
签到天数: 206 天 [LV.7]常住居民III 超级版主
 群组: 2011年第一期数学建模 群组: 第一期sas基础实训课堂 群组: 第二届数模基础实训 群组: 2012第二期MCM/ICM优秀 群组: MCM优秀论文解析专题 |
万维网过多的信息,股票报价,电影评论,市场价格趋势话题,几乎所有的东西,可以发现在点击一个按钮。在分析数据中发现,许多SAS用户感兴趣在网络上,但你得到这个数据的SAS环境呢?有很多方法,如 SAS数据步骤中的代码在设计你自己的网络爬虫或利用SAS%TMFILTER宏 ® 文本挖掘。在本文中,我们将审查一个网络爬虫的总体架构。我们将讨论获得网站的方法到SAS的信息,以及审查内部所谓的SAS搜索从实验项目的实验代码管道。我们也将提供咨询如何轻松定制一个网络爬虫,以适应个性化需求,以及如何具体的数据导入到SAS ® 企业矿工™。& l; _) a1 y! ^7 x
简介:互联网已经成为一个有用的信息来源。通常是Web上的数据,我们要使用内的SAS,所以我们需要找到一种方式来获得这个数据。最好的办法是使用一个网络爬虫。 SAS提供几个从Web爬行和提取信息的方法。您可以使用基本的SAS数据步骤中的代码,或SAS文本矿工的%TMFILTER宏。虽然目前无法使用,SAS搜索管道将是一个功能强大的Web爬行产品,并提供更多的工具,网络爬行。每种方法都有其优点和缺点,所以取决于你想实现抓取的,它是最好对其进行审查。* k1 l+ W& F7 P" ~: f* U: s
* d' v4 `& q# ?+ b. x, Y7 y
首先,重要的是要了解网络爬虫是如何工作的。你应该熟悉数据步骤的代码,宏,和SAS过程PROC SQL,然后再继续。
2 X5 d3 p4 W. v3 o g网络爬虫概述:一个网络爬虫是一个程序,一个或多个起始地址作为“种子URL”,下载网站这些URL相关的网页,在网页中包含的任何超链接提取,并递归地继续这些超链接标识下载Web页。从概念上讲,网络爬虫是很简单的。
0 Y" r2 P3 N3 F a) ?一个Web 履带式有四项职责:
/ ?6 w: y0 M6 X2 V6 x8 d: k4 [( m9 g1。从候选人中选择一个网址。9 v- ]* h6 c4 ^" X* d! Y( ^0 B+ u
2。它下载相关的Web页。
) E1 [! m' p6 X0 u9 I3。它提取物在网页中的URL(超链接)。
: i3 Y! Q9 h" `4。它补充说,未曾遇到的候选集的URL' \: I% P9 c* F
方法1:在WEB SAS数据步骤中的代码履带式0 V0 [+ T( x2 L8 z! P* a7 f1 \
首先创建一个网址的网站的Web crawler将开始列表。. ~& d7 r$ ]) `$ U. {: S
data work.links_to_crawl; t9 u4 L/ I% x7 L4 ~- s9 r1 l" K
length url $256 ;
) c9 Y/ k6 C4 K) m" @6 G4 einput url $;
* Z9 E( S$ @+ i8 Ldatalines;2 f2 U4 v8 u9 }- H, K# ^
http://www.yahoo.com
0 P7 z* h# Y8 _- {2 y! D' Lhttp://www.madio.net! p4 p( P, W3 v0 d ^* S7 f
http://www.google.com5 K7 r0 W8 v% P2 S$ v! m* [- S7 ~
;$ Z7 ?# F' T' |/ w9 ]
run
1 k Z( y+ a6 W d$ _& ]% L! @为了确保我们不抓取相同的URL一次以上,持有环节已创建一个数据抓取。
- J( [/ ?/ c+ t7 ~$ I当Web数据集将在开始时是空的,但一个网站的网址将被添加到数据集履带式完成抓取该网站。6 V( R, g4 ^* Z3 K$ U
data work.links_crawled;
p) `( }/ {6 S0 `8 J0 A$ f2 Tlength url $256; g& \: U% c1 J
run; w2 Q5 U$ g3 }/ D# \; C
现在我们开始爬行!该代码需要我们的 work.links_to_crawl数据集的第一个URL。在第一观察“_N_式1”,网址是投入名为 next_url 宏变量,所有剩余的URL放回我们的种子URL数据集,使他们在未来的迭代。9 k) K) U/ O2 N; ~8 }/ |3 Y
/* pop the next url off */' @4 M D& p: H- q
%let next_url = ;) J, y$ s W& d: w& ]: x
data work.links_to_crawl;
9 y; n# x0 @' Q/ |6 Dset work.links_to_crawl;- r5 G# J% l" I& E: u% [! S
if _n_ eq 1 then call symput(“next_url”, url);
8 s g. E6 ^' ]8 R7 G; ?else output;
, ]9 C' ~) G6 L! lrun;
5 g5 [- G+ J: N0 v' w# F现在,从互联网上下载的网址。创建一个文件名称 _nexturl 。我们让SAS知道它是一个URL 而且可以发现,AT&next_url,这是我们的宏观变量,它包含的网址我们从拉 work.links_to_crawl数据集。$ \' M2 Y0 w8 `8 F4 E4 D& s2 E
/* crawl the url */
. A% R( c4 {6 R0 x( tfilename _nexturl url “&next_url”6 i- m: n8 ^3 v$ P" U# u- x8 u
建立后的文件名的URL参考,确定一个地方把我们下载的文件。创建另一个文件名引用所谓 htmlfilm的条目,并在那里把从 url_file.html收集到的信息。
" [ ^: Y1 X+ H' E& C" z/* put the file we crawled here */! S, X- m4 @ I5 c7 N% `
filename htmlfile “url_file.html”
- q# T" ^7 @: U接下来,我们通过数据的循环,把它写htmlfilm的条目文件名参考,并寻找更多的网址添加到我们的 work.links_to_crawl数据集。5 A5 D* K; r. ]. D
/* find more urls */
$ B: E# r6 s) G% Qdata work._urls(keep=url);
1 `2 v$ ~2 j. e, p: V g! Qlength url $256 ;4 j% a5 N" B1 z: F
file htmlfile;6 U, X6 ^: Z( c% h$ Q7 ^
infile _nexturl length=len;
/ I0 f# I d# ?7 Xinput text $varying2000. len;/ k, i- G, h) m' }8 G m
put text;% @5 O# g7 Y' Q: ^' _5 G
start = 1;
^6 v2 V% e5 v0 G9 U k, E8 @stop = length(text);# r- d) C' Z5 j O+ `) l0 c% K
使用正则表达式一个网站的网址,以帮助搜索。正则表达式的匹配方法文本字符串,如字,词,或字符模式。 SAS已经提供了许多强大的字符串功能。然而,正则表达式通常会提供一个更简洁的方式,操纵和匹配的文本.
, X/ s9 y- w7 q4 S X3 }; q( U8 zif _n_ = 1 then do;- j/ n! B/ d; L/ A7 M
retain patternID;
, `0 K- R* p4 @* ^pattern = ‘/href=”([^"]+)”/i’;
0 x) y# Z. P% tpatternID = prxparse(pattern);
& i, p+ y3 A# L3 |end7 {% e1 s2 a5 D) ~3 t7 {5 ~) @5 ~
首次观察到,创建一个patternID将保持整个数据步运行。寻找的模式是: “/href=”([^"]+)”/i’”.,这意味着我们正在寻找字符串“HREF =”“,然后再寻找任何字符串,是至少有一个字符长,不包含引号(“),并结束在引号(”)。在’我’ 目的的手段使用不区分大小写的方法,以配合我们的正则表达式。, a9 ?/ c: g9 x( _$ N3 i
As a result, the Web crawler will find these types of strings:! W( w( U8 h8 m! N4 t) z
href=”sgf/2010/papers.html” : b7 _) L8 K6 z1 k
href=”www.yahoo.com”6 B/ v" y9 r+ l6 c$ l$ S" H7 {
HREF=”www.google.com”& B7 v6 |, I: |% H: q* q
hReF=”http://www.madio.net”5 D/ R# W2 ~. m8 K& l, o6 [- P: }9 q( @
现在正则表达式匹配的一个网站上的文字。 PRXNEXT需要五个参数:正则表达式我们要寻找,寻找开始寻找正则表达式的开始位置,结束位置停止正则表达式,一旦发现字符串中的位置,而字符串的长度,如果发现的位置将是0,如果没有找到字符串。 PRXNEXT也改变了开始的参数,使搜索重新开始后的最后一场比赛是发现。
2 q6 I0 _& C( Scall prxnext(patternID, start, stop, text, position, length);
9 l% A5 h+ R# a代码中的循环,在网站上找到的所有环节显示的文本。
+ E: |7 X4 w# g2 g `# g2 Ado while (position ^= 0);
; O0 \9 ^ j7 J" ~( n( ^url = substr(text, position+6, length-7);
8 `5 `! c5 n3 r# koutput;
* g M, B# S0 L5 Ycall prxnext(patternID, start, stop, text, position, length);; ~- c7 ?% ^& ~2 B6 B
end;2 w2 c) m; n( N1 j% B5 z2 r
run;8 ~" V' s' j. f a1 q
如果代码发现一个网址,它会检索唯一的URL的一部分,启动后的第一个引号。例如,如果代码中发现的HREF =“http://www.new-site.com”,那么它应该保持 http://www.new-site.com 。使用 substr到删除前的6个字符和最后一个字符的URL的其余部分输出的work._urls 数据集。现在,我们插入的URL代码只是以跟踪抓取到一个数据集名为 work.links_crawled 我们已经和确保我们不再次浏览有。
/ Z7 I! d9 C/ v) }7 n/* add the current link to the list of urls we have already crawled */ * m' D) g& i& c8 v" f6 X$ R
data work._old_link;& _; G4 z7 [1 [6 _& V4 i; {" H
url = “&next_url”;
% R& ~/ H2 k# crun;; G, \$ ?' ?8 i
proc append base=work.links_crawled data=work._old_link force;
# c% a) W6 X0 C) y) g, ~run;6 [1 l; P' G& J
下一步是在数据集 work._urls 的过程中发现的网址列表,以确保:; P x% J! p- X b P0 t
1。我们尚未抓取他们,换句话说URL是不是在 work.links_crawled)。1 H. S9 Z* E7 b& y/ R2 C1 E5 U
2。我们没有排队抓取的URL(网址换句话说,是不是在work.links_to_crawl )。- M7 d+ b' ?' L2 V G, y
/*
9 M, D7 [5 q! J* only add urls that we have not already crawled
* Q" [5 j( ?- F& \6 E* or that are not queued up to be crawled
- k& V5 ~6 O, m; Q+ ~0 T Q*" c; [! K- \* O4 X4 A
*/
+ ]+ U1 }% F9 Z* Z4 W# h, u. Tproc sql noprint;
3 }9 ^" l; [* ^4 S. D& Ncreate table work._append as! O& |8 B, c6 t Q) M, s
select url
* I4 g, ]3 W' B+ @1 s9 Jfrom work._urls1 W7 W& q o2 X5 v, C( u1 r( F
where url not in (select url from work.links_crawled)
% l+ `, R! X) E0 l1 [and url not in (select url from work.links_to_crawl);3 s# L. Q3 h" S& _' R
quit;8 [9 j/ K/ y3 O/ D1 Y6 f
然后,我们添加网址还没有被抓取,而不是已经排队 work.links_to_crawl数据集。
! x2 z1 Q( O8 [# U; H/* add new links */
9 r& z. ?; M% Y% M4 O4 [: m7 `- pproc append base=work.links_to_crawl data=work._append force;- W! t6 J. `8 _' F
run;8 z( L9 J v1 T( `' {* j
此时的代码循环回到开始劫掠 work.links_to_crawl数据集的下一个URL。
6 f/ E/ R2 m# U2 F: r4 q |
zan
|