- 在线时间
- 5024 小时
- 最后登录
- 2022-11-28
- 注册时间
- 2009-4-8
- 听众数
- 738
- 收听数
- 1
- 能力
- 23 分
- 体力
- 77271 点
- 威望
- 96 点
- 阅读权限
- 255
- 积分
- 27108
- 相册
- 1
- 日志
- 14
- 记录
- 36
- 帖子
- 4293
- 主题
- 1341
- 精华
- 15
- 分享
- 16
- 好友
- 1975

数学中国总编辑
TA的每日心情 | 衰 2016-11-18 10:46 |
|---|
签到天数: 206 天 [LV.7]常住居民III 超级版主
 群组: 2011年第一期数学建模 群组: 第一期sas基础实训课堂 群组: 第二届数模基础实训 群组: 2012第二期MCM/ICM优秀 群组: MCM优秀论文解析专题 |
万维网过多的信息,股票报价,电影评论,市场价格趋势话题,几乎所有的东西,可以发现在点击一个按钮。在分析数据中发现,许多SAS用户感兴趣在网络上,但你得到这个数据的SAS环境呢?有很多方法,如 SAS数据步骤中的代码在设计你自己的网络爬虫或利用SAS%TMFILTER宏 ® 文本挖掘。在本文中,我们将审查一个网络爬虫的总体架构。我们将讨论获得网站的方法到SAS的信息,以及审查内部所谓的SAS搜索从实验项目的实验代码管道。我们也将提供咨询如何轻松定制一个网络爬虫,以适应个性化需求,以及如何具体的数据导入到SAS ® 企业矿工™。
4 m" H7 d; B% i$ ?0 c4 e简介:互联网已经成为一个有用的信息来源。通常是Web上的数据,我们要使用内的SAS,所以我们需要找到一种方式来获得这个数据。最好的办法是使用一个网络爬虫。 SAS提供几个从Web爬行和提取信息的方法。您可以使用基本的SAS数据步骤中的代码,或SAS文本矿工的%TMFILTER宏。虽然目前无法使用,SAS搜索管道将是一个功能强大的Web爬行产品,并提供更多的工具,网络爬行。每种方法都有其优点和缺点,所以取决于你想实现抓取的,它是最好对其进行审查。" B2 {( c( i- r9 i# c* x% O' r3 ]
8 _4 |# v7 f9 q& a2 Q" I6 k
首先,重要的是要了解网络爬虫是如何工作的。你应该熟悉数据步骤的代码,宏,和SAS过程PROC SQL,然后再继续。" O0 T$ D3 i; ?* D6 K, s7 U! w
网络爬虫概述:一个网络爬虫是一个程序,一个或多个起始地址作为“种子URL”,下载网站这些URL相关的网页,在网页中包含的任何超链接提取,并递归地继续这些超链接标识下载Web页。从概念上讲,网络爬虫是很简单的。
1 w/ V7 ~+ T: I7 d3 _4 G8 J# }3 T一个Web 履带式有四项职责:7 k" I0 W; H) C* @; r& ]' t% c
1。从候选人中选择一个网址。
7 g9 D9 L, N, z2。它下载相关的Web页。
! e- B0 o* n) b2 d' C3。它提取物在网页中的URL(超链接)。
0 x$ c4 c i* a4。它补充说,未曾遇到的候选集的URL- j/ K3 O# S( `( [( a
方法1:在WEB SAS数据步骤中的代码履带式
7 h: o; u) H5 P7 K6 K5 o4 P首先创建一个网址的网站的Web crawler将开始列表。
/ P8 X. t" J; Idata work.links_to_crawl;
$ W" v- x0 E9 U# j+ l, clength url $256 ;% a+ v% e/ a' n$ @2 k6 q/ b. y
input url $;
: I3 V' n/ U) X# ]: N% ^+ r! tdatalines;
8 n* q! E7 Y# z; ~! i1 Y4 @http://www.yahoo.com h/ \1 _& d" G9 D4 y3 c6 L
http://www.madio.net0 |. _' m6 [, n" M! z/ k
http://www.google.com
* u; B# L0 E! q" };
8 |& ~ d9 W0 [run _' c7 D$ i9 n+ ?
为了确保我们不抓取相同的URL一次以上,持有环节已创建一个数据抓取。
. D4 `, J$ }+ @3 |* |当Web数据集将在开始时是空的,但一个网站的网址将被添加到数据集履带式完成抓取该网站。
/ G& u- @- Y9 ]5 Cdata work.links_crawled; & ?% i8 t/ d. U. ^
length url $256;% j: a" [ D# @9 i; B# A+ |" e
run;
4 O4 F3 E! t& e# r9 e$ D8 _/ U2 f现在我们开始爬行!该代码需要我们的 work.links_to_crawl数据集的第一个URL。在第一观察“_N_式1”,网址是投入名为 next_url 宏变量,所有剩余的URL放回我们的种子URL数据集,使他们在未来的迭代。3 [8 R, O Y5 r4 N( W
/* pop the next url off */
% L( W# s% w3 ?1 `! g2 L& Y%let next_url = ;
9 a7 U4 w9 }/ {data work.links_to_crawl;
. o6 s, J: }& g1 fset work.links_to_crawl;- W9 M3 }1 |5 M* C6 O; M
if _n_ eq 1 then call symput(“next_url”, url);
8 i0 O3 ]' \4 z! V5 kelse output;, ~6 i3 K) `# r
run;
9 [5 i& X$ h: ]2 [4 S现在,从互联网上下载的网址。创建一个文件名称 _nexturl 。我们让SAS知道它是一个URL 而且可以发现,AT&next_url,这是我们的宏观变量,它包含的网址我们从拉 work.links_to_crawl数据集。+ o+ H% H4 l. t6 {
/* crawl the url */
: Y% O+ C* ]5 i( o2 o4 \filename _nexturl url “&next_url”
) ^$ i' h7 a9 ?4 l5 C+ r建立后的文件名的URL参考,确定一个地方把我们下载的文件。创建另一个文件名引用所谓 htmlfilm的条目,并在那里把从 url_file.html收集到的信息。. p. u* |8 G/ @. l
/* put the file we crawled here */
/ u6 Q7 b Y; n1 o$ z+ T: h! Yfilename htmlfile “url_file.html”1 r/ q K; h& N% d$ \9 n, P. i& A
接下来,我们通过数据的循环,把它写htmlfilm的条目文件名参考,并寻找更多的网址添加到我们的 work.links_to_crawl数据集。
- `1 p* j/ K: o" n/* find more urls */ + d3 t9 ]4 a4 X4 Z2 z2 x+ J
data work._urls(keep=url);
1 X1 m. Y( O+ c) V* ?length url $256 ;# K0 y' n7 z! k: u) [4 G8 n( F
file htmlfile;
1 b+ G: \7 X/ t, Binfile _nexturl length=len;' \- H0 b0 ~7 V- }9 A
input text $varying2000. len;1 S. y3 ], f7 y' e! @
put text;
# G4 S1 v# A6 }( p0 [' T1 @start = 1;6 q' D( n# \1 Z
stop = length(text);
% ?- o2 |1 Q+ N/ _* e使用正则表达式一个网站的网址,以帮助搜索。正则表达式的匹配方法文本字符串,如字,词,或字符模式。 SAS已经提供了许多强大的字符串功能。然而,正则表达式通常会提供一个更简洁的方式,操纵和匹配的文本.
2 L3 M2 _( T" L, }6 G; H3 z4 t/ N8 Yif _n_ = 1 then do;
4 n' e# u( O) R! I+ Y, Dretain patternID;. t0 k1 a, E3 |& A6 w
pattern = ‘/href=”([^"]+)”/i’;- P' y0 S$ U2 `, i3 I
patternID = prxparse(pattern);" X/ c: ~7 j# e4 p# v
end
3 X( v0 H5 z0 i6 Z首次观察到,创建一个patternID将保持整个数据步运行。寻找的模式是: “/href=”([^"]+)”/i’”.,这意味着我们正在寻找字符串“HREF =”“,然后再寻找任何字符串,是至少有一个字符长,不包含引号(“),并结束在引号(”)。在’我’ 目的的手段使用不区分大小写的方法,以配合我们的正则表达式。
/ @' m! ~. @; ~) pAs a result, the Web crawler will find these types of strings:
J% i$ X4 y3 e$ ~% ]5 n: Chref=”sgf/2010/papers.html”
1 }# {$ |* [( E) ^% Bhref=”www.yahoo.com”
' b+ M/ P0 ?6 Y. h; P) fHREF=”www.google.com”' T3 D% J; e% C* \* W" ^2 a
hReF=”http://www.madio.net”# E7 ] h/ M! b4 \
现在正则表达式匹配的一个网站上的文字。 PRXNEXT需要五个参数:正则表达式我们要寻找,寻找开始寻找正则表达式的开始位置,结束位置停止正则表达式,一旦发现字符串中的位置,而字符串的长度,如果发现的位置将是0,如果没有找到字符串。 PRXNEXT也改变了开始的参数,使搜索重新开始后的最后一场比赛是发现。
?9 n- R! J; M1 Xcall prxnext(patternID, start, stop, text, position, length);# U. a/ ]: C3 I L8 v. K7 Q
代码中的循环,在网站上找到的所有环节显示的文本。$ i% G, P+ M+ Z
do while (position ^= 0);
" _; b* v7 V+ F* X9 Gurl = substr(text, position+6, length-7);
9 d5 ^$ ~ G2 t7 N4 Poutput;$ v. a6 w7 \0 v, L" }& o
call prxnext(patternID, start, stop, text, position, length);
4 r. p6 _; }$ k' e% h; Qend;: s% h( ]& S. ]
run;
! \( \: `1 |4 F |1 Z* @$ e如果代码发现一个网址,它会检索唯一的URL的一部分,启动后的第一个引号。例如,如果代码中发现的HREF =“http://www.new-site.com”,那么它应该保持 http://www.new-site.com 。使用 substr到删除前的6个字符和最后一个字符的URL的其余部分输出的work._urls 数据集。现在,我们插入的URL代码只是以跟踪抓取到一个数据集名为 work.links_crawled 我们已经和确保我们不再次浏览有。: V4 j' h2 R! D9 J
/* add the current link to the list of urls we have already crawled */
+ [1 T/ r7 h3 x! |) C3 g* Xdata work._old_link;
, L$ g' U/ z0 {' Y3 Hurl = “&next_url”;+ _, V* v8 }/ c' J
run;2 t% v0 E: N5 H, b& N, K6 |
proc append base=work.links_crawled data=work._old_link force;4 B$ ] b; I/ s$ k4 x. r
run;
3 R- d( v8 _: _ A" Q" C下一步是在数据集 work._urls 的过程中发现的网址列表,以确保:
9 T i* k5 s1 q/ ?1。我们尚未抓取他们,换句话说URL是不是在 work.links_crawled)。
; ]. B, C3 I4 a' f8 K( H/ h; `2。我们没有排队抓取的URL(网址换句话说,是不是在work.links_to_crawl )。3 Z e q5 e/ C: ~% L6 W) H2 e
/*
f, G2 f, O4 V7 f' Q# t* only add urls that we have not already crawled
! G) b, D! `% {5 s# H7 ^: Z' P8 Z* or that are not queued up to be crawled
7 G1 X6 ~+ S& \* x* U*
/ U0 j, S0 [ \! ]0 L*/
. H3 [/ O, V7 w C+ _proc sql noprint;
9 T, v. C( E% q2 b* v( M) wcreate table work._append as& ]5 [* [! F; p) _% f) |
select url; {+ i3 @5 f5 R' }6 R
from work._urls
8 W1 Y$ }5 h/ z+ X5 xwhere url not in (select url from work.links_crawled)2 I7 R. d h1 g8 L2 i4 v& N
and url not in (select url from work.links_to_crawl);
7 e9 B% ~# D _quit;
. g: ^! H' I# \4 _; D然后,我们添加网址还没有被抓取,而不是已经排队 work.links_to_crawl数据集。
/ `6 \& t1 ~5 ` [ A/* add new links */
4 q; v A6 c8 ~proc append base=work.links_to_crawl data=work._append force;
- V/ u; W2 B& b" m' l `run;: g9 W$ A8 Q! _, |2 m9 s
此时的代码循环回到开始劫掠 work.links_to_crawl数据集的下一个URL。1 ~. ^) }9 ~8 ?% m# v# j" S0 R+ H
|
zan
|