网络爬虫—利用SAS抓取网页方法

厚积薄发

万维网过多的信息，股票报价，电影评论，市场价格趋势话题，几乎所有的东西，可以发现在点击一个按钮。在分析数据中发现，许多SAS用户感兴趣在网络上，但你得到这个数据的SAS环境呢？有很多方法，如 SAS数据步骤中的代码在设计你自己的网络爬虫或利用SAS％TMFILTER宏 ® 文本挖掘。在本文中，我们将审查一个网络爬虫的总体架构。我们将讨论获得网站的方法到SAS的信息，以及审查内部所谓的SAS搜索从实验项目的实验代码管道。我们也将提供咨询如何轻松定制一个网络爬虫，以适应个性化需求，以及如何具体的数据导入到SAS ® 企业矿工™。
4 w' w4 v* m/ ?( C& G# U. x简介：互联网已经成为一个有用的信息来源。通常是Web上的数据，我们要使用内的SAS，所以我们需要找到一种方式来获得这个数据。最好的办法是使用一个网络爬虫。 SAS提供几个从Web爬行和提取信息的方法。您可以使用基本的SAS数据步骤中的代码，或SAS文本矿工的％TMFILTER宏。虽然目前无法使用，SAS搜索管道将是一个功能强大的Web爬行产品，并提供更多的工具，网络爬行。每种方法都有其优点和缺点，所以取决于你想实现抓取的，它是最好对其进行审查。
" Y0 L! \) l: C. `, S
9 m+ p* ]* p  E- O* U首先，重要的是要了解网络爬虫是如何工作的。你应该熟悉数据步骤的代码，宏，和SAS过程PROC SQL，然后再继续。
网络爬虫概述：一个网络爬虫是一个程序，一个或多个起始地址作为“种子URL”，下载网站这些URL相关的网页，在网页中包含的任何超链接提取，并递归地继​​续这些超链接标识下载Web页。从概念上讲，网络爬虫是很简单的。
4 m, V) b2 @+ H. X0 }% k一个Web 履带式有四项职责：
* y0 Q3 @7 e, U9 V1。从候选人中选择一个网址。
. l* P0 K; w3 |' F- h2。它下载相关的Web页。
0 ]" L% y% v$ P% W$ S: O3。它提取物在网页中的URL（超链接）。
" G) H2 v9 v2 x  X1 z/ J9 `8 v2 k4。它补充说，未曾遇到的候选集的URL
1 h$ Y0 U" D- U. g( j" t) X方法1：在WEB SAS数据步骤中的代码履带式
首先创建一个网址的网站的Web crawler将开始列表。
8 V* Z6 Y* S! l1 Idata work.links_to_crawl;
. Q5 [1 |" r+ Y' Q) Klength url $256 ;
" _7 k# S- p( i/ [1 a/ l" ^4 }input url $;
) V3 c* ^  G  y3 Z3 f& ?datalines;
' U2 P$ P! l% T: jhttp://www.yahoo.com
! b0 v# ~3 D, S, @$ O! jhttp://www.madio.net
$ q9 P; w/ c1 S3 d$ _3 Khttp://www.google.com
+ r- z; b9 A4 P' \0 R! C: i;
run
; U- \) M. w$ ^+ n- E为了确保我们不抓取相同的URL一次以上，持有环节已创建一个数据抓取。
1 k: `  z7 }% }1 s0 C0 u7 W* _当Web数据集将在开始时是空的，但一个网站的网址将被添加到数据集履带式完成抓取该网站。
data work.links_crawled;
length url $256;
run;
/ {6 ~7 R6 o; C- q现在我们开始爬行！该代码需要我们的 work.links_to_crawl数据集的第一个URL。在第一观察“_N_式1”，网址是投入名为 next_url 宏变量，所有剩余的URL放回我们的种子URL数据集，使他们在未来的迭代。
/* pop the next url off */
%let next_url = ;
data work.links_to_crawl;
set work.links_to_crawl;
if _n_ eq 1 then call symput(“next_url”, url);
else output;
run;
7 R6 u4 }' q  k  S# e7 R现在，从互联网上下载的网址。创建一个文件名​​称 _nexturl 。我们让SAS知道它是一个URL 而且可以发现，AT＆next_url，这是我们的宏观变量，它包含的网址我们从拉 work.links_to_crawl数据集。
/* crawl the url */
( F" s7 [* @# s+ {8 |filename _nexturl url “&next_url”
建立后的文件名​​的URL参考，确定一个地方把我们下载的文件。创建另一个文件名​​引用所谓 htmlfilm的条目，并在那里把从 url_file.html收集到的信息。
% e- @& L& C# ^4 d) e. }* z( Y3 j/* put the file we crawled here */
filename htmlfile “url_file.html”
9 ]5 r6 c% j. W! \& y6 _9 H接下来，我们通过数据的循环，把它写htmlfilm的条目文件名​​参考，并寻找更多的网址添加到我们的 work.links_to_crawl数据集。
/* find more urls */
# O' K- O# [! {3 |data work._urls(keep=url);
2 Q- y1 x/ o( |" p5 elength url $256 ;
file htmlfile;
; z& c4 l7 D2 h. F) Linfile _nexturl length=len;
( n9 v$ W1 V  ^! S4 qinput text $varying2000. len;
+ ?" [  `# R! [- p3 U/ wput text;
start = 1;
3 J5 d4 U1 U2 w4 }* @2 V/ Istop = length(text);
8 b  d  V' s4 Z; l9 ?: A使用正则表达式一个网站的网址，以帮助搜索。正则表达式的匹配方法文本字符串，如字，词，或字符模式。 SAS已经提供了许多强大的字符串功能。然而，正则表达式通常会提供一个更简洁的方式，操纵和匹配的文本.
if _n_ = 1 then do;
/ w. R) A4 |, V( h& I" _. ^retain patternID;
pattern = ‘/href=”([^"]+)”/i’;
patternID = prxparse(pattern);
end
+ |/ K. b! F6 D- D! e+ Y& L; V首次观察到，创建一个patternID将保持整个数据步运行。寻找的模式是： “/href=”([^"]+)”/i’”.，这意味着我们正在寻找字符串“HREF =”“，然后再寻找任何字符串，是至少有一个字符长，不包含引号（“），并结束在引号（”）。在’我’ 目的的手段使用不区分大小写的方法，以配合我们的正则表达式。
* o) V% u  T: s, _. z  @! q+ pAs a result, the Web crawler will find these types of strings:
6 D( V% B- [* ihref=”sgf/2010/papers.html”
2 K' N* e- `1 B8 B% E: d4 qhref=”www.yahoo.com”
7 I: _9 ]  G* w- w# H* c* kHREF=”www.google.com”
: V6 D9 S, y/ KhReF=”http://www.madio.net”
4 z9 k/ k" B1 P+ a  H6 e9 ~  T现在正则表达式匹配的一个网站上的文字。 PRXNEXT需要五个参数：正则表达式我们要寻找，寻找开始寻找正则表达式的开始位置，结束位置停止正则表达式，一旦发现字符串中的位置，而字符串的长度，如果发现的位置将是0，如果没有找到字符串。 PRXNEXT也改变了开始的参数，使搜索重新开始后的最后一场比赛是发现。
call prxnext(patternID, start, stop, text, position, length);
代码中的循环，在网站上找到的所有环节显示的文本。
do while (position ^= 0);
2 ^4 }5 K3 V; d& `, m3 Kurl = substr(text, position+6, length-7);
output;
$ ^" I3 h% N5 ^2 p9 Fcall prxnext(patternID, start, stop, text, position, length);
, J! G2 U: N' W: {8 Y+ s& rend;
( t4 I, A3 E9 q4 U$ rrun;
/ u7 I5 O7 w9 e$ H0 x% W如果代码发现一个网址，它会检索唯一的URL的一部分，启动后的第一个引号。例如，如果代码中发现的HREF =“http://www.new-site.com”，那么它应该保持 http://www.new-site.com 。使用 substr到删除前的6个字符和最后一个字符的URL的其余部分输出的work._urls 数据集。现在，我们插入的URL代码只是以跟踪抓取到一个数据集名为 work.links_crawled 我们已经和确保我们不再次浏览有。
8 P) b% L. d# r1 Q5 g4 G6 W2 P' M7 }/* add the current link to the list of urls we have already crawled */
8 {. [3 f6 E2 N/ I. z! ]data work._old_link;
" p3 Y" b$ {8 N( n+ Wurl = “&next_url”;
run;
proc append base=work.links_crawled data=work._old_link force;
) E% T) T9 I! o! A1 }) Y! ~! r# yrun;
下一步是在数据集 work._urls 的过程中发现的网址列表，以确保：
5 l$ g3 P% d) ]& O3 q( o1。我们尚未抓取他们，换句话说URL是不是在 work.links_crawled）。
% u9 |4 n: j+ r5 y2。我们没有排队抓取的URL（网址换句话说，是不是在work.links_to_crawl ）。
/*
+ U. M1 p0 k) ?3 v* only add urls that we have not already crawled
* or that are not queued up to be crawled
* \. j* Q" n( I' i; r+ M6 j*
! z/ {9 O: [& c  S" s8 r8 b% N( W*/
proc sql noprint;
create table work._append as
select url
from work._urls
where url not in (select url from work.links_crawled)
and url not in (select url from work.links_to_crawl);
quit;
2 e3 m7 O5 T5 s7 I/ l4 B然后，我们添加网址还没有被抓取，而不是已经排队 work.links_to_crawl数据集。
( L3 @$ i  k$ I; f9 F/* add new links */
6 x$ i; w4 L2 K1 Iproc append base=work.links_to_crawl data=work._append force;
run;
此时的代码循环回到开始劫掠 work.links_to_crawl数据集的下一个URL。
; `- _) `0 X1 H5 e" P3 ?

叶纯萱

留个脚印

snowmanPeter

值得一看
- S8 E% `  j& O4 \& V) J$ I