QQ登录

只需要一步,快速开始

 注册地址  找回密码
查看: 4061|回复: 2
打印 上一主题 下一主题

网络爬虫—利用SAS抓取网页方法

[复制链接]
字体大小: 正常 放大

1341

主题

738

听众

2万

积分

数学中国总编辑

  • TA的每日心情

    2016-11-18 10:46
  • 签到天数: 206 天

    [LV.7]常住居民III

    超级版主

    社区QQ达人 邮箱绑定达人 元老勋章 发帖功臣 新人进步奖 原创写作奖 最具活力勋章 风雨历程奖

    群组2011年第一期数学建模

    群组第一期sas基础实训课堂

    群组第二届数模基础实训

    群组2012第二期MCM/ICM优秀

    群组MCM优秀论文解析专题

    跳转到指定楼层
    1#
    发表于 2012-2-27 15:19 |只看该作者 |倒序浏览
    |招呼Ta 关注Ta |邮箱已经成功绑定
    万维网过多的信息,股票报价,电影评论,市场价格趋势话题,几乎所有的东西,可以发现在点击一个按钮。在分析数据中发现,许多SAS用户感兴趣在网络上,但你得到这个数据的SAS环境呢?有很多方法,如 SAS数据步骤中的代码在设计你自己的网络爬虫或利用SAS%TMFILTER宏 ® 文本挖掘。在本文中,我们将审查一个网络爬虫的总体架构。我们将讨论获得网站的方法到SAS的信息,以及审查内部所谓的SAS搜索从实验项目的实验代码管道。我们也将提供咨询如何轻松定制一个网络爬虫,以适应个性化需求,以及如何具体的数据导入到SAS ® 企业矿工™。. c$ |/ g5 w" N) D# S
    简介:互联网已经成为一个有用的信息来源。通常是Web上的数据,我们要使用内的SAS,所以我们需要找到一种方式来获得这个数据。最好的办法是使用一个网络爬虫。 SAS提供几个从Web爬行和提取信息的方法。您可以使用基本的SAS数据步骤中的代码,或SAS文本矿工的%TMFILTER宏。虽然目前无法使用,SAS搜索管道将是一个功能强大的Web爬行产品,并提供更多的工具,网络爬行。每种方法都有其优点和缺点,所以取决于你想实现抓取的,它是最好对其进行审查。9 i# h: A+ q0 q4 ]6 X
    8 x2 G) Q8 Q- z& H) X, W1 V; c
    首先,重要的是要了解网络爬虫是如何工作的。你应该熟悉数据步骤的代码,宏,和SAS过程PROC SQL,然后再继续。
    $ N3 a% R; z. f3 K6 _网络爬虫概述:一个网络爬虫是一个程序,一个或多个起始地址作为“种子URL”,下载网站这些URL相关的网页,在网页中包含的任何超链接提取,并递归地继​​续这些超链接标识下载Web页。从概念上讲,网络爬虫是很简单的。
      O/ j* I9 n$ q" L/ x2 F一个Web 履带式有四项职责:
    8 k  A  F( l5 |, e* r5 t- R1。从候选人中选择一个网址。: K1 J& o& \# X1 f5 \* w( `6 _; Y
    2。它下载相关的Web页。, }; k( S% K5 K
    3。它提取物在网页中的URL(超链接)。) Y* {  P5 c, a& ]5 O6 p
    4。它补充说,未曾遇到的候选集的URL
    : v0 X6 D' Q( U3 `" f$ m2 w& G方法1:在WEB SAS数据步骤中的代码履带式" j/ C; v+ Y/ e7 d9 f" |' I
    首先创建一个网址的网站的Web crawler将开始列表。
    , |6 j2 f; c, C7 Udata work.links_to_crawl;8 M. b. m+ p! d% Z% Y% W( A
    length url $256 ;
    ) M: K% B$ y4 Q# jinput url $;. ^9 }  a5 L5 ?* \
    datalines;4 J, x( M1 h' y4 g$ f; J6 J6 J, I
    http://www.yahoo.com
    2 c) r5 u2 p' j' d) w& fhttp://www.madio.net
    : a4 y2 S7 f' o8 |: I* ]http://www.google.com
    / S; _$ S) O: \2 I/ R;2 V6 `; D4 X% P6 L& {4 i# V
    run
    . @6 b7 z' ~0 r为了确保我们不抓取相同的URL一次以上,持有环节已创建一个数据抓取。
    % R/ w, B& r8 R2 e) P当Web数据集将在开始时是空的,但一个网站的网址将被添加到数据集履带式完成抓取该网站。# m+ h& H" J* a" d* U! E
    data work.links_crawled;
    7 G0 z1 U! ?) M6 q$ Z# H; e1 m  ulength url $256;
    ! l& \& \8 L, x! |$ \- ~' q+ ~% p, ~run;  ?* E3 {' }7 L2 @$ c  k1 |' e9 S$ k
    现在我们开始爬行!该代码需要我们的 work.links_to_crawl数据集的第一个URL。在第一观察“_N_式1”,网址是投入名为 next_url 宏变量,所有剩余的URL放回我们的种子URL数据集,使他们在未来的迭代。
    6 C/ I# T% [2 @: d! C/* pop the next url off */4 X1 ]7 u0 h* V, B& B; u
    %let next_url = ;
    4 O! ^% i! t' V! v% A; v! Rdata work.links_to_crawl;
    . N5 ]8 \3 S3 q6 Hset work.links_to_crawl;
    7 U$ N0 p; r7 L  L% {if _n_ eq 1 then call symput(“next_url”, url);
    2 u  J7 i! R; Pelse output;
    # ~1 B5 ~$ }, l8 `1 k1 t8 mrun;
    ) a/ r, a2 m. l' {# \* }* J现在,从互联网上下载的网址。创建一个文件名​​称 _nexturl 。我们让SAS知道它是一个URL 而且可以发现,AT&next_url,这是我们的宏观变量,它包含的网址我们从拉 work.links_to_crawl数据集。
    9 j% X0 O' r5 B- |9 O! d/* crawl the url */
    , A, {" Z5 t4 c" A  A4 n& w* r/ rfilename _nexturl url “&next_url”  ~  P3 P# n  P# a
    建立后的文件名​​的URL参考,确定一个地方把我们下载的文件。创建另一个文件名​​引用所谓 htmlfilm的条目,并在那里把从 url_file.html收集到的信息。) C9 ^; Z, l5 |
    /* put the file we crawled here */
    / D  X# g3 g1 ~6 C3 tfilename htmlfile “url_file.html”
    + l" S) X" {. Y! c7 i接下来,我们通过数据的循环,把它写htmlfilm的条目文件名​​参考,并寻找更多的网址添加到我们的 work.links_to_crawl数据集。0 w1 R8 k' ?, B( `, }- l# t/ g# P
    /* find more urls */ " d' r* s6 f- d! X# W
    data work._urls(keep=url);
    ! t8 f+ h5 T: @) `0 {5 ~$ O- `+ Plength url $256 ;$ |3 |) D" W  M
    file htmlfile;
      S  E) h0 s4 Y0 o4 }infile _nexturl length=len;  o' r9 s9 P3 D# }4 [4 B$ Z% h
    input text $varying2000. len;
    ( d* q7 F' C! M8 Pput text;! q# Z" d. ?7 z) {$ {; a( l( [
    start = 1;& f6 G  _& v) P: [' u
    stop = length(text);# {2 y; Q$ o6 k7 T0 e+ f/ V
    使用正则表达式一个网站的网址,以帮助搜索。正则表达式的匹配方法文本字符串,如字,词,或字符模式。 SAS已经提供了许多强大的字符串功能。然而,正则表达式通常会提供一个更简洁的方式,操纵和匹配的文本.& d- Q7 y0 n  i
    if _n_ = 1 then do;
    5 B3 V; Q$ U: R) g0 d# qretain patternID;
    ' q% Z# Y* f) L% B, ~: vpattern = ‘/href=”([^"]+)”/i’;
    $ F! i' x5 i, d+ g5 x9 c# cpatternID = prxparse(pattern);+ H' b8 d& b/ V3 o! A4 b
    end
    3 N' `0 J- L& L首次观察到,创建一个patternID将保持整个数据步运行。寻找的模式是: “/href=”([^"]+)”/i’”.,这意味着我们正在寻找字符串“HREF =”“,然后再寻找任何字符串,是至少有一个字符长,不包含引号(“),并结束在引号(”)。在’我’ 目的的手段使用不区分大小写的方法,以配合我们的正则表达式。
    9 }7 q3 K8 f0 h& R2 k- ZAs a result, the Web crawler will find these types of strings:8 A& l9 i! ^$ e) J8 U& ?
    href=”sgf/2010/papers.html” ) h6 n8 E4 H. Z0 B
    href=”www.yahoo.com5 y" E7 \) ]& Y6 e; r/ _3 p
    HREF=”www.google.com3 x3 b! _. K3 C9 g0 F# W$ S2 b
    hReF=”http://www.madio.net9 `# k. ~: K) f
    现在正则表达式匹配的一个网站上的文字。 PRXNEXT需要五个参数:正则表达式我们要寻找,寻找开始寻找正则表达式的开始位置,结束位置停止正则表达式,一旦发现字符串中的位置,而字符串的长度,如果发现的位置将是0,如果没有找到字符串。 PRXNEXT也改变了开始的参数,使搜索重新开始后的最后一场比赛是发现。
    9 |% `* I2 E3 m6 Ncall prxnext(patternID, start, stop, text, position, length);: A! f0 _5 \8 l; y9 C4 {8 L6 v
    代码中的循环,在网站上找到的所有环节显示的文本。
    & N3 _2 P7 N- k3 l4 i2 Mdo while (position ^= 0);1 m; P0 [& N. ^9 g# ^0 Y5 b% U
    url = substr(text, position+6, length-7);
    9 X3 J: b$ W/ W9 M9 L0 ~output;% Z+ w0 ?  y9 S5 v) F! W7 X
    call prxnext(patternID, start, stop, text, position, length);" v; I! `2 [) H
    end;4 s. ~. m( O/ y7 p4 p
    run;- w  E. S) A' `
    如果代码发现一个网址,它会检索唯一的URL的一部分,启动后的第一个引号。例如,如果代码中发现的HREF =“http://www.new-site.com”,那么它应该保持 http://www.new-site.com 。使用 substr到删除前的6个字符和最后一个字符的URL的其余部分输出的work._urls 数据集。现在,我们插入的URL代码只是以跟踪抓取到一个数据集名为 work.links_crawled 我们已经和确保我们不再次浏览有。* e7 r7 y& c: w6 ?. [
    /* add the current link to the list of urls we have already crawled */
    $ A7 v$ A+ v* q7 Odata work._old_link;8 a9 z2 k8 R& b- d& h  F3 r  `( `
    url = “&next_url”;
    ) U% G& C+ _6 [0 Erun;, Y5 d+ ]  K2 Q7 R
    proc append base=work.links_crawled data=work._old_link force;7 P; a; s9 J, F8 H/ d
    run;
    + \) `# i9 h4 m! V# T下一步是在数据集 work._urls 的过程中发现的网址列表,以确保:8 f* r# V* b( X' U
    1。我们尚未抓取他们,换句话说URL是不是在 work.links_crawled)。
    ( p7 J3 r# l; Z5 m2。我们没有排队抓取的URL(网址换句话说,是不是在work.links_to_crawl )。
    8 M& f- p/ X- _8 y+ i  ]/*3 d/ e" G$ O- X, @. }
    * only add urls that we have not already crawled' @: G1 q1 d" [! C" `% `
    * or that are not queued up to be crawled- ^$ Y! Z$ @7 T+ z# Q: R1 a: t
    *3 z2 o: K& E. e: y
    */4 J1 _# {' b6 e
    proc sql noprint;
    % O4 @0 Z/ ^3 ~& y0 D$ K) j' screate table work._append as4 O2 D" F5 z- a/ x
    select url1 [) s0 \, ]6 t3 I: R
    from work._urls
    ' a+ `- \" {$ Jwhere url not in (select url from work.links_crawled)
    ; W: J1 `( r  q& }& gand url not in (select url from work.links_to_crawl);
    ; \, m. }, q6 W: O+ A. c$ \/ g8 jquit;
    5 l# \) r' g/ c( u然后,我们添加网址还没有被抓取,而不是已经排队 work.links_to_crawl数据集。- q6 d' r& p1 X
    /* add new links */6 `# Q. @) ]$ g$ P
    proc append base=work.links_to_crawl data=work._append force;% e% P1 S2 ?4 B- R  O7 L
    run;) Q  G) N8 |! u! c: \
    此时的代码循环回到开始劫掠 work.links_to_crawl数据集的下一个URL。
    6 y3 C/ {8 x( u9 a
    zan
    转播转播0 分享淘帖0 分享分享0 收藏收藏0 支持支持0 反对反对0 微信微信
    叶纯萱 实名认证       

    2

    主题

    3

    听众

    107

    积分

    升级  3.5%

  • TA的每日心情
    开心
    2012-5-6 09:13
  • 签到天数: 34 天

    [LV.5]常住居民I

    群组数学专业考研加油站

    群组Matlab讨论组

    群组C 语言讨论组

    群组Linux推广

    群组EXCEL

    回复

    使用道具 举报

    0

    主题

    4

    听众

    35

    积分

    升级  31.58%

  • TA的每日心情
    开心
    2015-7-2 14:33
  • 签到天数: 11 天

    [LV.3]偶尔看看II

    自我介绍
    我是来自浙江工业大学的学生

    群组数学建模培训课堂1

    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 注册地址

    qq
    收缩
    • 电话咨询

    • 04714969085
    fastpost

    关于我们| 联系我们| 诚征英才| 对外合作| 产品服务| QQ

    手机版|Archiver| |繁體中文 手机客户端  

    蒙公网安备 15010502000194号

    Powered by Discuz! X2.5   © 2001-2013 数学建模网-数学中国 ( 蒙ICP备14002410号-3 蒙BBS备-0002号 )     论坛法律顾问:王兆丰

    GMT+8, 2026-5-25 16:29 , Processed in 0.463047 second(s), 66 queries .

    回顶部