QQ登录

只需要一步,快速开始

 注册地址  找回密码
查看: 4062|回复: 2
打印 上一主题 下一主题

网络爬虫—利用SAS抓取网页方法

[复制链接]
字体大小: 正常 放大

1341

主题

738

听众

2万

积分

数学中国总编辑

  • TA的每日心情

    2016-11-18 10:46
  • 签到天数: 206 天

    [LV.7]常住居民III

    超级版主

    社区QQ达人 邮箱绑定达人 元老勋章 发帖功臣 新人进步奖 原创写作奖 最具活力勋章 风雨历程奖

    群组2011年第一期数学建模

    群组第一期sas基础实训课堂

    群组第二届数模基础实训

    群组2012第二期MCM/ICM优秀

    群组MCM优秀论文解析专题

    跳转到指定楼层
    1#
    发表于 2012-2-27 15:19 |只看该作者 |倒序浏览
    |招呼Ta 关注Ta |邮箱已经成功绑定
    万维网过多的信息,股票报价,电影评论,市场价格趋势话题,几乎所有的东西,可以发现在点击一个按钮。在分析数据中发现,许多SAS用户感兴趣在网络上,但你得到这个数据的SAS环境呢?有很多方法,如 SAS数据步骤中的代码在设计你自己的网络爬虫或利用SAS%TMFILTER宏 ® 文本挖掘。在本文中,我们将审查一个网络爬虫的总体架构。我们将讨论获得网站的方法到SAS的信息,以及审查内部所谓的SAS搜索从实验项目的实验代码管道。我们也将提供咨询如何轻松定制一个网络爬虫,以适应个性化需求,以及如何具体的数据导入到SAS ® 企业矿工™。0 @2 V% j/ C5 c* r. a. J. O
    简介:互联网已经成为一个有用的信息来源。通常是Web上的数据,我们要使用内的SAS,所以我们需要找到一种方式来获得这个数据。最好的办法是使用一个网络爬虫。 SAS提供几个从Web爬行和提取信息的方法。您可以使用基本的SAS数据步骤中的代码,或SAS文本矿工的%TMFILTER宏。虽然目前无法使用,SAS搜索管道将是一个功能强大的Web爬行产品,并提供更多的工具,网络爬行。每种方法都有其优点和缺点,所以取决于你想实现抓取的,它是最好对其进行审查。# [- `5 ~# t  V4 b0 D

    ' y) o4 d9 G: j1 _' Y& n$ i+ q1 U首先,重要的是要了解网络爬虫是如何工作的。你应该熟悉数据步骤的代码,宏,和SAS过程PROC SQL,然后再继续。6 f! d) h* f, p3 H1 L* H% g0 i: q. n
    网络爬虫概述:一个网络爬虫是一个程序,一个或多个起始地址作为“种子URL”,下载网站这些URL相关的网页,在网页中包含的任何超链接提取,并递归地继​​续这些超链接标识下载Web页。从概念上讲,网络爬虫是很简单的。* n5 R0 L% P$ V; O
    一个Web 履带式有四项职责:
    $ p9 T7 ]4 r8 w; u) t7 j6 o1。从候选人中选择一个网址。/ ?% y! s3 i5 i( w' l
    2。它下载相关的Web页。
    5 m! ]0 X$ u+ l, t  k3。它提取物在网页中的URL(超链接)。
    * b4 Q  P' ^+ A. d* e. t! F3 I: P8 I7 {4。它补充说,未曾遇到的候选集的URL% O0 ?" a* V- |% ]  f
    方法1:在WEB SAS数据步骤中的代码履带式
    6 t; D  ^' D! E% l3 {- i1 J, g首先创建一个网址的网站的Web crawler将开始列表。
    + I* U2 `' e4 v. Z4 Fdata work.links_to_crawl;* ?1 {! M2 ^: n( H0 r' t
    length url $256 ;
    - i9 `$ d5 L0 T* T, qinput url $;7 C" {3 }# B0 p7 @1 X2 q; g0 b
    datalines;4 X  M% q* A. j: w# m
    http://www.yahoo.com
    # j. m0 Z  q: d, zhttp://www.madio.net
    4 b8 m3 d) x8 {$ W  x) w/ `http://www.google.com- v. I: O$ a( T3 z
    ;+ n, E3 \: u/ S  w1 l
    run+ T0 k8 J4 P7 S6 t. W
    为了确保我们不抓取相同的URL一次以上,持有环节已创建一个数据抓取。
    4 Z) ~9 o8 s% q8 [3 K/ i; `" ~) ~当Web数据集将在开始时是空的,但一个网站的网址将被添加到数据集履带式完成抓取该网站。5 q" r! i4 ?! Q3 i; c7 {4 Z! |
    data work.links_crawled;
    * n0 E" r- I  @. ~) g' ?" d: O, Zlength url $256;
    * \7 i6 D/ T+ i0 {% drun;
    & A( }3 _3 J! R' ~6 w9 k现在我们开始爬行!该代码需要我们的 work.links_to_crawl数据集的第一个URL。在第一观察“_N_式1”,网址是投入名为 next_url 宏变量,所有剩余的URL放回我们的种子URL数据集,使他们在未来的迭代。# {/ \6 a' O- E8 L' B$ ?2 \
    /* pop the next url off */
    ( F& A0 ^+ O8 s% I! p%let next_url = ;
    . ?; z* s" |9 |; l$ X- U, rdata work.links_to_crawl;8 i1 d* j" ]" ]" p
    set work.links_to_crawl;  E; z* N/ k! V7 K' Z
    if _n_ eq 1 then call symput(“next_url”, url);
    " x4 w! T4 x/ G. Oelse output;/ g4 Y2 V! o& y: N, _' i( u7 d
    run;0 w2 C5 ^6 l5 \8 M$ X8 l
    现在,从互联网上下载的网址。创建一个文件名​​称 _nexturl 。我们让SAS知道它是一个URL 而且可以发现,AT&next_url,这是我们的宏观变量,它包含的网址我们从拉 work.links_to_crawl数据集。
    0 q3 O5 V% y" J/* crawl the url */: @# B! h8 L, d. k( s! |
    filename _nexturl url “&next_url”* v0 v7 T# b! |* O* [5 f# M7 I. N) I
    建立后的文件名​​的URL参考,确定一个地方把我们下载的文件。创建另一个文件名​​引用所谓 htmlfilm的条目,并在那里把从 url_file.html收集到的信息。
    1 p& c, g. n# h  @! s  |) L/* put the file we crawled here */' K: s2 q6 U( l6 q3 w
    filename htmlfile “url_file.html”7 W1 r; G0 u& k1 f$ D" F& @+ D: y1 V9 ^
    接下来,我们通过数据的循环,把它写htmlfilm的条目文件名​​参考,并寻找更多的网址添加到我们的 work.links_to_crawl数据集。
    % f: ]/ B- h7 S. J3 m/* find more urls */
      M' v: M+ Y& W8 r4 e0 p4 Y: E7 Hdata work._urls(keep=url);4 j: K; w1 `- ^4 a
    length url $256 ;; Z! M& T& U0 v% `' a% V* w, {  O
    file htmlfile;
    ' ]( K; E" C8 c8 ?/ o3 }infile _nexturl length=len;8 f% |6 b' Q# n+ \1 k' ~6 p# Y  Q3 E& W
    input text $varying2000. len;
    - }# i+ w1 f+ c4 _) N" ?: xput text;
    : _& F2 Y" o, _8 ^" C8 }2 r- j! G9 [start = 1;
    5 ~! H& p0 n) f& p1 G4 I+ v: cstop = length(text);4 i3 L. Y- i7 G4 S& G. c7 S
    使用正则表达式一个网站的网址,以帮助搜索。正则表达式的匹配方法文本字符串,如字,词,或字符模式。 SAS已经提供了许多强大的字符串功能。然而,正则表达式通常会提供一个更简洁的方式,操纵和匹配的文本.# B+ x5 D# D7 W1 i, S9 u
    if _n_ = 1 then do;
    ' G. I# H6 o4 W! Y! [retain patternID;
    3 ]: a9 }5 j* z) F) |* l, o4 }pattern = ‘/href=”([^"]+)”/i’;% U9 {$ k, k$ g
    patternID = prxparse(pattern);  d2 |- }  V+ {+ h. q
    end
    ) _8 @$ a! S+ F3 k6 W, ?首次观察到,创建一个patternID将保持整个数据步运行。寻找的模式是: “/href=”([^"]+)”/i’”.,这意味着我们正在寻找字符串“HREF =”“,然后再寻找任何字符串,是至少有一个字符长,不包含引号(“),并结束在引号(”)。在’我’ 目的的手段使用不区分大小写的方法,以配合我们的正则表达式。8 h) [  S8 R9 H; r
    As a result, the Web crawler will find these types of strings:
    . c% c! N0 ]9 x" v* d+ Shref=”sgf/2010/papers.html” / i. ~' T6 D1 E+ y( b
    href=”www.yahoo.com
    $ H# Z/ A; O) W6 }0 o9 ^/ xHREF=”www.google.com
    0 k9 v& A  v* T$ }, zhReF=”http://www.madio.net  h# i7 ]: j5 \- d* ]# x
    现在正则表达式匹配的一个网站上的文字。 PRXNEXT需要五个参数:正则表达式我们要寻找,寻找开始寻找正则表达式的开始位置,结束位置停止正则表达式,一旦发现字符串中的位置,而字符串的长度,如果发现的位置将是0,如果没有找到字符串。 PRXNEXT也改变了开始的参数,使搜索重新开始后的最后一场比赛是发现。7 _9 J8 U, a: q: E
    call prxnext(patternID, start, stop, text, position, length);4 q7 Y( {2 A$ s% Z5 q+ X6 ^+ F
    代码中的循环,在网站上找到的所有环节显示的文本。
    7 b* Q! x$ v  O# C; O8 v8 Ddo while (position ^= 0);! x3 A) _$ B; p- P* s6 r5 g
    url = substr(text, position+6, length-7);
    % c$ K8 b1 T+ j2 Z5 \# Noutput;
    4 e3 J3 g/ i; n9 o8 M) t$ Pcall prxnext(patternID, start, stop, text, position, length);; R3 J' O4 q4 `# p6 J4 w
    end;' p8 P" N. \: d
    run;
    . w1 ?# }1 A% u1 `& V8 `) B1 T如果代码发现一个网址,它会检索唯一的URL的一部分,启动后的第一个引号。例如,如果代码中发现的HREF =“http://www.new-site.com”,那么它应该保持 http://www.new-site.com 。使用 substr到删除前的6个字符和最后一个字符的URL的其余部分输出的work._urls 数据集。现在,我们插入的URL代码只是以跟踪抓取到一个数据集名为 work.links_crawled 我们已经和确保我们不再次浏览有。9 L) R& C! o) y. C6 p# m
    /* add the current link to the list of urls we have already crawled */
    4 O7 p# b6 p9 o) o8 o2 {; n1 ]: Hdata work._old_link;
    % c% u# |0 Q! D) |/ C* @url = “&next_url”;
    5 s, I% o: W9 B1 ~; s( B# hrun;
      n' {- y- F2 k6 S7 cproc append base=work.links_crawled data=work._old_link force;
    ( p/ \# f5 E5 [( ?8 Wrun;3 j, ?+ c% @- }2 `
    下一步是在数据集 work._urls 的过程中发现的网址列表,以确保:3 ~6 r, r/ G$ d9 e! p! ~2 q0 v
    1。我们尚未抓取他们,换句话说URL是不是在 work.links_crawled)。# l0 o8 ?# {- b" Z+ N
    2。我们没有排队抓取的URL(网址换句话说,是不是在work.links_to_crawl )。
    & @4 ?" X: z5 ^" N$ P* R) Z/*' v. g- C  J( a) y; Z
    * only add urls that we have not already crawled5 ^1 c3 T; I, B
    * or that are not queued up to be crawled9 Q8 D9 F5 b5 W" f5 h9 V, P# g
    *
    1 k( k4 T. e. l% v4 l0 z: Q*/
    1 u# N3 m& m4 n- H: w* gproc sql noprint;
    9 O7 k% }# u' B, |% Acreate table work._append as
    / ^0 X6 U3 [* R3 ~4 f; Cselect url- k) r+ `8 ]* p. O
    from work._urls
    # k+ {$ K; R+ Hwhere url not in (select url from work.links_crawled)
    5 ~( P& G* ?0 Y5 r2 M. kand url not in (select url from work.links_to_crawl);
    1 d6 m9 B* c1 @( a3 Y/ squit;( ~- ~, @9 D1 S" H( l7 X8 m
    然后,我们添加网址还没有被抓取,而不是已经排队 work.links_to_crawl数据集。+ ]  l8 E4 {+ V9 E8 |
    /* add new links */. y7 }6 ?+ o' t  r( ^6 f
    proc append base=work.links_to_crawl data=work._append force;4 _) E: B2 A/ c2 o# z
    run;
    6 l5 P# `: J- u- u9 F8 Z此时的代码循环回到开始劫掠 work.links_to_crawl数据集的下一个URL。
    8 |' \3 O4 Y2 r
    zan
    转播转播0 分享淘帖0 分享分享0 收藏收藏0 支持支持0 反对反对0 微信微信
    叶纯萱 实名认证       

    2

    主题

    3

    听众

    107

    积分

    升级  3.5%

  • TA的每日心情
    开心
    2012-5-6 09:13
  • 签到天数: 34 天

    [LV.5]常住居民I

    群组数学专业考研加油站

    群组Matlab讨论组

    群组C 语言讨论组

    群组Linux推广

    群组EXCEL

    回复

    使用道具 举报

    0

    主题

    4

    听众

    35

    积分

    升级  31.58%

  • TA的每日心情
    开心
    2015-7-2 14:33
  • 签到天数: 11 天

    [LV.3]偶尔看看II

    自我介绍
    我是来自浙江工业大学的学生

    群组数学建模培训课堂1

    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 注册地址

    qq
    收缩
    • 电话咨询

    • 04714969085
    fastpost

    关于我们| 联系我们| 诚征英才| 对外合作| 产品服务| QQ

    手机版|Archiver| |繁體中文 手机客户端  

    蒙公网安备 15010502000194号

    Powered by Discuz! X2.5   © 2001-2013 数学建模网-数学中国 ( 蒙ICP备14002410号-3 蒙BBS备-0002号 )     论坛法律顾问:王兆丰

    GMT+8, 2026-5-25 17:26 , Processed in 0.402111 second(s), 64 queries .

    回顶部