QQ登录

只需要一步,快速开始

 注册地址  找回密码
查看: 3210|回复: 0
打印 上一主题 下一主题

[其他资源] 基于Web的爬虫系统设计与实现

[复制链接]
字体大小: 正常 放大
杨利霞        

5273

主题

82

听众

17万

积分

  • TA的每日心情
    开心
    2021-8-11 17:59
  • 签到天数: 17 天

    [LV.4]偶尔看看III

    网络挑战赛参赛者

    网络挑战赛参赛者

    自我介绍
    本人女,毕业于内蒙古科技大学,担任文职专业,毕业专业英语。

    群组2018美赛大象算法课程

    群组2018美赛护航培训课程

    群组2019年 数学中国站长建

    群组2019年数据分析师课程

    群组2018年大象老师国赛优

    跳转到指定楼层
    1#
    发表于 2022-9-14 17:06 |只看该作者 |倒序浏览
    |招呼Ta 关注Ta
    基于Web的爬虫系统设计与实现
    - G9 K- }$ s& o; n5 j- k. N
    6 G2 @7 y, d( f7 V' C全套资料下载地址:https://download.csdn.net/download/sheziqiong/85585280
    0 T. L" k3 ~4 k. v4 r1 T2 k$ [5 T全套资料下载地址:https://download.csdn.net/download/sheziqiong/85585280- i) @: U4 l  q0 J& J: M- ~  I
    目 录/ K1 G+ _- j* P1 C3 ]
    1 绪论 1: l1 h- m* s9 v+ r, ], f
    1.1 选题背景及意义 1
    0 ~; v1 Y# Q' H9 @1 `  k0 B! w5 [1.1.1选题背景 1
    ' I& P! \& d) F, K4 t/ d1.1.2目的及意义 1' M: Y- @& q- q/ ~: f: p
    1.2 国内外发展现状 25 B, H5 J% h" `
    1.2.1 爬虫技术概述 2
    5 g8 h( J  F7 T# Q& A. X% S1.2.2 爬虫设计者所面临问题和反爬虫技术的现状 4( R1 w/ ]0 U" ^
    1.3 研究主要内容 7, q& w0 b) h7 O8 v. [# j/ M* Q
    1.4 章节安排 8: d* a( H) S/ U4 g+ w
    2 系统开发环境及技术介绍 9
    9 z% [9 f, ~  b% Y) s% l2.1 Robot协议对本设计的影响 9' f7 Y  Z* z# v- D! j/ M; i( Z( _
    2.2 爬虫 10
    + n. H' x' Y) q- z1 I: w, l7 p2.2.1 工作原理 10
    * F2 c; F7 U( a, t# u: b2.2.2 工作流程 10
    2 @6 A! w* n2 K: O0 y& j/ M2.2.3 抓取策略 10: y9 J1 w4 f7 Y& ^7 P/ U# I. f
    2.3 Scrapy架构 11, d& {3 \: K0 c9 p& L' N
    2.3.1 Scrapy:开源爬虫架构 11
    4 V: S7 r. u5 n2.3.2 Scrapy框架结构 11
    * F; O* ?. [( E9 w% M2.3.3 两种继承的爬虫模式 136 b0 [2 p' S) P& z3 X/ S
    2.4 MongoDB数据库 14
    5 j4 Y, G8 t0 T2.4.1 NoSQL数据库介绍 14  O4 z" C/ [, k! c% a" ?; r
    2.4.2 MongoDB数据库介绍 155 a; r. _; |# a; `
    2.5 python web框架Django 15
    ; Q5 a& O' w2 V% _; Z2.5.1 Django框架介绍 15" U6 I, o. |; U% x$ k# b" ~9 d% Z
    2.5.2 MTV模式 157 v+ c' u% B& x# U
    2.5.3 ORM模式 15
    $ U; C/ {  \" I% d- j3 B2.5.4 template模板语言 16; }; T8 T8 H& C0 W" P
    2.5.5 Django工作机制 16, Z- H  O3 F+ `$ t: f
    2.6 semantic UI开发框架 170 C$ i7 c7 D: O1 Y( @- e) _0 E' U* V
    2.6.1 semantic介绍 174 z4 [/ V+ K1 q& j+ l$ B" M
    2.6.2 semantic开发 17
    % ?. l) ^! `8 Z  |8 {/ T2.7 高德地图API 17
    ) j' f1 T3 ~, @4 t3 可行性分析及需求分析 195 r' P, C; r0 A( h6 g% a. H3 G
    3.1 业务需求分析 19
    3 H/ ~7 Y+ E7 K" A5 E* S' K# }3.2 功能性需求分析 19
    8 M8 ?; `. B  n9 H3.2.1 数据爬取功能 19
    $ Y7 b; y4 L' a( M3 h/ M+ G& X3.2.2 数据可视化功能 20* S: r. s" S# J/ F
    3.3 可行性分析 21
    - r* k5 [& |2 k+ r, f& A1 v; @3 d* L3.3.1 技术可行性 21
    - M7 h5 y$ G& G* A0 T' }6 w3.3.2 经济可行性 21
    ; L0 g0 @6 c7 g' W  C( r3.3.3 法律可行性 22
    1 X8 C" L& t% p9 @4 总体设计 23( O" p$ `( _8 ?! H5 P
    4.1 系统逻辑层次 23
    6 b7 y3 N; }7 F% Q! }0 R, q! f4.2 系统分布式设计 24
    4 F  x( c8 G% @/ X. P! v$ X3 F8 @4.3 系统功能设计 253 h- J1 h  V8 I9 T% y; e
    4.4 系统数据库设计 26- [3 z3 g/ F, m2 V
    4.4.1 数据库环境搭建 26- L5 x2 O% q$ y5 r9 Y8 |# V8 v
    4.4.2 数据库表设计 27& m. G. S# \: B9 W, k, V  p
    5 功能模块的设计与实现 28
    ! E0 |* Z, X+ _4 ]# b5.1 数据爬取模块 28
    - n" H5 ~* h4 [# p3 U+ w6 a5.1.1 爬取策略的设计 28
    1 t" s# H; n2 K2 `4 M5.1.2 网页数据提取 30; I, x) `: h! O  _) g
    5.1.3 去重与增量爬取 32/ F. \8 N8 f( |
    5.2 反反爬虫模块 337 i6 @, ~" a/ W4 ?1 v/ R1 T
    5.2.1 模拟浏览器行为 33- z* {5 R0 ^% x
    5.2.2 动态代理IP 35
    . Z4 v7 v2 a) g5.2.3 爬虫异常处理 360 @5 V3 o) B; g$ o3 m
    5.3 数据存储模块 37/ p2 N" J2 M0 T9 `2 m, ?4 W
    5.4 数据可视化模块 38
    * U+ S( b0 D9 w6 功能模块测试 42/ w! n6 w* J, ]& r5 e+ ^8 M
    6.1 测试环境及工具 42
    % m5 e$ F' T% i) Z# {5 J6.2 系统功能测试 42  J& p$ A% [0 K; K
    6.2.1 数据爬取功能测试 42
    : B1 Y! j4 g& f3 b* F7 [5 D6.2.2 数据存储功能测试 44
    2 h+ w6 V9 ?6 r4 b! r4 P6.2.3 数据反反爬虫功能测试 46
    0 W9 n& q( u9 @, d& S1 `( t# t1 k6.2.4 数据可视化功能测试 47
    1 M3 g+ I/ N0 n  }& P) v+ ?7 f结束语 48
    ' }: N: j4 `: q* n' Q参考文献 490 J9 y  U. f* k- @3 a  z# A5 ^
    致谢 50( n8 p" d# x3 G) s
    3 可行性分析及需求分析
    6 n7 L8 }, N2 \# D6 S3.1 业务需求分析, Z2 ^3 W1 Y6 }- h  E
    本次通过对链家网广州二手房房源网站进行了研究分析,目标实现一个房源信息爬取的系统。本系统被用来解决互联网上关于房源信息繁杂,房源信息分散,无法通过短时间的用户浏览获得所需要的所有数据,其房源推荐系统数据来源严重不足等问题。本系统的目标是将链家网广州二手房的房源数据爬取下来,存储为较为干净的数据源,为房源推荐系统和数据分析者提供房价分析所需要的数据。
    6 ~( y$ I0 N/ h. i; u& ~本系统的基本业务是围绕二手房房源信息展开的,应该完成的基本业务功能应该包括两方面的内容:5 D1 ~# R( L+ s2 O+ h
    1.系统需要爬取链家网上的二手房房源信息6 q5 p  Q2 w! }, h, }  v, @
    本系统本身并不生成房源信息数据,它所获得的房源数据来源是互联网房屋交易网站链家网。因为链家网并不向用户开放自己的数据库,所以系统需要通过爬取技术将来源网站上的所需数据获取得到。: e$ d4 Q+ W( [8 x! V
    2.系统需要对爬取到的数据进行数据可视化
    , A  R+ z% V1 Y# t7 s本系统获取到的数据是存储在数据库中的,当需要对爬取数据进行查看时,特别是爬取到的房源数据量很大的时候,数据查看很不方便,而且数据库浏览界面太过单一,无法突出数据特点,所以通过使用界面以数据可视化的形式将爬取到的房源数据展示出来。9 f. z7 y. v" E( d, n+ l8 T% D
    3.2 功能性需求分析
    5 H  _4 l# D/ E( ]) W1 o3.2.1 数据爬取功能9 G6 p# W4 Q  I# d! ^: R" A8 y) m
    数据爬取功能是指将房源信息数据从数据来源网站爬取下来的功能。本系统是面向二手房信息的分布式爬取,原始数据来源于链家网广州二手房。分布式爬取是使用一个Master服务器和多个Slave服务器快速的对网页进行爬取,加快爬取速度和效率;Master端负责对目录页中的URL进行爬取和存储,Slave端负责对详情页的URL进行爬取和存储。% w% N+ {" b) n' O1 D2 q

    + Y5 j  F0 p! |" Z4 _2 Iimport scrapy
    ) L1 R) u" U8 g6 F. nfrom scrapy.http.response.text import TextResponse8 s/ k/ Q, T8 q1 r1 g
    from datetime import datetime
    & k+ s0 @/ j) q0 Z; [) Cimport hashlib. p7 l9 e! [' x- l! i

    / J1 g- u& E$ C; \9 \$ O5 Xfrom scrapy_lianjia_ershoufang.items import ScrapyLianjiaErshoufangItem# \" v5 a0 v' u1 N

    $ F+ @7 Z' Y& X
    ) Z" I1 l9 L/ f, s+ m- Zclass ErshoufangSpider(scrapy.Spider):7 d. J6 o3 S' D) `2 T5 O- F
        name = 'ErshoufangSpider'
    ) p7 V* k: T' ]
    4 Q) ^$ i: q8 e& H    def __init__(self, name=None, **kwargs):
    1 l+ O4 W& {: S3 S! v7 p        super().__init__(name=None, **kwargs)* l2 u3 }6 U) i) M! D) _
            if getattr(self, 'city', None) is None:
    5 i- |4 w  `) A$ m            setattr(self, 'city', 'sz')
    0 h4 D' w. ^+ C. z        self.allowed_domains = ['%s.lianjia.com' % getattr(self, 'city')]
    9 x) f" r" N9 F# m6 E9 u0 M; ?8 }- e- z8 e7 b$ l
        def start_requests(self):
    4 z* e; ]3 J- P' m6 I, ]        city = getattr(self, 'city')# V; C  B% c% ~
            urls = ['https://%s.lianjia.com/ershoufang/pg%d/' % (city, i)
    " ~7 B+ H' d& h, ^) `                for i in range(1, 101)]
    1 H  S/ o& z/ ]0 E! ~        for url in urls:; Q: W* s$ u7 |/ {3 ^
                yield scrapy.Request(url, self.parse, headers={'Referer': url})
    % g5 r8 L  O6 l% z; e; ?! g4 o6 X. I+ A
        def parse(self, response: TextResponse):
    : E. y/ K9 s1 T3 Z' j        items = response.css('ul.sellListContent li')
    9 u/ u' @5 g6 W        for li in items:8 i' D" Y% G5 k( E
                item = ScrapyLianjiaErshoufangItem()* c" {' {9 K; A) k6 ^1 }4 R
                item['title'] = li.css('div.title a::text').get().replace(':', '').replace(',', ' ').replace("\n", '')
    * F% Y/ F: b/ Z4 {3 j* N" R% z            house_infos = li.css('div.address .houseInfo::text').re(4 _0 Y5 p8 ?6 b; t0 ?1 X1 g  @
                    r'\|\s+(.*)\s+\|\s+(.*)平米\s+\|\s+(.*)\s+\|\s+(.*)\s+\|\s+(.*)')
    6 N* D! v( p6 j. G            item['room'] = house_infos[0]/ Y2 n) b" {% h
                item['area'] = house_infos[1]: N% n6 i1 |1 }
                item['orientation'] = house_infos[2]) `/ L% K* a) t* }- @
                item['decoration'] = house_infos[3]
    5 B) T( \. w' d' L6 N            item['elevator'] = house_infos[4]
    : Q! [4 Z7 X) ]6 O            item['xiaoqu'] = li.css('div.address a::text').get()* ^1 |, R8 k4 I' r4 J* y% h0 |
                item['flood'] = li.css('div.flood .positionInfo::text').get().replace('-', '').strip()8 E0 _4 c! b# t& X9 \; \
                item['location'] = li.css('div.flood .positionInfo a::text').get(): r$ e9 k8 K6 P2 u' `" \$ J
                follow_infos = li.css('div.followInfo::text').re(r'(.*)人关注\s+/\s+共(.*)次带看\s+/\s+(.*)发布')& B, h2 ]7 T: g# e: e
                item['follow_number'] = follow_infos[0]
    4 V( q7 g1 S% |            item['look_number'] = follow_infos[1]
    , [: K* C; ~6 ?0 o' j9 a4 [            item['pub_duration'] = follow_infos[2]0 v5 v3 s7 I* `6 `! x4 u! X
                item['total_price'] = li.css('div.priceInfo div.totalPrice span::text').get()
    0 b6 f3 H* j: `% s7 g: ?/ f5 I            unit_price = li.css('div.priceInfo .unitPrice span::text').re(r'单价(.*)元/平米')8 U) ~' M  u* h8 u4 U: S$ g. B
                item['unit_price'] = unit_price[0]
    7 V: D0 ~5 q& H5 \' U) P            item['total_unit'] = li.css('div.totalPrice::text').get()
    % V4 y. h0 x' k- h) a# X            item['crawl_time'] = datetime.now().strftime('%Y-%m-%d %H:%M:%S')
    1 O  t5 w" s. p4 D9 Q            item['house_id'] = self.genearteMD5(''.join((str(item['title']), str(item['room']), str(item['area']),  v: N3 f- l# H0 c; e  ~* R' E
                                                             str(item['orientation']), str(item['elevator']),
    , G$ w  V6 @8 T% O  h                                                         str(item['xiaoqu']),! i; a, v. z3 g1 y* T+ v+ _
                                                             str(item['flood']), str(item['location']))))
    3 Z2 F8 Y6 j9 S% W            yield item3 Z+ x" n7 M% A! Z! l

    8 D0 [2 f/ s  k+ P. J5 L    def genearteMD5(self, text):
    + T; ^% z( H# `        # 创建md5对象
    9 P8 W, P; ?% a" Y1 |        hl = hashlib.md5()% \5 k& N0 S) B& A: u0 _% k
            hl.update(text.encode(encoding='utf-8'))  ?7 I0 @; D3 q6 t7 T
            return hl.hexdigest()
    ' e" ]& ~" N% L1 r7 m) L3 e
      g1 l# J) h: G( C. o
      e3 m2 y5 o7 `" e: ~18 Q; O0 G# K7 A* v8 e
    2+ u# `1 J$ Q: k0 u9 U* n4 s
    3# \/ c4 I' X0 @0 L" q6 J
    43 `- g' d% a( d1 ?' v
    5+ E6 x& f, ~* _& @) ]' F( ]. M, X7 r
    6) h* ?  G0 ]) I9 W9 q1 B: j  }
    7. @2 i; @0 C% g, |6 s& G" k7 n
    8
    8 U9 P& ^5 w$ z3 C; J9
    0 F6 I4 I  j% l1 n7 H/ P10
    ; o2 Q' K$ w/ `8 y% A+ Z11; f; V1 n6 G; _! E& J$ ^
    12
    . _5 l; u$ ]1 W* {* {13) H/ L: J( k0 d$ i' {( e
    14$ z/ t8 [7 q! J- h* G
    15
      f6 p5 g2 Y# T& ^4 ]7 F169 L/ c9 C) f& w1 E* m
    17$ m7 |, L. O( P, Y
    18
    ( {4 d* b. m4 }% Q* l7 b198 [% K# n) c4 z* d
    20/ I' |. m& G) g6 t4 C" R: t
    21
    9 O  H# k2 q! U8 y" |9 m5 z7 A22/ h* }0 L2 F, P$ R3 U
    23
    $ o% a; c% Y5 s24
    3 V) f. Y  ?. T# ~# }2 `- u25; |4 e9 i% U3 @& z4 {
    26# b# s) Z& [% N( c( T8 I6 U7 r2 R5 x
    27. ~* S. ^) [+ r3 Y+ }- k
    28) B' r1 I# D5 x0 V7 p7 l
    29- \" Y0 B& v5 K  j: p! ]
    30
      Z4 L/ W# ]8 B4 K+ j$ _3 @31
    # _' m1 U+ i2 f32
    5 V7 [1 B: ?, p6 u) _+ p/ K337 }' a1 f0 `9 _; O8 I  e( j" k+ B  m
    34
    , z9 X5 u5 s' f: \9 ?352 d! Q* _8 z' E( ?; t3 N
    36
    1 T4 E. {% M( i, X" ?) X37
    " W$ n5 x; s2 @) `2 w0 c. b! Y& u, q38
    9 L( X* H# ^9 b) G% {) n. R! O39; L+ z* \( |& [. Q( ~
    40. l6 `7 _$ {  a, o, f: M8 k
    41
    9 O* _: o" ^# ^5 q0 I' J42
    ' z; o0 Y6 `2 G+ I/ W; F# f438 p5 Z7 I3 M; H; N1 f5 ~
    44
    5 A. W; G* R4 ^# j45
    % a6 v8 g  V6 I46
    / b) b' i' K# {# ]1 t8 c47
    1 o4 M# ^5 A- H: ~& f48
    " Y0 f" b( y; c8 h! ]% E% R2 K. H. l7 b49
    + ~3 ^! K& k( N7 z505 k2 t' m( B; h
    51
    5 X# _% w5 D+ q52
    0 {/ Y( |4 y  F% t; k1 L53! C/ a, P& v5 P: g" U( `
    54* c% c) b. w; M7 C4 Y  t' X0 k( I
    55
    ( y% P8 _7 ]- k- x56
    ; T3 J# L0 g1 C( R$ i- I573 f% v" U' Z9 a7 L
    58
    # a; w/ n% E3 @; w59- Q  Z6 W) X- [* I
    60
    : \2 J9 z) w5 |/ @' h1 d7 C# m& p

    6 E: T$ o4 ~& q" [7 l( T5 F0 x) B$ l! W: e5 J# q

    ( `. R0 ^. n  D' K
    & D+ t6 ]- O$ z3 {/ S# G
    " G  y/ x3 n! K: b/ p6 P( @: ?! T* g  n
    5 G. C2 ?  x1 e, M  o( o, y
    + C9 f- I+ z' @2 [
    - [7 P  X3 K. {0 ]$ O4 n3 g
    2 v8 v% H% Q( Z  L" J

    " E8 h: ]6 }3 U/ Z( V6 G6 H( Z$ B5 ^( z- @3 S) N# I: e' J
    3 Q' o* F, O* u( f' e

    $ ~+ Y5 [" {0 o. m: U5 ^
    * @) y7 x$ i" |全套资料下载地址:https://download.csdn.net/download/sheziqiong/855852802 N8 z( t+ V5 M! Q1 T3 s" x1 I
    全套资料下载地址:https://download.csdn.net/download/sheziqiong/85585280
    * \' Q4 m& V- D9 W: `4 S8 |+ l————————————————3 e( }! \) U2 m% W5 [
    版权声明:本文为CSDN博主「biyezuopin」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。% i, _9 a7 B" y
    原文链接:https://blog.csdn.net/sheziqiong/article/details/1268144182 Y% R: J/ ]& V; ?, L
    8 F  `& }( F, c, c2 u7 E5 r

    # p* f. C+ B; p- [
    zan
    转播转播0 分享淘帖0 分享分享0 收藏收藏0 支持支持0 反对反对0 微信微信
    您需要登录后才可以回帖 登录 | 注册地址

    qq
    收缩
    • 电话咨询

    • 04714969085
    fastpost

    关于我们| 联系我们| 诚征英才| 对外合作| 产品服务| QQ

    手机版|Archiver| |繁體中文 手机客户端  

    蒙公网安备 15010502000194号

    Powered by Discuz! X2.5   © 2001-2013 数学建模网-数学中国 ( 蒙ICP备14002410号-3 蒙BBS备-0002号 )     论坛法律顾问:王兆丰

    GMT+8, 2026-7-9 13:52 , Processed in 0.314893 second(s), 50 queries .

    回顶部