QQ登录

只需要一步,快速开始

 注册地址  找回密码
查看: 2813|回复: 1
打印 上一主题 下一主题

Scrapy爬取豆瓣图书Top250数据,在PowerBI中可视化分析

[复制链接]
字体大小: 正常 放大
杨利霞        

5273

主题

82

听众

17万

积分

  • TA的每日心情
    开心
    2021-8-11 17:59
  • 签到天数: 17 天

    [LV.4]偶尔看看III

    网络挑战赛参赛者

    网络挑战赛参赛者

    自我介绍
    本人女,毕业于内蒙古科技大学,担任文职专业,毕业专业英语。

    群组2018美赛大象算法课程

    群组2018美赛护航培训课程

    群组2019年 数学中国站长建

    群组2019年数据分析师课程

    群组2018年大象老师国赛优

    跳转到指定楼层
    1#
    发表于 2020-5-5 14:51 |只看该作者 |倒序浏览
    |招呼Ta 关注Ta
    / r- C* D# l, p% I

    . f2 h( x, }& c6 A4 }  u0 i+ J) w2 s- |, X+ k" o& w
    Scrapy爬取豆瓣图书Top250数据,在PowerBI中可视化分析
    7 ~' b7 _* z" E. d- u: j( A9 {) F文章目录
    7 h, }5 c, N6 J# q! R* Q' T: i* N5 C/ w) U2 c% ~( o! k$ m* M% k
    项目说明
    " u2 _% ~/ H; v' t( x* b* LScrapy框架
    + d$ u! P" p* [. G% l% O网页分析  N/ s& _' _8 z) N+ }2 a2 e% j6 A
    爬虫代码* Y) M: J8 o0 n' i3 A( M" `6 i# E1 b) h
    items, h# p- E! ]; K. x
    spiders) N: S6 f" d& k7 V1 W
    pipelines
    1 T5 L5 n: }" `5 _, zmain( a) z$ L. m; I
    爬取结果
    ! P+ a: g: y" d& \2 |PowerBI分析
    4 ?1 d" ]" {; H1 }# A& \# ]: X分析结果3 {- M1 g4 U4 e9 N
    项目说明( K" y: z% _' }( B
    4 K% v% j: ^* J
    近期在学习Python爬虫,看了很多大佬的项目,厉害又有趣!五一在家把《我们的时代》看完了,在豆瓣上评分后,随便逛了逛,简单浏览了一下Top250的书单。突然想到可以把这些数据爬到本地,后期通过脚本,隔一段时间就自动爬一下,看下有无新书上榜,对爱看书又数据控的人来说还蛮实用的哈哈。
    6 ~# ^% G3 n. e& i5 G3 Z
    8 f, ^! t& N* B: h6 T网上搜了一下,爬豆瓣网的案例还挺多的,这里我试着用scrapy框架来爬豆瓣图书Top250的相关数据,再导入PowerBI分析数据,后续做到自动爬数据,一键更新分析结果。, y( j4 ]# t  A; P: C7 g6 ^

    # {3 Z% t9 u& C" {9 z1 M豆瓣TOP250图书分析
    # v0 @( O3 t) a" M9 N0 V
    0 D5 V( w4 q' A) o' o; B# ^该网址的数据会不定期更新,感兴趣的同学可以收藏~~~
    7 K, y# T7 M6 Y3 O# u/ K
    ' T! S( C2 z) [0 T$ {9 W: Y4 eScrapy框架
    9 f- V  O7 h/ i0 e, z) t0 |8 y* h5 F6 E5 ]" Z
    网页分析
    + {5 x" V1 C# l+ c+ G9 G
    $ y; w6 ^: {' S4 d; [( F) M* q浏览网站,确定要爬取的数据
    & G+ P  c2 ~. Z' h6 z# g# w! R$ j 1.png
    0 L. I% s. Q$ k# T6 L, ]2 J5 [1 U7 c爬虫代码

    打开Anaconda Prompt,创建scrapy项目scrapy startproject doubanBook

    2.png
    ; v' F7 b( e8 c/ U& _$ L) @, `+ T+ u, _6 Y# M) d; h
    进入项目路径,打开doubanBook文件夹6 B0 g" z6 W* n6 y+ L: y2 D* ~& o
    4.png
    4 g+ V; A, E2 @9 z4 O$ r7 H 3,.png
    . `( Y3 j* P; n$ J0 `0 ~7 k 3.png
    2 }! j, @; g! s* x# ]( l 5.png " O& ~5 J& w$ _+ B8 S$ P
    / H  M3 s! r! i) Q! Z# x. t

    4 _* H7 S  Z3 }$ O& w; Z4 F2 Wspiders 6.png
    ) y: F3 o% J7 [  a  W8 Q  z8 jmain 7.png . q" K' A/ n& q) t: l. h' r) H
    * |4 }' H3 j  }6 {, ]2 k
    爬取结果8 y8 l! e7 v! Y0 y& X% v
    8.png 2 L3 I1 M$ e2 e* Q: v1 m
    PowerBI分析
    • 我们平时在选书选版本时,可以优先关注人民文学、上海译文、三联、南海、译林这几家出版社
    • 以书上的定价作为参考,考虑网购折扣,假设所有图书都是8折,那么我们只需花费约8000元就可以把豆瓣Top250的所有图书(人类最宝贵的财富)带回家了哈哈哈7 o: y! E' j5 ~6 G, b! [# i# v+ v
    # q, c' Z3 Z4 i7 [5 y5 `% y: v
    ————————————————2 d$ n+ }% r& |2 ^# ^
    版权声明:本文为CSDN博主「soleilxy」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
    ' q/ T. r; {4 j7 W& f2 U原文链接:https://blog.csdn.net/soleilxy/article/details/1059310613 C; x/ ]5 ?4 c% f

    % l& ~+ F1 S9 x% P/ z9 N
    + j3 S8 |. [2 T/ S
    , O6 G7 W  J" u; ?) A

    14.png (138.88 KB, 下载次数: 760)

    14.png

    zan
    转播转播0 分享淘帖0 分享分享0 收藏收藏0 支持支持0 反对反对0 微信微信

    2

    主题

    5

    听众

    338

    积分

    升级  12.67%

  • TA的每日心情
    奋斗
    2021-7-23 00:47
  • 签到天数: 124 天

    [LV.7]常住居民III

    自我介绍
    Hello world!

    群组2013电工杯A题讨论群组

    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 注册地址

    qq
    收缩
    • 电话咨询

    • 04714969085
    fastpost

    关于我们| 联系我们| 诚征英才| 对外合作| 产品服务| QQ

    手机版|Archiver| |繁體中文 手机客户端  

    蒙公网安备 15010502000194号

    Powered by Discuz! X2.5   © 2001-2013 数学建模网-数学中国 ( 蒙ICP备14002410号-3 蒙BBS备-0002号 )     论坛法律顾问:王兆丰

    GMT+8, 2026-7-29 10:22 , Processed in 0.929629 second(s), 59 queries .

    回顶部