QQ登录

只需要一步,快速开始

 注册地址  找回密码
查看: 2811|回复: 1
打印 上一主题 下一主题

Scrapy爬取豆瓣图书Top250数据,在PowerBI中可视化分析

[复制链接]
字体大小: 正常 放大
杨利霞        

5273

主题

82

听众

17万

积分

  • TA的每日心情
    开心
    2021-8-11 17:59
  • 签到天数: 17 天

    [LV.4]偶尔看看III

    网络挑战赛参赛者

    网络挑战赛参赛者

    自我介绍
    本人女,毕业于内蒙古科技大学,担任文职专业,毕业专业英语。

    群组2018美赛大象算法课程

    群组2018美赛护航培训课程

    群组2019年 数学中国站长建

    群组2019年数据分析师课程

    群组2018年大象老师国赛优

    跳转到指定楼层
    1#
    发表于 2020-5-5 14:51 |只看该作者 |倒序浏览
    |招呼Ta 关注Ta
    % [" C' e+ ^& ~& m* b, X" J9 j
    3 X! z) i4 |. f- N0 y
    / u4 I8 f' f( ]) s. I
    Scrapy爬取豆瓣图书Top250数据,在PowerBI中可视化分析0 g7 _: @# _" }1 Q, {# D
    文章目录
    - ^5 |( Z% s7 q8 Y0 y# w
    7 B- n' ^  Y& Q- t项目说明+ ?. U- I0 @( m% Y  T6 J- ]! h. u6 Y
    Scrapy框架
    4 V* v; Q& [0 L3 k0 i4 O网页分析8 ]( f( e$ p0 M+ |0 U7 P
    爬虫代码
    ' b( ?2 k% M  {* P( k/ Iitems
    & j1 m& @" v5 c; t0 w$ p4 b7 Bspiders& b  E2 i; C9 f/ E" Q1 _1 ?0 j- I
    pipelines
    1 V3 F# u$ ?) T) B+ u7 a& D& R6 Imain
    # k9 [$ K; t* g, R* u& P/ X爬取结果  a' f' q# v5 y
    PowerBI分析% t/ Z3 R, O9 x/ X8 X
    分析结果
    , R0 W' P2 p$ [8 B& K' l- b项目说明& Y! I" f' }+ I- U8 Q

    / e4 T$ J7 D; O9 [4 a近期在学习Python爬虫,看了很多大佬的项目,厉害又有趣!五一在家把《我们的时代》看完了,在豆瓣上评分后,随便逛了逛,简单浏览了一下Top250的书单。突然想到可以把这些数据爬到本地,后期通过脚本,隔一段时间就自动爬一下,看下有无新书上榜,对爱看书又数据控的人来说还蛮实用的哈哈。9 O! i$ D( a& @; ?$ z+ \9 a3 W4 B
      ^" j/ S' f/ M! z! M% Q
    网上搜了一下,爬豆瓣网的案例还挺多的,这里我试着用scrapy框架来爬豆瓣图书Top250的相关数据,再导入PowerBI分析数据,后续做到自动爬数据,一键更新分析结果。
    % ~& X. d& \( H, F0 b- Q5 @' u" C2 m% g# B, ?- f/ f; q- L
    豆瓣TOP250图书分析6 b- I8 N" R# l# J9 J) X% c

    0 j' |; n" y& W% A! N' l该网址的数据会不定期更新,感兴趣的同学可以收藏~~~( j3 S9 Y* n& y  B$ B# g2 v

    9 |1 o7 r% K& ]( |+ W6 @: V: WScrapy框架1 k. H' F1 c5 A, t: ^
    1 B5 r* `  l0 q1 S$ b' J
    网页分析" f& \: w3 {) M4 F; X

    ( \8 J. a" m$ n. r7 Q3 p1 @- k浏览网站,确定要爬取的数据
    + h6 V0 O$ B& {1 C 1.png
    0 w3 q5 F2 |) ?( h  y7 ?爬虫代码

    打开Anaconda Prompt,创建scrapy项目scrapy startproject doubanBook

    2.png
    4 ^( z( ^8 V4 z0 ]( I
    / r' R: O$ M" b& m8 {进入项目路径,打开doubanBook文件夹
    1 o7 [$ A+ S4 x7 {# \# x8 ^; R6 e 4.png $ _4 |( P0 _$ L3 y1 B
    3,.png
    8 h* g7 d$ z$ O4 S6 | 3.png
    ! Y) {4 \$ h- }' L% q, q 5.png
    3 R, F# {4 c  G
    : K% M+ m& \. W  ?! w# U
    & Y6 W3 n* r" `  r  V$ Hspiders 6.png - k' C/ A/ R0 H- D* Y8 l1 ^
    main 7.png ! `% ?1 F# a% }' M4 B; K! O  J
    3 D! ?0 m" p! d1 L
    爬取结果+ R2 \& M, l* u- }( ~" g
    8.png 6 ^! Y; D0 P# U5 D" Q( \) ^
    PowerBI分析
    • 我们平时在选书选版本时,可以优先关注人民文学、上海译文、三联、南海、译林这几家出版社
    • 以书上的定价作为参考,考虑网购折扣,假设所有图书都是8折,那么我们只需花费约8000元就可以把豆瓣Top250的所有图书(人类最宝贵的财富)带回家了哈哈哈
      . m7 O  V8 }8 r/ [- m6 z
      S; w% o5 l) s! c1 P
    ————————————————; }* N7 I# {  z
    版权声明:本文为CSDN博主「soleilxy」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
    ! n2 j- P; H  }原文链接:https://blog.csdn.net/soleilxy/article/details/105931061% O& O) c# \  \# u
    5 T' ^- z6 m: {
    $ m# F; L1 [5 j
    % d+ C' D8 B3 x# c6 n) E

    14.png (138.88 KB, 下载次数: 760)

    14.png

    zan
    转播转播0 分享淘帖0 分享分享0 收藏收藏0 支持支持0 反对反对0 微信微信

    2

    主题

    5

    听众

    338

    积分

    升级  12.67%

  • TA的每日心情
    奋斗
    2021-7-23 00:47
  • 签到天数: 124 天

    [LV.7]常住居民III

    自我介绍
    Hello world!

    群组2013电工杯A题讨论群组

    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 注册地址

    qq
    收缩
    • 电话咨询

    • 04714969085
    fastpost

    关于我们| 联系我们| 诚征英才| 对外合作| 产品服务| QQ

    手机版|Archiver| |繁體中文 手机客户端  

    蒙公网安备 15010502000194号

    Powered by Discuz! X2.5   © 2001-2013 数学建模网-数学中国 ( 蒙ICP备14002410号-3 蒙BBS备-0002号 )     论坛法律顾问:王兆丰

    GMT+8, 2026-7-29 01:43 , Processed in 0.474356 second(s), 59 queries .

    回顶部