QQ登录

只需要一步,快速开始

 注册地址  找回密码
查看: 2822|回复: 1
打印 上一主题 下一主题

Scrapy爬取豆瓣图书Top250数据,在PowerBI中可视化分析

[复制链接]
字体大小: 正常 放大
杨利霞        

5273

主题

82

听众

17万

积分

  • TA的每日心情
    开心
    2021-8-11 17:59
  • 签到天数: 17 天

    [LV.4]偶尔看看III

    网络挑战赛参赛者

    网络挑战赛参赛者

    自我介绍
    本人女,毕业于内蒙古科技大学,担任文职专业,毕业专业英语。

    群组2018美赛大象算法课程

    群组2018美赛护航培训课程

    群组2019年 数学中国站长建

    群组2019年数据分析师课程

    群组2018年大象老师国赛优

    跳转到指定楼层
    1#
    发表于 2020-5-5 14:51 |只看该作者 |倒序浏览
    |招呼Ta 关注Ta
    : m/ K$ K" p7 v0 R# ~1 [
    * H. v3 j- S: C) A0 y5 |. H
    7 m: w1 U" G% f" p9 A0 P; I% A- Z
    Scrapy爬取豆瓣图书Top250数据,在PowerBI中可视化分析0 q! c2 p! r& c6 [
    文章目录* U! B6 `; R8 H  ^
    1 V# O" b8 x; J) Y4 F
    项目说明
    8 r2 X6 o. C' \# tScrapy框架
    2 o9 l$ z1 K) M网页分析+ X! B  r1 c  O
    爬虫代码8 _. e5 X& \) ?7 l0 _
    items7 S7 j$ o2 {: h2 k, k! {
    spiders
    - T! |6 y, b: T1 w9 D; R/ l; lpipelines
    2 d( [& f6 E, g4 |main
    : S* p" I/ l7 L) O' }/ s' s爬取结果
    * w/ i& I; a; Y, m+ H' I0 @PowerBI分析
    7 j2 l0 m2 ]6 q) M5 M0 d% J: h7 \分析结果9 b& Y) U5 w; h4 k5 A
    项目说明4 ^% i) g% T  [
    * F3 G+ _) }( @- I
    近期在学习Python爬虫,看了很多大佬的项目,厉害又有趣!五一在家把《我们的时代》看完了,在豆瓣上评分后,随便逛了逛,简单浏览了一下Top250的书单。突然想到可以把这些数据爬到本地,后期通过脚本,隔一段时间就自动爬一下,看下有无新书上榜,对爱看书又数据控的人来说还蛮实用的哈哈。- h7 ]. W2 l) t+ O- z

    : Q8 a# z7 D% d. Z7 P' v' |$ G网上搜了一下,爬豆瓣网的案例还挺多的,这里我试着用scrapy框架来爬豆瓣图书Top250的相关数据,再导入PowerBI分析数据,后续做到自动爬数据,一键更新分析结果。
    3 S1 B; r* K1 z/ j! A9 X* X4 o# L$ h$ V' |
    豆瓣TOP250图书分析
    ; `; R5 y5 W2 Q+ R. d- B0 l: K; k) \3 [2 `8 F' U  N2 {7 v7 Q5 p; z
    该网址的数据会不定期更新,感兴趣的同学可以收藏~~~9 \- V( C2 q/ z, a+ p7 m4 B! H; D( `! ?
    # t0 y+ M! }6 x
    Scrapy框架9 c2 U: V  [1 g4 W4 A+ `

    * B/ M1 w$ R3 H$ q6 t) b网页分析
    " ?% Q# L. y+ K* J3 R: ~& K$ y( j8 y; B  D
    浏览网站,确定要爬取的数据
    ( R+ n4 J8 G+ n 1.png % R3 b, E( ^" b% L( n
    爬虫代码

    打开Anaconda Prompt,创建scrapy项目scrapy startproject doubanBook

    2.png
    ' M+ S8 _; {. _7 y5 Y5 x% L0 P% S2 N
    9 ?8 A. f8 _! z/ l: V' i' I进入项目路径,打开doubanBook文件夹
    6 W% ^7 L5 |1 K+ _ 4.png
    , }& P: |' [4 o' [& @0 U  F 3,.png 6 w  e! j0 V) W: {! y0 u( _
    3.png ' u  j  s- t, y2 u# l: P, S( I* ]
    5.png ! Q" b/ x9 z& b4 L' U

    8 ~) j( y9 T% A5 [0 e+ l! P' b
    ) t6 ~# ~4 X: B& [" hspiders 6.png
    ! s5 p( W9 @: C; u! Vmain 7.png
    % E3 ^3 t) c" X& ]! `5 j9 _$ n. u6 T
    爬取结果: V8 e! S; E0 O- r& I, R! l
    8.png   l9 u) ^! I0 b; @+ D
    PowerBI分析
    • 我们平时在选书选版本时,可以优先关注人民文学、上海译文、三联、南海、译林这几家出版社
    • 以书上的定价作为参考,考虑网购折扣,假设所有图书都是8折,那么我们只需花费约8000元就可以把豆瓣Top250的所有图书(人类最宝贵的财富)带回家了哈哈哈! k; ?' V. f& {& F+ I

    ( n* X. C. s0 b5 Z. u————————————————
    8 Q# k$ k, Y- V1 x2 t; Y版权声明:本文为CSDN博主「soleilxy」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
    , v+ f0 }2 Q5 v- E3 b8 ]原文链接:https://blog.csdn.net/soleilxy/article/details/105931061, u# U$ L8 y3 {0 u. ]
    9 i$ n! ~3 n  A2 n8 w
    " h/ B' n  T+ }3 E9 B7 [5 q7 @" ~
      u* t1 H! ^# M) H* O9 H/ D

    14.png (138.88 KB, 下载次数: 766)

    14.png

    zan
    转播转播0 分享淘帖0 分享分享0 收藏收藏0 支持支持0 反对反对0 微信微信

    2

    主题

    5

    听众

    338

    积分

    升级  12.67%

  • TA的每日心情
    奋斗
    2021-7-23 00:47
  • 签到天数: 124 天

    [LV.7]常住居民III

    自我介绍
    Hello world!

    群组2013电工杯A题讨论群组

    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 注册地址

    qq
    收缩
    • 电话咨询

    • 04714969085
    fastpost

    关于我们| 联系我们| 诚征英才| 对外合作| 产品服务| QQ

    手机版|Archiver| |繁體中文 手机客户端  

    蒙公网安备 15010502000194号

    Powered by Discuz! X2.5   © 2001-2013 数学建模网-数学中国 ( 蒙ICP备14002410号-3 蒙BBS备-0002号 )     论坛法律顾问:王兆丰

    GMT+8, 2026-8-4 18:38 , Processed in 0.429835 second(s), 59 queries .

    回顶部