Scrapy爬取豆瓣图书Top250数据，在PowerBI中可视化分析

杨利霞

; r3 l6 }' \8 b$ d0 UScrapy爬取豆瓣图书Top250数据，在PowerBI中可视化分析
+ p2 S! u1 ~6 X6 R9 ^. B文章目录
- G0 a6 I% i  }6 m; P- k: L
项目说明
5 M9 l! ]: R9 P; T" i' e; YScrapy框架
网页分析
爬虫代码
0 N% _# }0 `! _: y( B, Oitems
spiders
3 @$ Z, f! N5 w, S" {+ U0 f+ opipelines
main
爬取结果
PowerBI分析
# v/ b- J" w# t分析结果
& S. a  n3 I: I$ z3 O项目说明

8 i7 \2 M+ s6 U, A) t: Q0 a近期在学习Python爬虫，看了很多大佬的项目，厉害又有趣！五一在家把《我们的时代》看完了，在豆瓣上评分后，随便逛了逛，简单浏览了一下Top250的书单。突然想到可以把这些数据爬到本地，后期通过脚本，隔一段时间就自动爬一下，看下有无新书上榜，对爱看书又数据控的人来说还蛮实用的哈哈。

网上搜了一下，爬豆瓣网的案例还挺多的，这里我试着用scrapy框架来爬豆瓣图书Top250的相关数据，再导入PowerBI分析数据，后续做到自动爬数据，一键更新分析结果。

9 f+ u- \$ p4 C豆瓣TOP250图书分析
! z3 t; @! Z/ o) |# `% J
% a1 |  @1 m6 r9 p1 M该网址的数据会不定期更新，感兴趣的同学可以收藏~~~
% a4 V; C) k( \1 ?5 g* D) p7 u
Scrapy框架
5 I0 r& Q+ {3 ?9 r0 P2 K
. c$ Z$ j" s! R, c% ]: E, }网页分析

浏览网站，确定要爬取的数据

爬虫代码

打开Anaconda Prompt，创建scrapy项目scrapy startproject doubanBook

; h8 n' {2 E! c5 l2 L
9 f6 `% b3 w7 N% @进入项目路径，打开doubanBook文件夹

" s! |& G, F' `( R1 Y( l
- H# Y0 Q% ~: }+ c' H
  c8 m8 Y; `  i% p& H, \; b2 A
/ a9 K# I8 c; K/ H  S4 n8 w3 d/ C
. x: a6 B! a- k. I$ W, D
+ i6 G, C  [, }* S  Z: q  Y4 _4 P, sspiders
main

爬取结果
4 J1 f. W6 I# F$ G$ N
% I6 j; W' n' u) x3 C$ d/ @9 \PowerBI分析

• 出版信息列包含了很多信息，直接用power query清洗整理
• 评分人数、评分两列也需稍微处理一下
• 
• 
• 
• 分析结果

  说几点有趣的发现，时间截至2020.5（大家也可以随便点点，说不定就能邂逅一本好书呢~）

  • Top250的图书中86.4%是在1996年——2015年中出版，其中上榜数最多的年份是2006，有22本书。
  • 
  • 
  • 
  • 
    * H. T9 e! M7 a* V
  
  

• 我们平时在选书选版本时，可以优先关注人民文学、上海译文、三联、南海、译林这几家出版社
• 以书上的定价作为参考，考虑网购折扣，假设所有图书都是8折，那么我们只需花费约8000元就可以把豆瓣Top250的所有图书（人类最宝贵的财富）带回家了哈哈哈
  

, H% V/ R6 R  H" N9 E; H————————————————
版权声明：本文为CSDN博主「soleilxy」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/soleilxy/article/details/105931061
  o! {4 {1 ]- b4 O& J! a
6 i8 a/ \' `, \4 N

建模小白12138

感谢楼主分享..............
1 T  ]$ e2 [% T& T3 [, C