Scrapy爬取豆瓣图书Top250数据，在PowerBI中可视化分析

杨利霞

4 H' r" A8 j: E, P5 r3 R! R; `
8 m% q8 s7 r! t3 \Scrapy爬取豆瓣图书Top250数据，在PowerBI中可视化分析
文章目录

4 }. D) ]- m. G) j# t项目说明
3 t! B8 U$ A: Q! X6 i, G+ gScrapy框架
  K+ J' {) v1 `9 a2 I网页分析
爬虫代码
, O% R$ V/ e8 m1 e/ ?/ xitems
' J& F7 I6 {0 Z5 |  M/ R& |spiders
pipelines
+ R: L* n6 I8 m7 Smain
爬取结果
* [, m9 }) u$ C) V4 q! J  m% ZPowerBI分析
分析结果
. ]8 G/ y1 H; K, ?项目说明

, u! ?/ u9 K" E. G6 }+ y" T近期在学习Python爬虫，看了很多大佬的项目，厉害又有趣！五一在家把《我们的时代》看完了，在豆瓣上评分后，随便逛了逛，简单浏览了一下Top250的书单。突然想到可以把这些数据爬到本地，后期通过脚本，隔一段时间就自动爬一下，看下有无新书上榜，对爱看书又数据控的人来说还蛮实用的哈哈。

网上搜了一下，爬豆瓣网的案例还挺多的，这里我试着用scrapy框架来爬豆瓣图书Top250的相关数据，再导入PowerBI分析数据，后续做到自动爬数据，一键更新分析结果。
9 s' K: |: i1 F! G0 b& i
# _3 U- f# \* t+ u1 D2 {4 \( s豆瓣TOP250图书分析
" l& `# y7 T/ K) l
该网址的数据会不定期更新，感兴趣的同学可以收藏~~~

9 k; g* k, C. X9 o- \) n; R4 e  ^Scrapy框架

网页分析
7 }* G$ H0 F5 I8 a: m9 K9 t
浏览网站，确定要爬取的数据

爬虫代码

打开Anaconda Prompt，创建scrapy项目scrapy startproject doubanBook

! V4 |/ ?, i- y( n; ]进入项目路径，打开doubanBook文件夹
) i1 a* w( K. I. |. o# F1 V
3 X) d; J6 t+ |6 M3 m% e1 V2 o

# L. H3 g/ H8 |& \0 [8 `4 Z' v
; w' E* W% ~- `$ N. [! c

  V% d& T! a0 mspiders
  E' }- E) o2 Nmain
3 p& M- k& T" B8 o$ D
. f: K, S1 z0 `, L7 R( ^. N- B. T爬取结果
7 J3 @7 e% Q( @9 ?) _* l6 x
PowerBI分析

• 出版信息列包含了很多信息，直接用power query清洗整理
• 评分人数、评分两列也需稍微处理一下
• 
• 
• 
• 分析结果

  说几点有趣的发现，时间截至2020.5（大家也可以随便点点，说不定就能邂逅一本好书呢~）

  • Top250的图书中86.4%是在1996年——2015年中出版，其中上榜数最多的年份是2006，有22本书。
  • 
  • 
  • 
  • 
    4 O) Q" o- W- r4 D& O( {
  
  

• 我们平时在选书选版本时，可以优先关注人民文学、上海译文、三联、南海、译林这几家出版社
• 以书上的定价作为参考，考虑网购折扣，假设所有图书都是8折，那么我们只需花费约8000元就可以把豆瓣Top250的所有图书（人类最宝贵的财富）带回家了哈哈哈
  

6 o. A+ z5 E( G; R: @8 A! U4 L9 l————————————————
版权声明：本文为CSDN博主「soleilxy」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
: _, @9 _+ A, q4 T1 o9 D8 }( r原文链接：https://blog.csdn.net/soleilxy/article/details/105931061

建模小白12138

感谢楼主分享..............