Scrapy爬取豆瓣图书Top250数据，在PowerBI中可视化分析

杨利霞

  A+ b9 m2 [( [0 h' D: w+ N& V

( L' ~! C  z" ~# jScrapy爬取豆瓣图书Top250数据，在PowerBI中可视化分析
- b; q  i' v* y; A文章目录

项目说明
* d8 `- ?$ v  tScrapy框架
网页分析
爬虫代码
items
spiders
% e( K. G' i2 Lpipelines
main
爬取结果
PowerBI分析
分析结果
9 c9 m& u3 W; q6 l" d2 c项目说明

; E3 E( U- k0 Q近期在学习Python爬虫，看了很多大佬的项目，厉害又有趣！五一在家把《我们的时代》看完了，在豆瓣上评分后，随便逛了逛，简单浏览了一下Top250的书单。突然想到可以把这些数据爬到本地，后期通过脚本，隔一段时间就自动爬一下，看下有无新书上榜，对爱看书又数据控的人来说还蛮实用的哈哈。
- o7 |' {4 R; g2 R. ?* q1 U8 d
网上搜了一下，爬豆瓣网的案例还挺多的，这里我试着用scrapy框架来爬豆瓣图书Top250的相关数据，再导入PowerBI分析数据，后续做到自动爬数据，一键更新分析结果。

: m3 p4 U2 x/ j  _0 O豆瓣TOP250图书分析
: l$ c% f" S; l, d; i: ?0 M
* H9 Z. v7 J4 ?4 A% T) J该网址的数据会不定期更新，感兴趣的同学可以收藏~~~
9 F3 M3 ~+ h! I$ H
Scrapy框架
" V; ^0 A  m8 N/ a& \2 L3 Q7 Q; i
2 _3 W  N3 w$ V0 v网页分析
8 d/ @& Z$ s# J: q: O. s
浏览网站，确定要爬取的数据
4 h" h+ x% N( p: x  s! h# R- E# N
爬虫代码

打开Anaconda Prompt，创建scrapy项目scrapy startproject doubanBook

; C' L0 F% V6 z进入项目路径，打开doubanBook文件夹
- i8 n$ z' ^. E" D% Q0 b
; I  o$ q" d" }! T9 G! s0 R
$ [" i0 F9 U( j2 o( }



3 R  [# |0 g7 I: Lspiders
main
' @' Z1 j# X$ g  j; _8 C
爬取结果

PowerBI分析

• 出版信息列包含了很多信息，直接用power query清洗整理
• 评分人数、评分两列也需稍微处理一下
• 
• 
• 
• 分析结果

  说几点有趣的发现，时间截至2020.5（大家也可以随便点点，说不定就能邂逅一本好书呢~）

  • Top250的图书中86.4%是在1996年——2015年中出版，其中上榜数最多的年份是2006，有22本书。
  • 
  • 
  • 
  • 
    
  
  

• 我们平时在选书选版本时，可以优先关注人民文学、上海译文、三联、南海、译林这几家出版社
• 以书上的定价作为参考，考虑网购折扣，假设所有图书都是8折，那么我们只需花费约8000元就可以把豆瓣Top250的所有图书（人类最宝贵的财富）带回家了哈哈哈
  

————————————————
版权声明：本文为CSDN博主「soleilxy」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/soleilxy/article/details/105931061
& k% P8 ~  \+ ~8 f0 U

% w# T3 N$ t7 W4 t" `
# D) C! ]/ t5 P4 u5 L7 G* s

建模小白12138

感谢楼主分享..............
1 U( Z; G- g& g& y. E