Scrapy爬取豆瓣图书Top250数据，在PowerBI中可视化分析

杨利霞

( j- Z' n4 G& Z' K# ?2 G
& }0 b1 N( G9 n; }0 u
' {* L/ D3 w2 S, \! FScrapy爬取豆瓣图书Top250数据，在PowerBI中可视化分析
文章目录

, l' c$ l: Z, m  U项目说明
) O  X, _1 ^8 }! ]* x/ O8 IScrapy框架
+ v$ _- k; @+ I% g网页分析
爬虫代码
items
spiders
( s' h, \) R6 ^! Epipelines
3 r+ p1 d4 ?7 o; k# ?$ k6 L* @: xmain
, Z! C. {4 J: `$ t* m爬取结果
PowerBI分析
& ~6 r) N, `. \, b1 k分析结果
' a7 i$ b( H: ?4 v# W项目说明

近期在学习Python爬虫，看了很多大佬的项目，厉害又有趣！五一在家把《我们的时代》看完了，在豆瓣上评分后，随便逛了逛，简单浏览了一下Top250的书单。突然想到可以把这些数据爬到本地，后期通过脚本，隔一段时间就自动爬一下，看下有无新书上榜，对爱看书又数据控的人来说还蛮实用的哈哈。

. K8 w0 S; w9 t: q% g4 Q' v+ }' L& F网上搜了一下，爬豆瓣网的案例还挺多的，这里我试着用scrapy框架来爬豆瓣图书Top250的相关数据，再导入PowerBI分析数据，后续做到自动爬数据，一键更新分析结果。

豆瓣TOP250图书分析

/ s# J, z9 j$ Z2 H该网址的数据会不定期更新，感兴趣的同学可以收藏~~~

, X$ f0 y  C& M4 u5 Y: g6 YScrapy框架

5 y) y' ^: g, @网页分析
* r* a9 c9 I# {( [6 R% q
浏览网站，确定要爬取的数据
/ T3 M3 s' [' |; N; L4 N
1 m) Z+ ?  h1 f; `6 W6 l  g* @( D" ?爬虫代码

打开Anaconda Prompt，创建scrapy项目scrapy startproject doubanBook

进入项目路径，打开doubanBook文件夹
2 {) G3 P# O% g

! [  J* N! m" U+ C$ r9 o* _; W1 v
% h# |, L! f! a# s1 }


spiders
, U* _% K4 q! Q( U' w4 H% Jmain
  P  A" s3 }. Q! r* b5 x0 {, |
0 ^5 Y5 L) W: K2 X4 Q: b+ O爬取结果

# |" I; ~1 H# CPowerBI分析

• 出版信息列包含了很多信息，直接用power query清洗整理
• 评分人数、评分两列也需稍微处理一下
• 
• 
• 
• 分析结果

  说几点有趣的发现，时间截至2020.5（大家也可以随便点点，说不定就能邂逅一本好书呢~）

  • Top250的图书中86.4%是在1996年——2015年中出版，其中上榜数最多的年份是2006，有22本书。
  • 
  • 
  • 
  • 
    
  
  

• 我们平时在选书选版本时，可以优先关注人民文学、上海译文、三联、南海、译林这几家出版社
• 以书上的定价作为参考，考虑网购折扣，假设所有图书都是8折，那么我们只需花费约8000元就可以把豆瓣Top250的所有图书（人类最宝贵的财富）带回家了哈哈哈
  : p2 [. r. W6 L: X* e

————————————————
版权声明：本文为CSDN博主「soleilxy」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
3 A9 I! h. `' O, {! C3 f$ n原文链接：https://blog.csdn.net/soleilxy/article/details/105931061
2 a) c% F0 q7 w% y/ S, i4 L

7 O8 Y  N. z. U. N

建模小白12138

感谢楼主分享..............
5 n$ ?* z. R# c4 Y; h4 v( c8 R