Scrapy爬取豆瓣图书Top250数据，在PowerBI中可视化分析

杨利霞

5 z. Z0 P* C- \5 G: ]' g
1 c; A4 ^) D" H0 V
Scrapy爬取豆瓣图书Top250数据，在PowerBI中可视化分析
7 B3 n$ Y" {  T# D% Z) Z- g文章目录
" n3 Y: Z& z) o  @, n3 c
项目说明
Scrapy框架
网页分析
爬虫代码
, m: y: U7 W1 f% y, |- [% v7 sitems
spiders
pipelines
main
& p: w: X" ~& W爬取结果
, I  |' p4 D! d1 b, f; l% p; TPowerBI分析
分析结果
( y2 S; T# K/ h4 Z/ V项目说明
9 D. t5 D; R( o# c- w- a3 H* [
" L% J  R# K1 I0 c近期在学习Python爬虫，看了很多大佬的项目，厉害又有趣！五一在家把《我们的时代》看完了，在豆瓣上评分后，随便逛了逛，简单浏览了一下Top250的书单。突然想到可以把这些数据爬到本地，后期通过脚本，隔一段时间就自动爬一下，看下有无新书上榜，对爱看书又数据控的人来说还蛮实用的哈哈。
8 `/ }. X. q% q9 f/ x  Q
# z1 Q# ?7 Y3 n% N2 x  f网上搜了一下，爬豆瓣网的案例还挺多的，这里我试着用scrapy框架来爬豆瓣图书Top250的相关数据，再导入PowerBI分析数据，后续做到自动爬数据，一键更新分析结果。
% n' }4 d$ {& h  I8 P! L
豆瓣TOP250图书分析

该网址的数据会不定期更新，感兴趣的同学可以收藏~~~

, P4 |& ^/ f  {Scrapy框架

, ~" J! \- S: P1 {. d! M. \) q网页分析
9 i+ _; x0 S7 T
. R( I" i# m/ O& k$ t浏览网站，确定要爬取的数据

爬虫代码

打开Anaconda Prompt，创建scrapy项目scrapy startproject doubanBook

0 V- D+ p3 l$ w% o4 `进入项目路径，打开doubanBook文件夹


% @& r2 {( d, ?- `# _/ S8 ]
- R5 m7 \) p$ U. R


+ V* ^- W6 w; s5 espiders
main

爬取结果

4 o7 r$ k2 F! LPowerBI分析

• 出版信息列包含了很多信息，直接用power query清洗整理
• 评分人数、评分两列也需稍微处理一下
• 
• 
• 
• 分析结果

  说几点有趣的发现，时间截至2020.5（大家也可以随便点点，说不定就能邂逅一本好书呢~）

  • Top250的图书中86.4%是在1996年——2015年中出版，其中上榜数最多的年份是2006，有22本书。
  • 
  • 
  • 
  • 
    0 W4 \3 r" U0 J
  
  

• 我们平时在选书选版本时，可以优先关注人民文学、上海译文、三联、南海、译林这几家出版社
• 以书上的定价作为参考，考虑网购折扣，假设所有图书都是8折，那么我们只需花费约8000元就可以把豆瓣Top250的所有图书（人类最宝贵的财富）带回家了哈哈哈
  / A9 @3 N1 G/ _: S' c

————————————————
版权声明：本文为CSDN博主「soleilxy」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/soleilxy/article/details/105931061

2 ^$ G/ }; a( A3 `# s+ `' {/ m
) z, r2 S6 u; z+ C* d  G) p
' e& q: {7 V0 m, \5 w8 a  }0 M

建模小白12138

感谢楼主分享..............
9 y. P8 u$ v% |6 O& O" e