Scrapy爬取豆瓣图书Top250数据，在PowerBI中可视化分析

杨利霞

+ @; |* f2 b$ o3 D) iScrapy爬取豆瓣图书Top250数据，在PowerBI中可视化分析
; w1 \/ g, ?: w3 L文章目录
: P0 G/ @' I1 C# X
项目说明
Scrapy框架
网页分析
0 Q  m4 ~+ r# d# k# g+ E6 a1 i' B爬虫代码
- u9 A1 C% d- ]items
; p9 b4 E6 r1 a& k) `" t7 I' U# Vspiders
! |% `: e1 S3 _& Kpipelines
) r  f4 h# Z8 Y, v4 Kmain
爬取结果
# ^2 b& t% O! B4 i* T6 T/ O. d/ UPowerBI分析
分析结果
项目说明
5 V8 U% O/ Q- Y0 b
% n, p. A! @+ i; O9 k6 [  P近期在学习Python爬虫，看了很多大佬的项目，厉害又有趣！五一在家把《我们的时代》看完了，在豆瓣上评分后，随便逛了逛，简单浏览了一下Top250的书单。突然想到可以把这些数据爬到本地，后期通过脚本，隔一段时间就自动爬一下，看下有无新书上榜，对爱看书又数据控的人来说还蛮实用的哈哈。
) ?: X, C# ]% Z1 X/ |% Q
网上搜了一下，爬豆瓣网的案例还挺多的，这里我试着用scrapy框架来爬豆瓣图书Top250的相关数据，再导入PowerBI分析数据，后续做到自动爬数据，一键更新分析结果。

0 T7 o4 V, e/ H" j" {) ?豆瓣TOP250图书分析

该网址的数据会不定期更新，感兴趣的同学可以收藏~~~
8 c& K! r. A- ^9 X3 y5 a
. F5 H, }7 l' C$ ?0 HScrapy框架

7 ^: h6 h2 |7 v0 E( x5 @网页分析

, ~! R" P6 g# _浏览网站，确定要爬取的数据

2 K& x- `( m$ U* ?1 S# \爬虫代码

打开Anaconda Prompt，创建scrapy项目scrapy startproject doubanBook

. m& c& e# }/ z; a
) w. y5 f0 H* K! f# h9 M7 r进入项目路径，打开doubanBook文件夹
- p4 q; S; H, {3 ^$ N
2 d8 c4 T/ F) E2 W6 f6 f2 `, U7 c


' a) R3 V, ]* Y5 Y1 w1 W
! f" T: \. `0 m
spiders
* m0 y9 B3 _' t! i+ Q* |8 h- n0 dmain
- @/ G6 t$ F$ ?' k! ]  ^2 `% z
" @9 u. Z3 A$ J1 X0 m7 w爬取结果

0 O; E: ~9 Z& _/ [PowerBI分析

• 出版信息列包含了很多信息，直接用power query清洗整理
• 评分人数、评分两列也需稍微处理一下
• 
• 
• 
• 分析结果

  说几点有趣的发现，时间截至2020.5（大家也可以随便点点，说不定就能邂逅一本好书呢~）

  • Top250的图书中86.4%是在1996年——2015年中出版，其中上榜数最多的年份是2006，有22本书。
  • 
  • 
  • 
  • 
    
  
  + Z, Z/ u* v- S9 v  B

• 我们平时在选书选版本时，可以优先关注人民文学、上海译文、三联、南海、译林这几家出版社
• 以书上的定价作为参考，考虑网购折扣，假设所有图书都是8折，那么我们只需花费约8000元就可以把豆瓣Top250的所有图书（人类最宝贵的财富）带回家了哈哈哈
  7 H2 H8 Z. w$ V

————————————————
" [# C$ Y4 n* Q9 u) n/ e版权声明：本文为CSDN博主「soleilxy」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
2 q; {* N, J" i3 l原文链接：https://blog.csdn.net/soleilxy/article/details/105931061
% `# r9 {) s3 c. u

建模小白12138

感谢楼主分享..............
8 E5 p$ B8 z! @- k+ c