Scrapy爬取豆瓣图书Top250数据，在PowerBI中可视化分析

杨利霞

& b  d  L& i+ D
Scrapy爬取豆瓣图书Top250数据，在PowerBI中可视化分析
+ e9 H$ F6 V- y( D& D" {文章目录

项目说明
Scrapy框架
网页分析
7 x8 A" s0 U5 e7 f' e  b; x/ c爬虫代码
- x- D& _# r9 M2 Yitems
2 ^: [. x- \; m+ Y) p. H: _spiders
pipelines
/ Q- W) u9 ^2 Z( |: \7 Gmain
爬取结果
PowerBI分析
分析结果
, U% w# |7 ?, t项目说明
% R) |! f7 S8 S' i# ~
3 @1 p0 I) F2 ]1 A9 ~/ w* \近期在学习Python爬虫，看了很多大佬的项目，厉害又有趣！五一在家把《我们的时代》看完了，在豆瓣上评分后，随便逛了逛，简单浏览了一下Top250的书单。突然想到可以把这些数据爬到本地，后期通过脚本，隔一段时间就自动爬一下，看下有无新书上榜，对爱看书又数据控的人来说还蛮实用的哈哈。
7 i1 B5 @, F( |6 f0 a4 |) j, [
- O8 ]" @1 v4 Z% i: a* [9 j网上搜了一下，爬豆瓣网的案例还挺多的，这里我试着用scrapy框架来爬豆瓣图书Top250的相关数据，再导入PowerBI分析数据，后续做到自动爬数据，一键更新分析结果。
' h9 u6 z3 I7 p3 L4 F) K
- M  M! k0 s* C' F: e* n豆瓣TOP250图书分析
" l/ I4 I% \% K. T7 ]5 ~
该网址的数据会不定期更新，感兴趣的同学可以收藏~~~

" Q0 P5 v" Q& r* @& p; bScrapy框架
  f  h2 e7 Y1 O( c- u
网页分析

浏览网站，确定要爬取的数据

爬虫代码

打开Anaconda Prompt，创建scrapy项目scrapy startproject doubanBook

8 K8 N+ C: Z0 h5 K) L2 R
进入项目路径，打开doubanBook文件夹



- l# d6 s. o4 n& a9 {2 a9 }7 e
, a: U  U! p# L# J& ^# @% \
1 @0 l- S  O( Y4 Z' i
, @2 |4 z0 `4 S/ V2 n. E* N; ]spiders
$ k$ Y9 f  I; L) m1 i* j4 N/ d! F( tmain

爬取结果
8 B1 o3 s6 j. f0 c  }* ^
PowerBI分析

• 出版信息列包含了很多信息，直接用power query清洗整理
• 评分人数、评分两列也需稍微处理一下
• 
• 
• 
• 分析结果

  说几点有趣的发现，时间截至2020.5（大家也可以随便点点，说不定就能邂逅一本好书呢~）

  • Top250的图书中86.4%是在1996年——2015年中出版，其中上榜数最多的年份是2006，有22本书。
  • 
  • 
  • 
  • 
    
  
  ! F5 @2 }& b+ ~, I4 p

• 我们平时在选书选版本时，可以优先关注人民文学、上海译文、三联、南海、译林这几家出版社
• 以书上的定价作为参考，考虑网购折扣，假设所有图书都是8折，那么我们只需花费约8000元就可以把豆瓣Top250的所有图书（人类最宝贵的财富）带回家了哈哈哈
  

3 @* v8 S% O$ I7 d  k" ]$ }* e————————————————
/ {% }- l: X) o1 G版权声明：本文为CSDN博主「soleilxy」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
% P' k; c7 Z* m$ B3 w原文链接：https://blog.csdn.net/soleilxy/article/details/105931061

8 j( `6 d6 g/ b! N( F. ^( J) c
! @9 v# u5 k+ a2 p9 R% S8 \$ h

建模小白12138

感谢楼主分享..............
4 D6 F4 c4 c8 _6 Z. H