Scrapy爬取豆瓣图书Top250数据，在PowerBI中可视化分析

杨利霞

% L: p. A% \" ~* _" n3 a
& h2 X" b( I5 ~3 ^9 qScrapy爬取豆瓣图书Top250数据，在PowerBI中可视化分析
+ ~* u0 ], m5 \7 W$ Y7 g文章目录
, H, v) k8 A# `0 C3 {+ v
项目说明
Scrapy框架
网页分析
爬虫代码
, i1 S5 W* @& w& A; T' d: {3 Hitems
spiders
5 X# Z" S( {- U2 lpipelines
main
爬取结果
PowerBI分析
分析结果
# i+ S+ T6 d7 x( g& K项目说明
, Y4 B6 a2 x6 ^: N
2 O/ q9 ~1 {9 ^; b3 U0 T近期在学习Python爬虫，看了很多大佬的项目，厉害又有趣！五一在家把《我们的时代》看完了，在豆瓣上评分后，随便逛了逛，简单浏览了一下Top250的书单。突然想到可以把这些数据爬到本地，后期通过脚本，隔一段时间就自动爬一下，看下有无新书上榜，对爱看书又数据控的人来说还蛮实用的哈哈。
; T" |8 I5 P1 N9 R
网上搜了一下，爬豆瓣网的案例还挺多的，这里我试着用scrapy框架来爬豆瓣图书Top250的相关数据，再导入PowerBI分析数据，后续做到自动爬数据，一键更新分析结果。
: ~; k& O% f* V
+ M1 r5 b  }# f3 s豆瓣TOP250图书分析
" q/ }( s- m9 P, n  x, V0 V0 e
该网址的数据会不定期更新，感兴趣的同学可以收藏~~~
6 P2 y/ p- N. e% \. a- l
Scrapy框架

网页分析
8 I' a8 T' J0 r4 D
浏览网站，确定要爬取的数据

8 f0 C. j& M9 }- J9 r爬虫代码

打开Anaconda Prompt，创建scrapy项目scrapy startproject doubanBook

* r* \( i+ Q: L0 L* R4 `
进入项目路径，打开doubanBook文件夹



8 y$ x6 v8 t7 k* `8 i# D' V  v8 l1 {
! r+ H, z9 X2 v! ?+ \
. l0 Q( u; e+ p( b$ S
* f8 a' ^8 n7 p  X6 aspiders
8 T9 ~4 A9 k: ~, F6 Tmain
$ `7 `, l# _; e; ]9 U( P; L& L
爬取结果
9 U, s, Z2 o0 W0 |
PowerBI分析

• 出版信息列包含了很多信息，直接用power query清洗整理
• 评分人数、评分两列也需稍微处理一下
• 
• 
• 
• 分析结果

  说几点有趣的发现，时间截至2020.5（大家也可以随便点点，说不定就能邂逅一本好书呢~）

  • Top250的图书中86.4%是在1996年——2015年中出版，其中上榜数最多的年份是2006，有22本书。
  • 
  • 
  • 
  • 
    3 g# H" _6 r, c# v
  
  

• 我们平时在选书选版本时，可以优先关注人民文学、上海译文、三联、南海、译林这几家出版社
• 以书上的定价作为参考，考虑网购折扣，假设所有图书都是8折，那么我们只需花费约8000元就可以把豆瓣Top250的所有图书（人类最宝贵的财富）带回家了哈哈哈
  

————————————————
. C) w, T8 x& h版权声明：本文为CSDN博主「soleilxy」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/soleilxy/article/details/105931061
5 x0 a5 R$ D( G4 _

. k9 m+ S, N! b$ }
6 A$ T2 G' B6 ]3 ?% o! e: c9 I

建模小白12138

感谢楼主分享..............
7 n( t- I" y$ X) ]7 N0 A