Scrapy爬取豆瓣图书Top250数据，在PowerBI中可视化分析

杨利霞

9 Y# z3 v% V' }
% d5 g9 O4 H, a7 C
; T" s/ \4 }  M% E! Y9 k6 V  yScrapy爬取豆瓣图书Top250数据，在PowerBI中可视化分析
- ]) U4 ^1 l& }; Q: [3 l+ k文章目录

; k9 }8 e7 M, r/ w7 n项目说明
Scrapy框架
8 P' B, N  V* T' C, s" l7 T网页分析
爬虫代码
items
1 q4 Y) R9 u1 q* v7 Z& y4 pspiders
pipelines
4 F4 h6 d  H8 `6 Dmain
& X2 ?7 r5 S7 N# A爬取结果
/ O3 c0 v& v  _, {4 L; a" HPowerBI分析
$ ]  h. J1 G% l3 N, E( c分析结果
  H' V  i0 H7 [1 s1 w8 O项目说明
) p0 N$ g& t, l5 b
; I6 q! |! L! {; o2 O1 B1 X/ u近期在学习Python爬虫，看了很多大佬的项目，厉害又有趣！五一在家把《我们的时代》看完了，在豆瓣上评分后，随便逛了逛，简单浏览了一下Top250的书单。突然想到可以把这些数据爬到本地，后期通过脚本，隔一段时间就自动爬一下，看下有无新书上榜，对爱看书又数据控的人来说还蛮实用的哈哈。

1 ~, w  m  V$ R/ z. w" c1 a5 R8 i网上搜了一下，爬豆瓣网的案例还挺多的，这里我试着用scrapy框架来爬豆瓣图书Top250的相关数据，再导入PowerBI分析数据，后续做到自动爬数据，一键更新分析结果。
; F. O% `' O( e5 c2 t& \
豆瓣TOP250图书分析
0 T- N6 x4 h; L$ N  V
0 q& ^. r* U5 G4 E% m该网址的数据会不定期更新，感兴趣的同学可以收藏~~~

Scrapy框架
4 `' l! k! C& @/ X; O
% F" \: R$ V. Q2 G网页分析

浏览网站，确定要爬取的数据

  C1 i7 P, {( b. ^爬虫代码

打开Anaconda Prompt，创建scrapy项目scrapy startproject doubanBook

进入项目路径，打开doubanBook文件夹
9 N# A! V' j( q/ \' ~8 j
9 E1 \0 s+ u* V( v  o; c' [
6 T, U, }4 I3 H2 C" M5 P



: ?) C: n: o, Z% \( D5 yspiders
main
8 y4 W9 g9 e- l+ d- U+ f
: L4 C; _& L6 ]5 c/ S爬取结果
0 x( q' m; Z3 N1 J
PowerBI分析

• 出版信息列包含了很多信息，直接用power query清洗整理
• 评分人数、评分两列也需稍微处理一下
• 
• 
• 
• 分析结果

  说几点有趣的发现，时间截至2020.5（大家也可以随便点点，说不定就能邂逅一本好书呢~）

  • Top250的图书中86.4%是在1996年——2015年中出版，其中上榜数最多的年份是2006，有22本书。
  • 
  • 
  • 
  • 
    
  
  ( Y1 p3 [- w2 N  [/ V

• 我们平时在选书选版本时，可以优先关注人民文学、上海译文、三联、南海、译林这几家出版社
• 以书上的定价作为参考，考虑网购折扣，假设所有图书都是8折，那么我们只需花费约8000元就可以把豆瓣Top250的所有图书（人类最宝贵的财富）带回家了哈哈哈
  + M! U+ y* u7 s2 w

————————————————
版权声明：本文为CSDN博主「soleilxy」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/soleilxy/article/details/105931061


6 w) i7 \: {0 F, B" s
$ I- ~! M: y" x: M" D, s

建模小白12138

感谢楼主分享..............