Scrapy爬取豆瓣图书Top250数据，在PowerBI中可视化分析

杨利霞

( N) u. L+ d# G! p! S

7 m$ o! M) J& C" k! q9 t( K% q$ T7 |: EScrapy爬取豆瓣图书Top250数据，在PowerBI中可视化分析
文章目录
2 i/ ~- T3 ?1 k8 z
. [- L# `& c2 P7 e, }1 H$ W, z9 n& n: |; x: L项目说明
, M/ P/ t( w* D  w- W6 M  p5 @Scrapy框架
. w5 m; L: q* Q! e( v0 `5 e; V网页分析
5 u  t1 I$ ^8 b2 T7 a( d8 N$ X8 @, d爬虫代码
" c: E9 q- e6 H7 ?& y$ c& O" Zitems
spiders
0 n+ F( X9 w9 J5 _8 {$ Fpipelines
main
爬取结果
7 ~. Y% O9 E# V, y$ @3 JPowerBI分析
# v% O0 Z# b, G9 y; c5 a' G5 h0 b+ o分析结果
项目说明

近期在学习Python爬虫，看了很多大佬的项目，厉害又有趣！五一在家把《我们的时代》看完了，在豆瓣上评分后，随便逛了逛，简单浏览了一下Top250的书单。突然想到可以把这些数据爬到本地，后期通过脚本，隔一段时间就自动爬一下，看下有无新书上榜，对爱看书又数据控的人来说还蛮实用的哈哈。

网上搜了一下，爬豆瓣网的案例还挺多的，这里我试着用scrapy框架来爬豆瓣图书Top250的相关数据，再导入PowerBI分析数据，后续做到自动爬数据，一键更新分析结果。
( C0 o- I* z: x
豆瓣TOP250图书分析
" f7 t, d( Y& d" Z, _
& n5 W: i. K5 L0 n1 E8 U该网址的数据会不定期更新，感兴趣的同学可以收藏~~~
- x7 l' Y- W: d8 S. ^
Scrapy框架

! o  t9 O' i6 {# _2 i- X& i8 z网页分析

3 t2 Z* k( \" ~浏览网站，确定要爬取的数据
6 V1 `. m0 g7 i4 B1 r; {* T
爬虫代码

打开Anaconda Prompt，创建scrapy项目scrapy startproject doubanBook

进入项目路径，打开doubanBook文件夹

2 @! l; C+ r/ ^6 J


' J: Z# H9 z. |4 g- D" p1 Q4 H3 I
& A, H4 V8 Y, I; V6 y- L* `3 ?' V9 [
spiders
5 w9 ]2 a! t4 a! G# C& bmain
* |0 G% l; B" A) }3 `( Z
2 v4 u2 B7 {: x0 u1 t# }爬取结果
! c9 i- S" ^2 I8 X3 Z: D. m2 N9 a
3 @) f6 t; i. ^) @9 LPowerBI分析

• 出版信息列包含了很多信息，直接用power query清洗整理
• 评分人数、评分两列也需稍微处理一下
• 
• 
• 
• 分析结果

  说几点有趣的发现，时间截至2020.5（大家也可以随便点点，说不定就能邂逅一本好书呢~）

  • Top250的图书中86.4%是在1996年——2015年中出版，其中上榜数最多的年份是2006，有22本书。
  • 
  • 
  • 
  • 
    ) ^+ B6 B# H' U3 n5 ^, ]  Z: p
  
  

• 我们平时在选书选版本时，可以优先关注人民文学、上海译文、三联、南海、译林这几家出版社
• 以书上的定价作为参考，考虑网购折扣，假设所有图书都是8折，那么我们只需花费约8000元就可以把豆瓣Top250的所有图书（人类最宝贵的财富）带回家了哈哈哈
  ' v& I; P  D' F1 h" w1 b

————————————————
8 Z+ r6 i4 g! J, O% O2 ]版权声明：本文为CSDN博主「soleilxy」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/soleilxy/article/details/105931061
, |! J+ u4 _# N: m- [4 K; C

8 c& K3 k2 h: y; o+ |

建模小白12138

感谢楼主分享..............
3 i6 m& G# `$ o/ V' v5 r/ a: Y  a( [' _