Scrapy爬取豆瓣图书Top250数据，在PowerBI中可视化分析

杨利霞

Scrapy爬取豆瓣图书Top250数据，在PowerBI中可视化分析
文章目录
* o, w  s$ n8 Y/ }' I( d
项目说明
Scrapy框架
1 S" h, ?' X4 Q  X- e网页分析
爬虫代码
items
: u) S+ K/ R" T' [- Uspiders
3 V* }3 I) }9 ppipelines
main
爬取结果
6 U* v! ^& v, D& }8 p7 pPowerBI分析
分析结果
7 K% t& C/ M/ M! g# _2 }项目说明
/ K  i9 n4 _3 A# Y7 y2 o
# _- `. k. |0 n. ~5 I近期在学习Python爬虫，看了很多大佬的项目，厉害又有趣！五一在家把《我们的时代》看完了，在豆瓣上评分后，随便逛了逛，简单浏览了一下Top250的书单。突然想到可以把这些数据爬到本地，后期通过脚本，隔一段时间就自动爬一下，看下有无新书上榜，对爱看书又数据控的人来说还蛮实用的哈哈。

网上搜了一下，爬豆瓣网的案例还挺多的，这里我试着用scrapy框架来爬豆瓣图书Top250的相关数据，再导入PowerBI分析数据，后续做到自动爬数据，一键更新分析结果。
  u: S8 d& k8 \0 k/ e" F3 W& Z
豆瓣TOP250图书分析

该网址的数据会不定期更新，感兴趣的同学可以收藏~~~
' o0 D3 M+ ?- J; D4 b+ x# b9 Q! j
Scrapy框架
6 T0 P/ ]& O& A, ^$ k' v
3 q* J% s9 @, m* X: a) ^网页分析

* e( x9 O# z8 z2 @" V浏览网站，确定要爬取的数据

爬虫代码

打开Anaconda Prompt，创建scrapy项目scrapy startproject doubanBook

% D+ x+ v  d/ l" j1 z: `  [+ w
* c' _, e+ g, t0 P4 Y进入项目路径，打开doubanBook文件夹


3 v' T# k# ]. G$ V# p; [( ?
1 `6 `- N0 e2 k3 v( g) H
8 f# j8 B4 k, h
0 Y3 B# |/ K# i3 m3 k2 L# C
! P$ S+ h( o$ a  M% G' E8 A# lspiders
9 `) u  [( |6 C# {main

爬取结果
+ W+ z0 Q% b, a- B& x
PowerBI分析

• 出版信息列包含了很多信息，直接用power query清洗整理
• 评分人数、评分两列也需稍微处理一下
• 
• 
• 
• 分析结果

  说几点有趣的发现，时间截至2020.5（大家也可以随便点点，说不定就能邂逅一本好书呢~）

  • Top250的图书中86.4%是在1996年——2015年中出版，其中上榜数最多的年份是2006，有22本书。
  • 
  • 
  • 
  • 
    
  
  

• 我们平时在选书选版本时，可以优先关注人民文学、上海译文、三联、南海、译林这几家出版社
• 以书上的定价作为参考，考虑网购折扣，假设所有图书都是8折，那么我们只需花费约8000元就可以把豆瓣Top250的所有图书（人类最宝贵的财富）带回家了哈哈哈
  * K+ {/ n& A6 D. B4 f: Z* [+ x

2 u8 q. n5 E6 x: e4 g: S9 ^, i( E% ~/ o————————————————
版权声明：本文为CSDN博主「soleilxy」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
1 u0 N$ ~+ }! x! w2 N" Z% L5 p3 {- L) y原文链接：https://blog.csdn.net/soleilxy/article/details/105931061

; N- _0 W9 o; z+ w
) g; C2 c1 `7 w/ K7 y
/ ^6 N& G9 N1 G+ I

建模小白12138

感谢楼主分享..............