Scrapy爬取豆瓣图书Top250数据，在PowerBI中可视化分析

杨利霞

6 F) g" @1 a) C* f$ a& E
  }4 O! F( s' C$ p
$ E+ ]+ H. y" qScrapy爬取豆瓣图书Top250数据，在PowerBI中可视化分析
6 K# e2 d5 Q- A2 Y2 _! H8 o* s- A文章目录

项目说明
; H0 r# g* o2 Y8 ]! v# E, V, d% Z4 tScrapy框架
网页分析
爬虫代码
items
spiders
. Y2 o* w! y* @  x* B4 Z7 npipelines
7 m6 R# N6 o- D6 h' t- vmain
爬取结果
$ z& Q4 M2 Y1 W. ~# B# WPowerBI分析
+ G  u0 W( a, l; D分析结果
5 `7 Z5 `% f' A8 m2 m* d" K+ r! P: X项目说明

近期在学习Python爬虫，看了很多大佬的项目，厉害又有趣！五一在家把《我们的时代》看完了，在豆瓣上评分后，随便逛了逛，简单浏览了一下Top250的书单。突然想到可以把这些数据爬到本地，后期通过脚本，隔一段时间就自动爬一下，看下有无新书上榜，对爱看书又数据控的人来说还蛮实用的哈哈。
6 Y8 @4 C! G- t( K1 [$ O8 j
网上搜了一下，爬豆瓣网的案例还挺多的，这里我试着用scrapy框架来爬豆瓣图书Top250的相关数据，再导入PowerBI分析数据，后续做到自动爬数据，一键更新分析结果。

0 k/ W9 H9 x" i豆瓣TOP250图书分析

- S. M$ B+ ]9 x6 Z该网址的数据会不定期更新，感兴趣的同学可以收藏~~~

Scrapy框架
' p2 }" `' O( q9 y' J2 S
5 ?! k9 H# a- z网页分析

浏览网站，确定要爬取的数据
& k' [; V  X) [) f, Y' n
爬虫代码

打开Anaconda Prompt，创建scrapy项目scrapy startproject doubanBook

; Q4 J) [4 ~) R  c: X进入项目路径，打开doubanBook文件夹


. A' r# {, i" f* d* @0 Z. M



% \  y5 F% X/ a% x4 n9 _spiders
3 g2 }( B) f4 H: n2 E' @main
, K; i' N+ g8 `# v: S: l6 A
爬取结果

PowerBI分析

• 出版信息列包含了很多信息，直接用power query清洗整理
• 评分人数、评分两列也需稍微处理一下
• 
• 
• 
• 分析结果

  说几点有趣的发现，时间截至2020.5（大家也可以随便点点，说不定就能邂逅一本好书呢~）

  • Top250的图书中86.4%是在1996年——2015年中出版，其中上榜数最多的年份是2006，有22本书。
  • 
  • 
  • 
  • 
    4 p2 i) W/ P3 @. a
  
  

• 我们平时在选书选版本时，可以优先关注人民文学、上海译文、三联、南海、译林这几家出版社
• 以书上的定价作为参考，考虑网购折扣，假设所有图书都是8折，那么我们只需花费约8000元就可以把豆瓣Top250的所有图书（人类最宝贵的财富）带回家了哈哈哈
  / s' n9 v* h( P2 T* U: m6 \3 q) ]$ z0 r' y

————————————————
版权声明：本文为CSDN博主「soleilxy」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/soleilxy/article/details/105931061
& Q/ _: V+ L+ k3 e, s, N
, y2 ^" n& h6 U6 |
, }$ i0 f0 ~* {. N
7 {; l7 u' x8 M: i* O

建模小白12138

感谢楼主分享..............