Scrapy爬取豆瓣图书Top250数据，在PowerBI中可视化分析

杨利霞

Scrapy爬取豆瓣图书Top250数据，在PowerBI中可视化分析
8 H9 [' M3 u7 S6 w# a, D( T文章目录
, s: Z6 y3 T0 T6 y+ d" n
$ ~5 J( u1 y( n' z3 C( k( {项目说明
Scrapy框架
: V4 S1 ?, h' J; v: F网页分析
' o/ Q! n0 f2 S% |; d1 |爬虫代码
items
spiders
  m2 x% L( |5 R  D- |  Npipelines
# J2 a$ l9 k& ?" y! Q0 q; Lmain
( n  R! h6 R* f; O6 y0 D爬取结果
7 X" G7 X& B& {8 a& @$ kPowerBI分析
) V: R3 @' s3 }) G9 d" |/ k分析结果
项目说明
- @) J' h/ i" D- e* X/ x
近期在学习Python爬虫，看了很多大佬的项目，厉害又有趣！五一在家把《我们的时代》看完了，在豆瓣上评分后，随便逛了逛，简单浏览了一下Top250的书单。突然想到可以把这些数据爬到本地，后期通过脚本，隔一段时间就自动爬一下，看下有无新书上榜，对爱看书又数据控的人来说还蛮实用的哈哈。

网上搜了一下，爬豆瓣网的案例还挺多的，这里我试着用scrapy框架来爬豆瓣图书Top250的相关数据，再导入PowerBI分析数据，后续做到自动爬数据，一键更新分析结果。

豆瓣TOP250图书分析

该网址的数据会不定期更新，感兴趣的同学可以收藏~~~
* T; x# d0 R6 T7 t6 T
Scrapy框架

网页分析

! V8 t* y* o. `% @/ t1 k4 e: O浏览网站，确定要爬取的数据

爬虫代码

打开Anaconda Prompt，创建scrapy项目scrapy startproject doubanBook

% v7 w  G& l0 n6 {, u5 }( B7 a3 i
进入项目路径，打开doubanBook文件夹
& {8 c: a2 x; h0 P8 e- y
' L0 w3 H8 e5 S* C4 }. d

( a% c# O: ?' ?& B; ]/ `$ U# L

5 A, s/ c+ P) ?. m
spiders
  T6 e; M* E" y$ Y# [" J; Bmain
  h6 ?0 Y6 i  K6 |: v; Y
* b) b. ]0 H" ~6 C爬取结果

% O9 U2 R; c" E- T) v& C/ o: oPowerBI分析

• 出版信息列包含了很多信息，直接用power query清洗整理
• 评分人数、评分两列也需稍微处理一下
• 
• 
• 
• 分析结果

  说几点有趣的发现，时间截至2020.5（大家也可以随便点点，说不定就能邂逅一本好书呢~）

  • Top250的图书中86.4%是在1996年——2015年中出版，其中上榜数最多的年份是2006，有22本书。
  • 
  • 
  • 
  • 
    ' h' T; a. l9 s
  
  : z: d3 E& H5 l3 Z7 l

• 我们平时在选书选版本时，可以优先关注人民文学、上海译文、三联、南海、译林这几家出版社
• 以书上的定价作为参考，考虑网购折扣，假设所有图书都是8折，那么我们只需花费约8000元就可以把豆瓣Top250的所有图书（人类最宝贵的财富）带回家了哈哈哈
  

————————————————
. e5 O, q/ Z( h4 s3 M: }) @, V9 x版权声明：本文为CSDN博主「soleilxy」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
5 c+ l, L1 s, t& o3 w& k, C' r原文链接：https://blog.csdn.net/soleilxy/article/details/105931061


! U- d0 U8 \; l: \

建模小白12138

感谢楼主分享..............
' a: C8 A% K& ?: ~8 T5 W8 V& s