Scrapy爬取豆瓣图书Top250数据，在PowerBI中可视化分析

杨利霞

! B" p6 @8 e' H" J: F" H" y% `

Scrapy爬取豆瓣图书Top250数据，在PowerBI中可视化分析
2 K2 B  ?& o$ [# |) D8 S文章目录
! J- L( |+ z) F& x6 j  _- I  j% J  H3 ?
% l$ g5 u8 z/ l1 }项目说明
0 C9 L" C% v/ IScrapy框架
9 k( v. c# A' Y+ q6 Y; [5 a) Z网页分析
爬虫代码
items
spiders
9 d6 M' D1 w8 Z0 b$ x3 ipipelines
0 _0 I% T, K$ R9 F: G4 a, I. Zmain
爬取结果
6 I; w2 T" s0 B' pPowerBI分析
分析结果
' I7 R9 y% R- `: Y项目说明

近期在学习Python爬虫，看了很多大佬的项目，厉害又有趣！五一在家把《我们的时代》看完了，在豆瓣上评分后，随便逛了逛，简单浏览了一下Top250的书单。突然想到可以把这些数据爬到本地，后期通过脚本，隔一段时间就自动爬一下，看下有无新书上榜，对爱看书又数据控的人来说还蛮实用的哈哈。
3 a+ j; M/ j3 H+ w
网上搜了一下，爬豆瓣网的案例还挺多的，这里我试着用scrapy框架来爬豆瓣图书Top250的相关数据，再导入PowerBI分析数据，后续做到自动爬数据，一键更新分析结果。
2 m+ N: r+ ]/ X
  O* T/ @, s* a8 Y豆瓣TOP250图书分析
! e3 g( ^0 C4 ^& ?0 T. b
该网址的数据会不定期更新，感兴趣的同学可以收藏~~~

Scrapy框架
2 Y( W- ]1 x1 g! p4 V
" w* l( T) f+ Q! B7 P$ E' P# g& T网页分析
2 Z9 o2 G7 N- e$ |: k& b, d
- E4 p, G" B  j# P浏览网站，确定要爬取的数据
* @$ N. e& J- _$ w* g& }1 G
爬虫代码

打开Anaconda Prompt，创建scrapy项目scrapy startproject doubanBook

进入项目路径，打开doubanBook文件夹
6 E0 Q/ ]/ X5 a" k

; U3 W' i! F, F3 ~; B7 j

" K6 g5 h+ H4 t  e9 }2 A+ |

spiders
' ^6 @  i% q* emain

爬取结果
1 i" \! m0 H1 {
% V, b; A4 X: ?6 C/ H/ MPowerBI分析

• 出版信息列包含了很多信息，直接用power query清洗整理
• 评分人数、评分两列也需稍微处理一下
• 
• 
• 
• 分析结果

  说几点有趣的发现，时间截至2020.5（大家也可以随便点点，说不定就能邂逅一本好书呢~）

  • Top250的图书中86.4%是在1996年——2015年中出版，其中上榜数最多的年份是2006，有22本书。
  • 
  • 
  • 
  • 
    , l: U' e; [# F! V" d0 q. G
  
  

• 我们平时在选书选版本时，可以优先关注人民文学、上海译文、三联、南海、译林这几家出版社
• 以书上的定价作为参考，考虑网购折扣，假设所有图书都是8折，那么我们只需花费约8000元就可以把豆瓣Top250的所有图书（人类最宝贵的财富）带回家了哈哈哈
  

8 N" G, M7 Y; H1 i/ h. l————————————————
' d. h1 l& j: A9 a: H; D1 a版权声明：本文为CSDN博主「soleilxy」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
- t3 I6 F1 Y' M3 I2 j6 `原文链接：https://blog.csdn.net/soleilxy/article/details/105931061
1 d9 _8 ?2 m7 v* m) ]# S# b
- E0 `! R# F5 j. k

. K& F- t* B. _' Z- x2 D0 i

建模小白12138

感谢楼主分享..............