数学建模社区-数学中国

标题: Scrapy爬取豆瓣图书Top250数据，在PowerBI中可视化分析 [打印本页]

---

作者: 杨利霞    时间: 2020-5-5 14:51
标题: Scrapy爬取豆瓣图书Top250数据，在PowerBI中可视化分析

; V' H5 }7 }" k
' t' d5 `( H2 _; C) x% G! o
. V# q0 I* {$ p. F& h! V' sScrapy爬取豆瓣图书Top250数据，在PowerBI中可视化分析
7 ~' X8 B7 t7 o! p文章目录

项目说明
Scrapy框架
网页分析
爬虫代码
( j' Z2 ]( ^. L: z# ?items
5 C; H+ p5 E* ]! x% m8 Vspiders
pipelines
main
爬取结果
" f, I* o* S4 ~/ \( ?7 w/ @* FPowerBI分析
分析结果
: |. a" \9 p! ]& W' m3 y项目说明
. i. w2 Z+ P, i; }- P
近期在学习Python爬虫，看了很多大佬的项目，厉害又有趣！五一在家把《我们的时代》看完了，在豆瓣上评分后，随便逛了逛，简单浏览了一下Top250的书单。突然想到可以把这些数据爬到本地，后期通过脚本，隔一段时间就自动爬一下，看下有无新书上榜，对爱看书又数据控的人来说还蛮实用的哈哈。
, m1 U) s' o5 Y5 h
0 l1 O. Q' k6 n7 \9 m3 i9 I网上搜了一下，爬豆瓣网的案例还挺多的，这里我试着用scrapy框架来爬豆瓣图书Top250的相关数据，再导入PowerBI分析数据，后续做到自动爬数据，一键更新分析结果。

0 x. D& x# c2 @豆瓣TOP250图书分析

  ^: x( J$ U6 V# R+ @- `2 z该网址的数据会不定期更新，感兴趣的同学可以收藏~~~
6 g/ }) m6 z. s7 w
Scrapy框架
) C1 e  F% G( A  i9 r3 g1 Z
网页分析

) T6 k- J  H. ^! y: j% i浏览网站，确定要爬取的数据

! y( P6 c: Z6 ?; R# I爬虫代码

打开Anaconda Prompt，创建scrapy项目scrapy startproject doubanBook

* H5 R5 a2 q1 E; J8 W& s
进入项目路径，打开doubanBook文件夹
) [4 @! x0 b/ n9 [  _" D& m

3 S7 c! R" G( m9 l  a, U0 N; t, A
$ n* L  l& g7 R% l9 N8 F  r+ y) j. r# k
% F0 A0 n3 \: S$ Y+ F1 M% z

: `; Y) w- |' xspiders
! O  A( @; K; |3 O+ u0 Wmain
8 [5 D% a9 T) ?. O. h7 A
爬取结果

PowerBI分析

• 出版信息列包含了很多信息，直接用power query清洗整理
• 评分人数、评分两列也需稍微处理一下
• 
• 
• 
• 分析结果

  说几点有趣的发现，时间截至2020.5（大家也可以随便点点，说不定就能邂逅一本好书呢~）

  • Top250的图书中86.4%是在1996年——2015年中出版，其中上榜数最多的年份是2006，有22本书。
  • 
  • 
  • 
  • 
    + t" v- s& H" j0 l, u3 l8 k) ^/ a
  
  . u% J! s5 Q) U* P

• 我们平时在选书选版本时，可以优先关注人民文学、上海译文、三联、南海、译林这几家出版社
• 以书上的定价作为参考，考虑网购折扣，假设所有图书都是8折，那么我们只需花费约8000元就可以把豆瓣Top250的所有图书（人类最宝贵的财富）带回家了哈哈哈
  

————————————————
8 }. ]0 x3 h1 x. E! T6 D版权声明：本文为CSDN博主「soleilxy」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/soleilxy/article/details/105931061
/ F: L. H8 W7 \. ^; h/ T! O
' z7 m% f9 P, Y* X! p, @4 l

14.png (138.88 KB, 下载次数: 760)

2020-5-5 14:51 上传

点击文件名下载附件

---

作者: 建模小白12138    时间: 2020-5-5 20:38
感谢楼主分享..............
7 ]  v2 X# G, D: M

---

欢迎光临 数学建模社区-数学中国 (http://www.madio.net/)

Powered by Discuz! X2.5