数学建模社区-数学中国
标题: Scrapy爬取豆瓣图书Top250数据，在PowerBI中可视化分析 [打印本页]
作者: 杨利霞 时间: 2020-5-5 14:51
标题: Scrapy爬取豆瓣图书Top250数据，在PowerBI中可视化分析
5 w b. |- V5 P& P
7 ~/ W( M( l5 a0 \/ X7 j z$ M2 ^ C5 S. i4 B
Scrapy爬取豆瓣图书Top250数据，在PowerBI中可视化分析
4 s) _. N# w k7 R$ X0 x5 F+ H1 @# Q文章目录
. b2 g w; I K5 O
' p1 [7 k0 F1 o* ~项目说明
% S4 @. ?& u% u5 M: q/ l6 _' pScrapy框架 L5 j$ n& n% B8 M! z; Q
网页分析
/ K c X/ b2 l$ y9 B, |6 t- u7 S4 R爬虫代码8 g; p! j# |: y. S2 K
items( \' b$ L3 Z- Q1 X
spiders
$ Z- |( j! @% A" ?$ Upipelines
* S; O8 M" f) O* P/ W. ~main
3 F; J, _8 _" b6 z: Y% W2 f爬取结果: d5 @$ H0 b9 }; H) L$ U0 [
PowerBI分析
8 N. T* R; U" ^' U" J分析结果$ n8 A( ~; j* x* \$ V
项目说明! V8 E* S6 Y# }1 S4 E
, s0 R" ]" \9 W" c- v+ i1 z! C* v" y9 p近期在学习Python爬虫，看了很多大佬的项目，厉害又有趣！五一在家把《我们的时代》看完了，在豆瓣上评分后，随便逛了逛，简单浏览了一下Top250的书单。突然想到可以把这些数据爬到本地，后期通过脚本，隔一段时间就自动爬一下，看下有无新书上榜，对爱看书又数据控的人来说还蛮实用的哈哈。0 q6 r! T' i' S! e) q( A7 V. t
9 M& P+ b9 ~) X' X1 R网上搜了一下，爬豆瓣网的案例还挺多的，这里我试着用scrapy框架来爬豆瓣图书Top250的相关数据，再导入PowerBI分析数据，后续做到自动爬数据，一键更新分析结果。' _. F/ R, \( l' {3 b
/ K4 n: H. R, c/ J( `' |% I
豆瓣TOP250图书分析
% ?! A1 H2 d$ M; a- e* G0 N2 N, ?$ u1 {
该网址的数据会不定期更新，感兴趣的同学可以收藏~~~5 B8 O; w! Q% z! l7 k2 c
3 K* x+ q8 ?$ a6 k9 z
Scrapy框架4 ?2 G# R4 W' a+ V
( I. [% c4 ? E7 b& m5 m5 ~
网页分析- ~- G. f4 b) z6 J+ E o
a. E. q+ D' k浏览网站，确定要爬取的数据
) p7 n+ b4 m+ s: o2 S7 [. _
1 O# m% q. R8 `. W# ~爬虫代码打开Anaconda Prompt，创建scrapy项目scrapy startproject doubanBook
' w- n5 V1 D- K! e5 M& q
& t5 T& n7 q+ G# a9 }; H* W( G进入项目路径，打开doubanBook文件夹
) ?: T' _+ V+ _; O3 \
& L8 c" q. V& W7 y4 }( f
/ P# u" b8 I# ^/ ~/ ~% Q
/ r. g* L5 D( _% C9 i
. W/ b: o' {2 c- I& h+ n. h4 F6 a- W
3 j0 k$ `: b. h- c5 j* j
! m9 {! w4 `: T. Z, ?3 |6 p: I6 ?$ dspiders
1 |5 f6 d4 {% k P- Pmain
- {3 L( U+ w; P% y4 T2 x
' ]# b8 I4 Q9 J8 |1 K! c爬取结果& n q1 L& H- y% q1 j6 a7 ~
9 ^+ `/ @3 R& l- a6 _PowerBI分析- 我们平时在选书选版本时，可以优先关注人民文学、上海译文、三联、南海、译林这几家出版社
- 以书上的定价作为参考，考虑网购折扣，假设所有图书都是8折，那么我们只需花费约8000元就可以把豆瓣Top250的所有图书（人类最宝贵的财富）带回家了哈哈哈
: R$ P6 Q, l/ W" Z/ M3 l# J) P* C
1 K& ?0 ?9 {$ V4 c- m9 i' k6 ]
————————————————9 F# K# ^& w* w5 j7 D
版权声明：本文为CSDN博主「soleilxy」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
6 b. u6 X/ C0 i0 y' V) v$ Z原文链接：https://blog.csdn.net/soleilxy/article/details/105931061
5 e. R* y; E* w$ D* G4 o% v
5 V& x* B5 C7 P+ A$ Z0 o) N- K- G. s" H3 |2 M; m: b
1 M1 p5 E& s8 P f. N8 B- e
-
14.png
(138.88 KB, 下载次数: 747)
作者: 建模小白12138 时间: 2020-5-5 20:38
感谢楼主分享.............., D( f* z1 T+ [' V* ]; m m
| 欢迎光临 数学建模社区-数学中国 (http://www.madio.net/) |
Powered by Discuz! X2.5 |
