/ r- C* D# l, p% I
. f2 h( x, }& c6 A4 } u0 i+ J) w2 s- |, X+ k" o& w
Scrapy爬取豆瓣图书Top250数据,在PowerBI中可视化分析
7 ~' b7 _* z" E. d- u: j( A9 {) F文章目录
7 h, }5 c, N6 J# q! R* Q' T: i* N5 C/ w) U2 c% ~( o! k$ m* M% k
项目说明
" u2 _% ~/ H; v' t( x* b* LScrapy框架
+ d$ u! P" p* [. G% l% O网页分析 N/ s& _' _8 z) N+ }2 a2 e% j6 A
爬虫代码* Y) M: J8 o0 n' i3 A( M" `6 i# E1 b) h
items, h# p- E! ]; K. x
spiders) N: S6 f" d& k7 V1 W
pipelines
1 T5 L5 n: }" `5 _, zmain( a) z$ L. m; I
爬取结果
! P+ a: g: y" d& \2 |PowerBI分析
4 ?1 d" ]" {; H1 }# A& \# ]: X分析结果3 {- M1 g4 U4 e9 N
项目说明( K" y: z% _' }( B
4 K% v% j: ^* J
近期在学习Python爬虫,看了很多大佬的项目,厉害又有趣!五一在家把《我们的时代》看完了,在豆瓣上评分后,随便逛了逛,简单浏览了一下Top250的书单。突然想到可以把这些数据爬到本地,后期通过脚本,隔一段时间就自动爬一下,看下有无新书上榜,对爱看书又数据控的人来说还蛮实用的哈哈。
6 ~# ^% G3 n. e& i5 G3 Z
8 f, ^! t& N* B: h6 T网上搜了一下,爬豆瓣网的案例还挺多的,这里我试着用scrapy框架来爬豆瓣图书Top250的相关数据,再导入PowerBI分析数据,后续做到自动爬数据,一键更新分析结果。, y( j4 ]# t A; P: C7 g6 ^
# {3 Z% t9 u& C" {9 z1 M豆瓣TOP250图书分析
# v0 @( O3 t) a" M9 N0 V
0 D5 V( w4 q' A) o' o; B# ^该网址的数据会不定期更新,感兴趣的同学可以收藏~~~
7 K, y# T7 M6 Y3 O# u/ K
' T! S( C2 z) [0 T$ {9 W: Y4 eScrapy框架
9 f- V O7 h/ i0 e, z) t0 |8 y* h5 F6 E5 ]" Z
网页分析
+ {5 x" V1 C# l+ c+ G9 G
$ y; w6 ^: {' S4 d; [( F) M* q浏览网站,确定要爬取的数据
& G+ P c2 ~. Z' h6 z# g# w! R$ j
0 L. I% s. Q$ k# T6 L, ]2 J5 [1 U7 c爬虫代码打开Anaconda Prompt,创建scrapy项目scrapy startproject doubanBook
; v' F7 b( e8 c/ U& _$ L) @, `+ T+ u, _6 Y# M) d; h
进入项目路径,打开doubanBook文件夹6 B0 g" z6 W* n6 y+ L: y2 D* ~& o
4 g+ V; A, E2 @9 z4 O$ r7 H
. `( Y3 j* P; n$ J0 `0 ~7 k
2 }! j, @; g! s* x# ]( l
" O& ~5 J& w$ _+ B8 S$ P
/ H M3 s! r! i) Q! Z# x. t
4 _* H7 S Z3 }$ O& w; Z4 F2 Wspiders
) y: F3 o% J7 [ a W8 Q z8 jmain
. q" K' A/ n& q) t: l. h' r) H
* |4 }' H3 j }6 {, ]2 k
爬取结果8 y8 l! e7 v! Y0 y& X% v
2 L3 I1 M$ e2 e* Q: v1 m
PowerBI分析- 我们平时在选书选版本时,可以优先关注人民文学、上海译文、三联、南海、译林这几家出版社
- 以书上的定价作为参考,考虑网购折扣,假设所有图书都是8折,那么我们只需花费约8000元就可以把豆瓣Top250的所有图书(人类最宝贵的财富)带回家了哈哈哈7 o: y! E' j5 ~6 G, b! [# i# v+ v
# q, c' Z3 Z4 i7 [5 y5 `% y: v
————————————————2 d$ n+ }% r& |2 ^# ^
版权声明:本文为CSDN博主「soleilxy」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
' q/ T. r; {4 j7 W& f2 U原文链接:https://blog.csdn.net/soleilxy/article/details/1059310613 C; x/ ]5 ?4 c% f
% l& ~+ F1 S9 x% P/ z9 N
+ j3 S8 |. [2 T/ S
, O6 G7 W J" u; ?) A |