% [" C' e+ ^& ~& m* b, X" J9 j
3 X! z) i4 |. f- N0 y
/ u4 I8 f' f( ]) s. I
Scrapy爬取豆瓣图书Top250数据,在PowerBI中可视化分析0 g7 _: @# _" }1 Q, {# D
文章目录
- ^5 |( Z% s7 q8 Y0 y# w
7 B- n' ^ Y& Q- t项目说明+ ?. U- I0 @( m% Y T6 J- ]! h. u6 Y
Scrapy框架
4 V* v; Q& [0 L3 k0 i4 O网页分析8 ]( f( e$ p0 M+ |0 U7 P
爬虫代码
' b( ?2 k% M {* P( k/ Iitems
& j1 m& @" v5 c; t0 w$ p4 b7 Bspiders& b E2 i; C9 f/ E" Q1 _1 ?0 j- I
pipelines
1 V3 F# u$ ?) T) B+ u7 a& D& R6 Imain
# k9 [$ K; t* g, R* u& P/ X爬取结果 a' f' q# v5 y
PowerBI分析% t/ Z3 R, O9 x/ X8 X
分析结果
, R0 W' P2 p$ [8 B& K' l- b项目说明& Y! I" f' }+ I- U8 Q
/ e4 T$ J7 D; O9 [4 a近期在学习Python爬虫,看了很多大佬的项目,厉害又有趣!五一在家把《我们的时代》看完了,在豆瓣上评分后,随便逛了逛,简单浏览了一下Top250的书单。突然想到可以把这些数据爬到本地,后期通过脚本,隔一段时间就自动爬一下,看下有无新书上榜,对爱看书又数据控的人来说还蛮实用的哈哈。9 O! i$ D( a& @; ?$ z+ \9 a3 W4 B
^" j/ S' f/ M! z! M% Q
网上搜了一下,爬豆瓣网的案例还挺多的,这里我试着用scrapy框架来爬豆瓣图书Top250的相关数据,再导入PowerBI分析数据,后续做到自动爬数据,一键更新分析结果。
% ~& X. d& \( H, F0 b- Q5 @' u" C2 m% g# B, ?- f/ f; q- L
豆瓣TOP250图书分析6 b- I8 N" R# l# J9 J) X% c
0 j' |; n" y& W% A! N' l该网址的数据会不定期更新,感兴趣的同学可以收藏~~~( j3 S9 Y* n& y B$ B# g2 v
9 |1 o7 r% K& ]( |+ W6 @: V: WScrapy框架1 k. H' F1 c5 A, t: ^
1 B5 r* ` l0 q1 S$ b' J
网页分析" f& \: w3 {) M4 F; X
( \8 J. a" m$ n. r7 Q3 p1 @- k浏览网站,确定要爬取的数据
+ h6 V0 O$ B& {1 C
0 w3 q5 F2 |) ?( h y7 ?爬虫代码打开Anaconda Prompt,创建scrapy项目scrapy startproject doubanBook
4 ^( z( ^8 V4 z0 ]( I
/ r' R: O$ M" b& m8 {进入项目路径,打开doubanBook文件夹
1 o7 [$ A+ S4 x7 {# \# x8 ^; R6 e
$ _4 |( P0 _$ L3 y1 B
8 h* g7 d$ z$ O4 S6 |
! Y) {4 \$ h- }' L% q, q
3 R, F# {4 c G
: K% M+ m& \. W ?! w# U
& Y6 W3 n* r" ` r V$ Hspiders
- k' C/ A/ R0 H- D* Y8 l1 ^
main
! `% ?1 F# a% }' M4 B; K! O J
3 D! ?0 m" p! d1 L
爬取结果+ R2 \& M, l* u- }( ~" g
6 ^! Y; D0 P# U5 D" Q( \) ^
PowerBI分析- 我们平时在选书选版本时,可以优先关注人民文学、上海译文、三联、南海、译林这几家出版社
- 以书上的定价作为参考,考虑网购折扣,假设所有图书都是8折,那么我们只需花费约8000元就可以把豆瓣Top250的所有图书(人类最宝贵的财富)带回家了哈哈哈
. m7 O V8 }8 r/ [- m6 z S; w% o5 l) s! c1 P
————————————————; }* N7 I# { z
版权声明:本文为CSDN博主「soleilxy」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
! n2 j- P; H }原文链接:https://blog.csdn.net/soleilxy/article/details/105931061% O& O) c# \ \# u
5 T' ^- z6 m: {
$ m# F; L1 [5 j
% d+ C' D8 B3 x# c6 n) E
|