: m/ K$ K" p7 v0 R# ~1 [
* H. v3 j- S: C) A0 y5 |. H
7 m: w1 U" G% f" p9 A0 P; I% A- Z
Scrapy爬取豆瓣图书Top250数据,在PowerBI中可视化分析0 q! c2 p! r& c6 [
文章目录* U! B6 `; R8 H ^
1 V# O" b8 x; J) Y4 F
项目说明
8 r2 X6 o. C' \# tScrapy框架
2 o9 l$ z1 K) M网页分析+ X! B r1 c O
爬虫代码8 _. e5 X& \) ?7 l0 _
items7 S7 j$ o2 {: h2 k, k! {
spiders
- T! |6 y, b: T1 w9 D; R/ l; lpipelines
2 d( [& f6 E, g4 |main
: S* p" I/ l7 L) O' }/ s' s爬取结果
* w/ i& I; a; Y, m+ H' I0 @PowerBI分析
7 j2 l0 m2 ]6 q) M5 M0 d% J: h7 \分析结果9 b& Y) U5 w; h4 k5 A
项目说明4 ^% i) g% T [
* F3 G+ _) }( @- I
近期在学习Python爬虫,看了很多大佬的项目,厉害又有趣!五一在家把《我们的时代》看完了,在豆瓣上评分后,随便逛了逛,简单浏览了一下Top250的书单。突然想到可以把这些数据爬到本地,后期通过脚本,隔一段时间就自动爬一下,看下有无新书上榜,对爱看书又数据控的人来说还蛮实用的哈哈。- h7 ]. W2 l) t+ O- z
: Q8 a# z7 D% d. Z7 P' v' |$ G网上搜了一下,爬豆瓣网的案例还挺多的,这里我试着用scrapy框架来爬豆瓣图书Top250的相关数据,再导入PowerBI分析数据,后续做到自动爬数据,一键更新分析结果。
3 S1 B; r* K1 z/ j! A9 X* X4 o# L$ h$ V' |
豆瓣TOP250图书分析
; `; R5 y5 W2 Q+ R. d- B0 l: K; k) \3 [2 `8 F' U N2 {7 v7 Q5 p; z
该网址的数据会不定期更新,感兴趣的同学可以收藏~~~9 \- V( C2 q/ z, a+ p7 m4 B! H; D( `! ?
# t0 y+ M! }6 x
Scrapy框架9 c2 U: V [1 g4 W4 A+ `
* B/ M1 w$ R3 H$ q6 t) b网页分析
" ?% Q# L. y+ K* J3 R: ~& K$ y( j8 y; B D
浏览网站,确定要爬取的数据
( R+ n4 J8 G+ n
% R3 b, E( ^" b% L( n
爬虫代码打开Anaconda Prompt,创建scrapy项目scrapy startproject doubanBook
' M+ S8 _; {. _7 y5 Y5 x% L0 P% S2 N
9 ?8 A. f8 _! z/ l: V' i' I进入项目路径,打开doubanBook文件夹
6 W% ^7 L5 |1 K+ _
, }& P: |' [4 o' [& @0 U F
6 w e! j0 V) W: {! y0 u( _
' u j s- t, y2 u# l: P, S( I* ]
! Q" b/ x9 z& b4 L' U
8 ~) j( y9 T% A5 [0 e+ l! P' b
) t6 ~# ~4 X: B& [" hspiders
! s5 p( W9 @: C; u! Vmain
% E3 ^3 t) c" X& ]! `5 j9 _$ n. u6 T
爬取结果: V8 e! S; E0 O- r& I, R! l
l9 u) ^! I0 b; @+ D
PowerBI分析- 我们平时在选书选版本时,可以优先关注人民文学、上海译文、三联、南海、译林这几家出版社
- 以书上的定价作为参考,考虑网购折扣,假设所有图书都是8折,那么我们只需花费约8000元就可以把豆瓣Top250的所有图书(人类最宝贵的财富)带回家了哈哈哈! k; ?' V. f& {& F+ I
( n* X. C. s0 b5 Z. u————————————————
8 Q# k$ k, Y- V1 x2 t; Y版权声明:本文为CSDN博主「soleilxy」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
, v+ f0 }2 Q5 v- E3 b8 ]原文链接:https://blog.csdn.net/soleilxy/article/details/105931061, u# U$ L8 y3 {0 u. ]
9 i$ n! ~3 n A2 n8 w
" h/ B' n T+ }3 E9 B7 [5 q7 @" ~
u* t1 H! ^# M) H* O9 H/ D
|