数学建模社区-数学中国
标题: Scrapy爬取豆瓣图书Top250数据，在PowerBI中可视化分析 [打印本页]
作者: 杨利霞 时间: 2020-5-5 14:51
标题: Scrapy爬取豆瓣图书Top250数据，在PowerBI中可视化分析
% n5 d+ u' _7 V6 v U; v y
" O$ w c, l* R7 H* A) R
2 y; T7 s3 I+ h8 d; |1 hScrapy爬取豆瓣图书Top250数据，在PowerBI中可视化分析
. I" ^" G( `* j7 M( O! {- C5 D$ z- E文章目录
5 H# p$ a: {, p9 \; O- E: k7 S8 G$ U. I5 s$ E7 l, B
项目说明
) {. g/ I( m, R( u0 B9 U: O' m5 OScrapy框架
+ T7 o) }- q$ c1 s+ N: N0 N网页分析9 _5 u% I2 ]: p: p+ x
爬虫代码# R l) U I. n0 v0 s
items& R- ?. q; z4 L0 G; L# K8 J5 t$ G
spiders
( f/ H, C4 v" _! |4 O" |pipelines
, ^0 C t$ V' w, cmain/ l7 P. ?$ n; {7 s' b
爬取结果7 ~! I6 p8 c. [, }6 X7 f- J- D
PowerBI分析; r4 X! ?) B. y/ _3 u: D* p n
分析结果
; i" o; b+ G, n- B7 u项目说明
3 n4 W T9 S' Q( S6 L9 C/ N: e$ t! R! @# s: J) I- \" R
近期在学习Python爬虫，看了很多大佬的项目，厉害又有趣！五一在家把《我们的时代》看完了，在豆瓣上评分后，随便逛了逛，简单浏览了一下Top250的书单。突然想到可以把这些数据爬到本地，后期通过脚本，隔一段时间就自动爬一下，看下有无新书上榜，对爱看书又数据控的人来说还蛮实用的哈哈。! F8 m$ c- Z1 O( e& K; f
5 B' |" t+ c" k" U, T网上搜了一下，爬豆瓣网的案例还挺多的，这里我试着用scrapy框架来爬豆瓣图书Top250的相关数据，再导入PowerBI分析数据，后续做到自动爬数据，一键更新分析结果。$ v8 J* l4 ]6 X7 c7 P
# V$ i# q7 s0 u+ P: i& |& t豆瓣TOP250图书分析7 c1 y4 s- w1 m A& D
/ V7 I2 q# g7 \- ^& H该网址的数据会不定期更新，感兴趣的同学可以收藏~~~% g( @+ e$ w8 p0 ]* {* d
: g) }( Z' Y5 xScrapy框架, Q- W4 P4 |" a) i; h! {9 k4 @& V% z; |
0 ? I Z" f$ l' B' }9 l网页分析
( l/ N9 H0 g3 h) u# u0 G8 u/ {" c/ Y( d& A5 D7 t* r2 E6 v
浏览网站，确定要爬取的数据
/ `. l6 B; o! K& _. A. m; P a7 h
# C% l, e8 O! |, `6 G* |+ Y \0 U爬虫代码打开Anaconda Prompt，创建scrapy项目scrapy startproject doubanBook
4 z5 I- q4 c8 ]( i8 K5 O
: [8 d3 |- b+ t3 X/ m2 ?; Z
进入项目路径，打开doubanBook文件夹
* a$ Y9 S9 W1 i) f( |2 H
8 c* J. S. b4 T+ |
) y9 Z) f! g' H2 N) f0 u3 F# G2 t
5 \' m2 Z6 v# X; c5 Z3 a9 p
) c1 K, I2 V6 |) X+ L& r5 O! B" {% J' F$ g+ O
$ u7 i" o1 Q. E( Zspiders
" Z6 a7 O- p9 p/ X' E _main
; c# \$ }3 Z& {2 s1 u9 c" q" k. l6 ]* e* p
爬取结果2 _2 l; x' X+ O; }2 c& }2 ]/ H0 D
! x3 D! x/ @" [6 g3 H- RPowerBI分析- 我们平时在选书选版本时，可以优先关注人民文学、上海译文、三联、南海、译林这几家出版社
- 以书上的定价作为参考，考虑网购折扣，假设所有图书都是8折，那么我们只需花费约8000元就可以把豆瓣Top250的所有图书（人类最宝贵的财富）带回家了哈哈哈8 F2 [/ F$ ]% M1 F0 Y
& y) F x T4 S8 x* G! a5 | L5 q D- E
————————————————3 I- o. [+ L/ A! O
版权声明：本文为CSDN博主「soleilxy」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。* O& Q! \$ [. a. f l
原文链接：https://blog.csdn.net/soleilxy/article/details/105931061
3 e% Y% ~: U3 \* K! G) J( A5 t- C: _9 X
, G! a" ~- S" P% w( f' H4 |
" U$ U' z% p/ y4 ]
-
14.png
(138.88 KB, 下载次数: 769)
作者: 建模小白12138 时间: 2020-5-5 20:38
感谢楼主分享..............
) g1 D, w8 g$ F/ r5 j- h" s! v
| 欢迎光临 数学建模社区-数学中国 (http://www.madio.net/) |
Powered by Discuz! X2.5 |
