数学建模社区-数学中国
标题: Scrapy爬取豆瓣图书Top250数据，在PowerBI中可视化分析 [打印本页]
作者: 杨利霞 时间: 2020-5-5 14:51
标题: Scrapy爬取豆瓣图书Top250数据，在PowerBI中可视化分析
4 l L6 l4 l- d& J5 X
- d" v5 X$ h+ F( |! u$ Y1 {7 W
5 C" g" T% Y- M NScrapy爬取豆瓣图书Top250数据，在PowerBI中可视化分析
3 ^/ v% `4 O; U& l0 _ @文章目录+ @. b8 V! N( i
( `7 a! A _- z$ o6 K: m; j8 ?项目说明: U2 R' y) g) k) N) C7 G
Scrapy框架
! P8 w/ S: P1 p$ u7 e. y网页分析5 C% `( b5 \9 k6 K
爬虫代码
5 U. O" B4 c9 Y6 ?- Zitems
* j8 b! P1 A n7 Uspiders
+ l! Z6 j7 k: n! h/ ~" n. J' e7 A- gpipelines; {( F }9 o4 s) `$ R4 U' Y
main
& b3 n h+ J$ Y4 a* i$ q爬取结果! W, u$ v# {9 W' V! [: J
PowerBI分析
" a. e/ y; [' u分析结果8 w" G% I0 e) g: m
项目说明8 x" X0 o9 ]# f- H" k& N
* L: M% q& k, m7 T& r, h' ]$ q/ ]' h% Y近期在学习Python爬虫，看了很多大佬的项目，厉害又有趣！五一在家把《我们的时代》看完了，在豆瓣上评分后，随便逛了逛，简单浏览了一下Top250的书单。突然想到可以把这些数据爬到本地，后期通过脚本，隔一段时间就自动爬一下，看下有无新书上榜，对爱看书又数据控的人来说还蛮实用的哈哈。
. j9 G6 z6 e8 ?, b/ d5 ?: ?+ M4 m3 [2 [1 o
网上搜了一下，爬豆瓣网的案例还挺多的，这里我试着用scrapy框架来爬豆瓣图书Top250的相关数据，再导入PowerBI分析数据，后续做到自动爬数据，一键更新分析结果。5 C4 u' f' s6 S- p7 W. _
8 X. t. @2 i' W7 y
豆瓣TOP250图书分析$ O4 `" p2 ~" R' O( y# M2 D' B5 {
" }3 P$ i0 q) w
该网址的数据会不定期更新，感兴趣的同学可以收藏~~~
& l( x9 [/ P! M0 d, S' ?( W) g. m
/ p% a0 D9 K6 |! DScrapy框架( I) `* R2 [0 p
. V" i+ ~' [& q7 Y7 g& T网页分析
) o. e2 y. `3 K; {2 ~1 W/ Z% g% h; E0 J1 w, P2 P
浏览网站，确定要爬取的数据
" o; I, _! u- p X. t8 @, c a
+ r" e& K( `" [/ q( E
爬虫代码打开Anaconda Prompt，创建scrapy项目scrapy startproject doubanBook
; l+ q! \/ F5 z8 v
+ `) p- d6 ] E F* f! [6 l进入项目路径，打开doubanBook文件夹
) D* U: a' B! Y! l1 j7 I
3 O# b3 [# j0 u7 ?- J% g5 l
# O3 `( o/ C, p9 A! Z
+ F% e5 n, b7 [4 O. n
# f( K8 {: e! A7 B, f1 N2 P1 [& y( J* r7 d" x+ s- \
8 K' I& v8 n7 k) O& ?. t
spiders
. j6 y0 X1 _. }2 @2 p7 bmain
( u$ U) e0 }: K5 Q/ i# ^* H) H; u. }/ |( `4 I/ X
爬取结果. Q* q: u( s; @4 i t; ?/ z. I
5 v4 j1 \7 I5 Y& H: ~2 o0 P* @PowerBI分析- 我们平时在选书选版本时，可以优先关注人民文学、上海译文、三联、南海、译林这几家出版社
- 以书上的定价作为参考，考虑网购折扣，假设所有图书都是8折，那么我们只需花费约8000元就可以把豆瓣Top250的所有图书（人类最宝贵的财富）带回家了哈哈哈% R: ?, O" k8 k9 O
5 H' r$ y Y" i6 \* p————————————————+ H) |0 Q$ r+ J% \
版权声明：本文为CSDN博主「soleilxy」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。- c8 r; J6 P; d0 k9 j, R5 L
原文链接：https://blog.csdn.net/soleilxy/article/details/105931061
% _: {4 A" G; B! _6 a/ |% ]% J/ s$ X4 x: R
$ [5 }) i/ m1 ]" V( Z! B! Q
! k& P9 T6 v9 x2 }: C
-
14.png
(138.88 KB, 下载次数: 732)
作者: 建模小白12138 时间: 2020-5-5 20:38
感谢楼主分享..............
' y" T/ J' I/ R8 R6 [1 P; ]- i
| 欢迎光临 数学建模社区-数学中国 (http://www.madio.net/) |
Powered by Discuz! X2.5 |
