9 ~3 r) Q7 ?# d( f; F4 q二、数据预处理0 g. W; I$ u7 R
2 G& `' m" h6 D0 A3 t d
前言 , {4 S* I( n B. \6 \3 n本文基于requests库爬取的奥运会相关数据,利用pandas库对数据进行处理之后,最后介绍了如何利用pyecharts库制作可视化大屏。/ |4 M7 j: A* Y- S. _# @
9 q& S; X* _& m* Z0 K+ X
' f9 f ]7 ?; q
一、数据爬取 3 C! \* w+ w. x8 J1 s) w5 Y# pimport requests # {* Z3 d. T/ D6 W& s2 @import pandas as pd* h3 y( w# L* w, f) ?
from pprint import pprint 9 w$ F. L6 N& _4 R% I导入相关库 6 M, ?% |3 p$ W: W. ~( D* H$ @/ [5 P3 y5 D/ f @' h9 p7 _0 u: G
requests库用于发起网页请求,获取网页中的源代码; ; K0 v4 U3 |+ z: m/ q9 M, \0 l7 z# r- Q0 {" j# n
pandas库用于存储和读取获取到的信息; " i7 o) W' W2 A 7 q5 l8 Z) Q& u# u, c Fpprint库是漂亮的打印,对于json格式的数据,能够很好的展示结构,方便我们解析; 3 a2 v! d0 g5 f9 L* i 8 l: G( i) b+ l) z. O1 _' `- m; Ourl = 'https://app-sc.miguvideo.com/vms-livedata/olympic-medal/total-table/15/110000004609'( s5 p1 z# @" F4 W$ }: ~7 v( A4 d
data1 = requests.get(url).json() ; i* A6 r2 v: R/ E# pprint(data1) ! Q2 F8 b( @8 ~: P; z8 i' t, C
这里利用三行代码就可以获取到网页的源代码,利用pprint库,可以清晰的展示json结构,对于我们解析数据很有帮助。 2 L Z* d: y+ L; o3 r4 a7 _8 U' Idf1 = pd.DataFrame()2 b3 u- B+ V5 Q: Q) Y; [2 O
for info in data1['body']['allMedalData']: : M' }; P: s# I) h name = info['countryName']- k" \, P2 D& k3 L6 b( t/ ]( i
name_id = info['countryId'] 8 D0 C$ B' O0 j rank = info['rank']3 x9 ?+ H3 S2 f L- C" Z
gold = info['goldMedalNum']1 Q, ]% s: m4 z/ E) D
silver = info['silverMedalNum'] ) ^ K8 m2 T( y' O. ?1 |& H bronze = info['bronzeMedalNum']8 G: b1 i+ N; H8 Q' f/ c1 K& V
total = info['totalMedalNum']' m1 Z+ b( h( w% {9 w9 ?, {* A
# 组织数据; k1 z, x4 ^9 s2 f$ h% @( v2 t/ z
orangized_data = [[name,name_id,rank,gold,silver,bronze,total]] / n5 x, [" ^& `) S! ^) C" I* j # 然后追加df 1 q1 G2 r4 v% v, C, C# e2 ~: K df1 = df1.append(orangized_data); `0 s F& w! r4 r" }
df1.columns = ['名称', 'ID', '排名', '金牌', '银牌', '铜牌', '奖牌总数'] " `0 k7 N' N! x: vdf1 5 V& L F9 X, i$ P b+ @ y) B" U3 N* z% o8 q f 8 r( O5 Q8 J: ~# T- Z6 ]这里利用pandas库对爬取的数据进行处理,转变成结构更清楚的数据框结构。' r6 q2 k- v% ^$ Y& D q
url = 'https://app-sc.miguvideo.com/vms-livedata/olympic-medal/detail-total/15/110000004609' 4 k; x Q p* |$ q; Z. ^data2 = requests.get(url).json() # a0 [6 h# q, `) T9 m" f#pprint(data2) i/ q' s4 i, d6 z 1 {$ ]" C& b8 M: x; V! X9 jdf2 = pd.DataFrame()( F' t# ?0 g( b9 b0 d+ |
for info in data2['body']['medalTableDetail']:0 ?/ k( y0 g0 _! ^9 g
english_name = info['countryName']7 u& Z5 N9 T e! X- U/ R' D- y
name_id = info['countryId'] 2 K# ?' w% L9 Y7 ^! d5 B# K award_time = info['awardTime'] b3 u2 I1 W5 t- T/ u2 \+ ] item_name = info['bigItemName'], [/ X& Q! R3 K' H- d. ?' x& r
sports_name = info['sportsName']1 d& y' S9 ?& t5 ]) B+ ^' D; G
medal_type = info['medalType'], g9 s9 h7 Y3 I
# 组织数据 / j: N! _/ b+ K4 Q orangized_data = [[english_name,name_id,award_time,item_name,sports_name,medal_type]] $ N! T1 S* P9 B/ _! _7 D0 G0 _7 s # 然后追加df% f9 r/ g; R. b; @# [ C: W8 f/ U D
df2 = df2.append(orangized_data)9 ?2 c0 L) ^2 C# B
df2.columns = ['英文缩写', 'ID', '获奖时间', '项目名', '运动员', '金牌类型'] ! c0 K4 Q2 W, l! \2 a. M0 Qdf28 D t. r: l. R y( q7 p1 o: }
! Q G8 a& W" }) b6 [对于另外一个网页,我们采取同样的方式对数据进行爬取和处理。 P1 H( M- Y5 N; l% w . J2 f; o7 g J. O+ c1 E/ x8 j* R L3 u2 D; x9 N1 A
二、数据预处理 , q r0 f% L) }由于使用pyecharts绘制世界地图时,名称必须是英文的,所以我们需要将这里的中文名称映射为英文名称。 我们要做的就是将它与表格中的数据,做个映射转换。先把它转换为一个Excel文件,方便我们以后直接使用。 Z" E1 U3 z1 |+ e; U
' q; g* @7 F Kwith open("D:/和鲸数据/数据可视化大屏!绘制全流程!/国家名中英文对照表.txt","r",encoding="utf-8") as f:# ?$ L* ]4 z8 j$ T, t
x = f.read() 0 J7 k9 H/ w1 l9 X9 a! _$ I [: D! S" w( g6 h0 V0 F j
df3 = pd.DataFrame() , d, P( O$ w" `& v+ l6 i0 qfor i in x.split("\n"): . y# ]3 R" ^+ x2 a6 ^* n x = i.split(":")[0].strip()# w5 g6 ]8 ?# x/ l4 ^* z4 X
y = i.split(":")[1].strip() & l7 k1 m' D/ r" ?& s orangined_data = [[x,y]]- M7 p- D; @/ z8 `: A0 i
df3 = df3.append(orangined_data) " n; U. R. H# b( H1 tdf3.columns = ["名称","英文名称"] 6 Z9 w" @# d0 p8 Udf3.to_excel("D:/和鲸数据/数据可视化大屏!绘制全流程!/国家名中英文对照表.xlsx",index=None) / ^2 p I- I3 L% Z$ ^表格df1表示各国奖牌数,表格df3表示国家名中英文对照表,利用上述两张表,我们可以左连接,将英文名称添加到df1表上。" @! Z& R$ { p9 y, n; k7 w0 W
4 T/ A3 L% h x4 `9 k. k) ddf4 = pd.merge(df1,df3,on="名称",how="left") , m j1 t1 Z h5 u E @* b" W/ wdf4.head(10) J% C! d' f2 Y* R/ X$ h# B4 a8 f0 B/ c B+ g, l. Q3 X+ s0 }
表格df5表示运动项目获奖详情。
( u, \5 b; z% j, n9 d+ D$ E1 { Z$ n* a8 Y5 J3 S/ i
8 V% k) Q: H. N, Q5 S* y
4 [. W: n. S% ~6 J2 }) m. c3 h6 \3 M6 j! P7 K; g" K