Python制作可视化大屏（东京奥运会）

1047521767

目录
/ h' Y7 L2 [# m
, {/ H0 \7 ^+ o# e6 H) ?文章目录
# H. u# {( D  C. T/ |; r
前言
1 t& R) D1 }* v2 d- q4 L
1 N2 N3 ]' {; B: W( T/ P一、数据爬取

二、数据预处理

​前言
本文基于requests库爬取的奥运会相关数据，利用pandas库对数据进行处理之后，最后介绍了如何利用pyecharts库制作可视化大屏。

: C( Q( r4 _1 \8 i
一、数据爬取
import requests
2 U7 ]& n$ ]+ E/ C2 Q7 c4 jimport pandas as pd
from pprint import pprint
3 {5 F2 q  ~2 a) K9 N! |导入相关库
3 D* P& j9 s3 F0 @' \& q# f
requests库用于发起网页请求，获取网页中的源代码；
! _! b4 \$ V; x& e$ U0 B' |$ m
pandas库用于存储和读取获取到的信息；

pprint库是漂亮的打印，对于json格式的数据，能够很好的展示结构，方便我们解析；
5 T1 O+ _. d/ G3 G) l
) M' ~8 G2 Z* ?. \4 Eurl = 'https://app-sc.miguvideo.com/vms-livedata/olympic-medal/total-table/15/110000004609'
data1 = requests.get(url).json()
1 d, i. W# w- D* g2 y8 q# pprint(data1)
9 L* w. k3 k0 N2 ?1 S
! R% d8 q2 ?/ g( t) P这里利用三行代码就可以获取到网页的源代码，利用pprint库，可以清晰的展示json结构，对于我们解析数据很有帮助。
0 k7 x  r" i$ P) i9 Ddf1 = pd.DataFrame()
! ?+ ]+ o. k: e$ a4 Dfor info in data1['body']['allMedalData']:
    name = info['countryName']
    name_id = info['countryId']
    rank = info['rank']
    gold = info['goldMedalNum']
1 ~6 O2 m4 }4 J: R    silver = info['silverMedalNum']
    bronze = info['bronzeMedalNum']
. f  u# n1 S" N6 h    total = info['totalMedalNum']
9 w: s) Z: x+ E" l4 {9 [    # 组织数据
    orangized_data = [[name,name_id,rank,gold,silver,bronze,total]]
& t$ `5 p% }4 n' M/ G2 `  {& G) K    # 然后追加df
, O  {) |' ]/ b' K1 o6 B; z    df1 = df1.append(orangized_data)
  E9 E! L) [  Hdf1.columns = ['名称', 'ID', '排名', '金牌', '银牌', '铜牌', '奖牌总数']
. V- Q8 @: d, ]0 `df1
1 F; \: [3 D/ D$ G0 ~% O

* R# i6 ^6 h9 |这里利用pandas库对爬取的数据进行处理，转变成结构更清楚的数据框结构。
url = 'https://app-sc.miguvideo.com/vms-livedata/olympic-medal/detail-total/15/110000004609'
$ m+ X2 _* x! I( ldata2 = requests.get(url).json()
+ S1 V; U& t$ `- q$ I" ?#pprint(data2)

0 H+ f. O2 T+ {  V) z3 Jdf2 = pd.DataFrame()
$ t8 n. ?8 Y. b. T7 H! e8 lfor info in data2['body']['medalTableDetail']:
7 H, ^* g6 J0 ]. m5 O    english_name = info['countryName']
/ [4 C; B- o. U! P7 n) e9 Q8 J    name_id = info['countryId']
4 X& I, c" x1 k6 ]" S6 [, ^    award_time = info['awardTime']
    item_name = info['bigItemName']
3 T7 v: E' v, G4 m! |8 Z7 i! |    sports_name = info['sportsName']
    medal_type = info['medalType']
    # 组织数据
8 _* E' `% N3 E8 \8 \    orangized_data = [[english_name,name_id,award_time,item_name,sports_name,medal_type]]
, Q1 r3 `  m5 a; L' p" T    # 然后追加df
, F7 ]0 B$ o7 B5 {7 z4 W6 l( j    df2 = df2.append(orangized_data)
df2.columns = ['英文缩写', 'ID', '获奖时间', '项目名', '运动员', '金牌类型']
df2

/ j& F$ `6 O5 ]6 Y, z对于另外一个网页，我们采取同样的方式对数据进行爬取和处理。

7 B1 y( Y3 L$ i, }! G1 |
二、数据预处理
由于使用pyecharts绘制世界地图时，名称必须是英文的，所以我们需要将这里的中文名称映射为英文名称。 我们要做的就是将它与表格中的数据，做个映射转换。先把它转换为一个Excel文件，方便我们以后直接使用。

3 W, G. m3 A- ~! m1 qwith open("D:/和鲸数据/数据可视化大屏！绘制全流程！/国家名中英文对照表.txt","r",encoding="utf-8") as f:
    x = f.read()
8 ?+ l4 `1 p) }  R- k; }
1 ^# j. C4 c0 x1 ]- \df3 = pd.DataFrame()
for i in x.split("\n"):
    x = i.split("：")[0].strip()
1 W- n! G$ A5 ^    y = i.split("：")[1].strip()
, E% [: |9 F6 s    orangined_data = [[x,y]]
    df3 = df3.append(orangined_data)
' E+ x  u2 Q, x! f8 xdf3.columns = ["名称","英文名称"]
df3.to_excel("D:/和鲸数据/数据可视化大屏！绘制全流程！/国家名中英文对照表.xlsx",index=None)
' ?3 J, n  X( C9 m/ e表格df1表示各国奖牌数，表格df3表示国家名中英文对照表，利用上述两张表，我们可以左连接，将英文名称添加到df1表上。
5 q5 _9 w9 z- m  o! F
df4 = pd.merge(df1,df3,on="名称",how="left")
df4.head(10)

表格df5表示运动项目获奖详情。

• 
  / {/ M$ V$ X  X* f- |
  
  - T9 x' ^4 A  ?( L

# t& K7 q* m$ }. t2 ?

iolia008