Python制作可视化大屏（东京奥运会）

1047521767

目录

文章目录
1 q* e7 m, c$ M8 v/ z" x
$ \3 X+ Z* G2 {0 k& V前言
# R: [  p8 L1 S6 H/ e
9 B4 p' Y& N8 t; O. W  s: w一、数据爬取
/ a9 M& {0 `5 T$ z. M
; u! F; Q/ x! x4 n' g, i二、数据预处理

​前言
9 Y) E4 P- r" D- o本文基于requests库爬取的奥运会相关数据，利用pandas库对数据进行处理之后，最后介绍了如何利用pyecharts库制作可视化大屏。

1 g% w+ Y* h7 c7 \+ H
一、数据爬取
/ U' ~. D1 [# k# M' z5 Nimport requests
6 k9 b% H0 }" W- G0 [: \! Wimport pandas as pd
from pprint import pprint
导入相关库

requests库用于发起网页请求，获取网页中的源代码；

8 l) Q4 Y& M% z7 z# {( ^7 T6 \3 l+ ypandas库用于存储和读取获取到的信息；
0 L' w# z( Q6 s2 n0 V
pprint库是漂亮的打印，对于json格式的数据，能够很好的展示结构，方便我们解析；
; p. B) t' l5 C- I1 Z$ X: c
url = 'https://app-sc.miguvideo.com/vms-livedata/olympic-medal/total-table/15/110000004609'
0 s0 a2 \. f4 V4 X) qdata1 = requests.get(url).json()
" Z9 h- d" j7 G# pprint(data1)

- ~7 p7 w6 _2 o5 R这里利用三行代码就可以获取到网页的源代码，利用pprint库，可以清晰的展示json结构，对于我们解析数据很有帮助。
5 Y0 V& Y! @) Z; P. @" ldf1 = pd.DataFrame()
for info in data1['body']['allMedalData']:
4 m7 B( b1 {( H) q# y% p! T/ p- _    name = info['countryName']
    name_id = info['countryId']
7 w  @0 G9 p8 q9 a1 N    rank = info['rank']
) U* q+ \/ m, V: a: v! X5 k    gold = info['goldMedalNum']
    silver = info['silverMedalNum']
- r% v9 Y/ `5 }    bronze = info['bronzeMedalNum']
    total = info['totalMedalNum']
    # 组织数据
    orangized_data = [[name,name_id,rank,gold,silver,bronze,total]]
) d5 L) {) Y3 k$ R1 U    # 然后追加df
    df1 = df1.append(orangized_data)
df1.columns = ['名称', 'ID', '排名', '金牌', '银牌', '铜牌', '奖牌总数']
$ F9 m) p+ }5 f0 @) vdf1
" |4 }2 u+ N3 f3 A: J8 q
2 I, w- \% Q1 f2 g' y1 q6 Y
这里利用pandas库对爬取的数据进行处理，转变成结构更清楚的数据框结构。
url = 'https://app-sc.miguvideo.com/vms-livedata/olympic-medal/detail-total/15/110000004609'
+ [3 U# S; {2 y3 U5 }, A8 Gdata2 = requests.get(url).json()
#pprint(data2)
' p- s% d. ~' F& r
, r/ H, f  m5 ldf2 = pd.DataFrame()
for info in data2['body']['medalTableDetail']:
& H& L7 V' I! c" z* Q4 Q' a+ r    english_name = info['countryName']
& u9 p0 D- d3 y    name_id = info['countryId']
" _# d% d8 e1 V    award_time = info['awardTime']
    item_name = info['bigItemName']
2 q- O0 M5 n0 G6 U' p+ t    sports_name = info['sportsName']
    medal_type = info['medalType']
  Y, D  S0 f; P9 y* f# `& w2 D    # 组织数据
" n/ }- t3 E* M' }  S! G% ]8 v( C7 o  y    orangized_data = [[english_name,name_id,award_time,item_name,sports_name,medal_type]]
    # 然后追加df
$ ?' R, F" V) r! \8 W    df2 = df2.append(orangized_data)
df2.columns = ['英文缩写', 'ID', '获奖时间', '项目名', '运动员', '金牌类型']
df2
( N: }5 X4 A; i
. G, E* M: {1 G9 I% m  L6 N对于另外一个网页，我们采取同样的方式对数据进行爬取和处理。

' [. t, s: i7 s. \
二、数据预处理
由于使用pyecharts绘制世界地图时，名称必须是英文的，所以我们需要将这里的中文名称映射为英文名称。 我们要做的就是将它与表格中的数据，做个映射转换。先把它转换为一个Excel文件，方便我们以后直接使用。

with open("D:/和鲸数据/数据可视化大屏！绘制全流程！/国家名中英文对照表.txt","r",encoding="utf-8") as f:
' }. r# A% u1 a0 u1 ]    x = f.read()
* p: G) D- n' ^2 ~% d6 i8 Q. i1 U. |
- X/ Z  M. D4 ?, V# S7 i0 X8 Y' qdf3 = pd.DataFrame()
for i in x.split("\n"):
9 t3 @( I, n+ d# H! Y& P' K    x = i.split("：")[0].strip()
    y = i.split("：")[1].strip()
! V5 P& G# a2 J' e+ x    orangined_data = [[x,y]]
' F( c( n7 F4 N5 O! u1 @# W    df3 = df3.append(orangined_data)
df3.columns = ["名称","英文名称"]
% D4 m+ ^9 f+ S2 Q$ K( x  Adf3.to_excel("D:/和鲸数据/数据可视化大屏！绘制全流程！/国家名中英文对照表.xlsx",index=None)
" E* d5 e$ n3 |7 i! S) g3 C表格df1表示各国奖牌数，表格df3表示国家名中英文对照表，利用上述两张表，我们可以左连接，将英文名称添加到df1表上。
5 T3 X+ @0 z: `) W1 y8 f% @
3 ^5 W/ \9 y: [% Z7 @% fdf4 = pd.merge(df1,df3,on="名称",how="left")
, m1 k, {9 ]; xdf4.head(10)

) B1 ?8 ^6 x2 n. e1 t

表格df5表示运动项目获奖详情。

• 
  
  + k; X2 s: [( S/ _+ m8 X
  * k; l4 @6 ]: C8 C7 ]) f

iolia008