Python制作可视化大屏（东京奥运会）

1047521767

目录
. ^! S9 U: {  f; M
+ [  C- ~4 _8 m) P5 h8 C文章目录

前言
4 p: f5 @& z* ?: f  U, n: ?* b
  m- T" f0 ~5 g1 |1 l一、数据爬取

8 g$ B1 s# {2 M0 ?: @: @# Q二、数据预处理
8 z! C3 z+ p4 o5 O5 V0 \. N3 W
​前言
本文基于requests库爬取的奥运会相关数据，利用pandas库对数据进行处理之后，最后介绍了如何利用pyecharts库制作可视化大屏。
& q* o3 k5 F: I  d; Q
8 d0 l' O6 N9 a9 W1 V
一、数据爬取
import requests
import pandas as pd
from pprint import pprint
导入相关库

requests库用于发起网页请求，获取网页中的源代码；

pandas库用于存储和读取获取到的信息；
* ~5 @4 I/ p: M# M4 g
pprint库是漂亮的打印，对于json格式的数据，能够很好的展示结构，方便我们解析；
+ E1 l: W4 N9 f& h2 Y- P
' M+ k# |$ G3 ?% Kurl = 'https://app-sc.miguvideo.com/vms-livedata/olympic-medal/total-table/15/110000004609'
7 ]* ?. x8 E6 T4 q% mdata1 = requests.get(url).json()
# pprint(data1)

, `" r  D# Z" R# w, h: R9 _这里利用三行代码就可以获取到网页的源代码，利用pprint库，可以清晰的展示json结构，对于我们解析数据很有帮助。
+ Y$ @- P- Z+ f3 I) b( \df1 = pd.DataFrame()
for info in data1['body']['allMedalData']:
    name = info['countryName']
+ z$ a  r" C+ K# `; r9 a5 h* G/ x    name_id = info['countryId']
, R7 @* L# u8 @8 {    rank = info['rank']
! |  M2 m3 Y! e3 U6 _    gold = info['goldMedalNum']
! W1 E" W6 a2 v. s( ?    silver = info['silverMedalNum']
" N+ W6 d& \6 e% i9 c7 C8 j0 Y    bronze = info['bronzeMedalNum']
: ?: n- ]- f3 B! T0 e1 `    total = info['totalMedalNum']
    # 组织数据
5 r) |' ]( f) L- t    orangized_data = [[name,name_id,rank,gold,silver,bronze,total]]
    # 然后追加df
; l7 X9 d0 H9 n1 ]6 y9 O7 N    df1 = df1.append(orangized_data)
df1.columns = ['名称', 'ID', '排名', '金牌', '银牌', '铜牌', '奖牌总数']
df1
; Y3 z* g' {$ @5 B  E
; O* S2 J; H; C% C' ~/ X8 s
这里利用pandas库对爬取的数据进行处理，转变成结构更清楚的数据框结构。
url = 'https://app-sc.miguvideo.com/vms-livedata/olympic-medal/detail-total/15/110000004609'
data2 = requests.get(url).json()
#pprint(data2)
7 j9 ?0 b  A* s0 k  O+ v( F
7 d. d. G  r" \# h0 ydf2 = pd.DataFrame()
  I  B3 k% M0 |7 ^" Y# X  H0 lfor info in data2['body']['medalTableDetail']:
0 g+ n9 y6 }! o$ }& N4 H0 t1 J) ~  b    english_name = info['countryName']
/ s4 [1 i6 h1 T5 o    name_id = info['countryId']
    award_time = info['awardTime']
  X# F0 V" m: O9 _    item_name = info['bigItemName']
4 T& `0 i, ?0 k# s5 p+ r9 G8 S    sports_name = info['sportsName']
    medal_type = info['medalType']
7 G& k0 `3 O( y7 N/ U6 x4 v9 W    # 组织数据
    orangized_data = [[english_name,name_id,award_time,item_name,sports_name,medal_type]]
    # 然后追加df
% P  b8 p5 ^6 G9 W4 m! A    df2 = df2.append(orangized_data)
df2.columns = ['英文缩写', 'ID', '获奖时间', '项目名', '运动员', '金牌类型']
# U# H( f/ _  L- a9 }/ N5 R5 t8 S# E: ldf2
/ ~1 }9 A: Z: B3 U
对于另外一个网页，我们采取同样的方式对数据进行爬取和处理。


, [) S+ t/ z9 F3 P二、数据预处理
由于使用pyecharts绘制世界地图时，名称必须是英文的，所以我们需要将这里的中文名称映射为英文名称。 我们要做的就是将它与表格中的数据，做个映射转换。先把它转换为一个Excel文件，方便我们以后直接使用。

with open("D:/和鲸数据/数据可视化大屏！绘制全流程！/国家名中英文对照表.txt","r",encoding="utf-8") as f:
    x = f.read()

df3 = pd.DataFrame()
+ z! @  |  L) X5 Tfor i in x.split("\n"):
) l/ Y- d+ ~  b1 b( H3 f0 q0 s    x = i.split("：")[0].strip()
# l, G3 [, `1 a# W& w    y = i.split("：")[1].strip()
    orangined_data = [[x,y]]
# |3 P/ e( i: |2 C! j0 P1 n    df3 = df3.append(orangined_data)
df3.columns = ["名称","英文名称"]
0 P8 q+ |2 M7 M0 C7 J, Fdf3.to_excel("D:/和鲸数据/数据可视化大屏！绘制全流程！/国家名中英文对照表.xlsx",index=None)
表格df1表示各国奖牌数，表格df3表示国家名中英文对照表，利用上述两张表，我们可以左连接，将英文名称添加到df1表上。
2 y* g1 u& |& z! t
df4 = pd.merge(df1,df3,on="名称",how="left")
df4.head(10)
: z+ L, d5 v/ q- W3 o) c) N$ p
- ^. o8 e9 G. a% t8 k) J

表格df5表示运动项目获奖详情。

• 
  ' }5 E/ f, ]% R
  $ C+ ^7 {1 J6 `5 u$ M/ t$ p
  

. R: r# ]/ H* e3 o5 G- t% i# U. m+ z

iolia008

# G3 n6 F! z) @. P' m