Python制作可视化大屏（东京奥运会）

1047521767

目录

8 }8 e+ M. L* o- A5 S( [文章目录
" t: `, ?/ |2 R. ]' d
前言

一、数据爬取

二、数据预处理
! v. U  ]7 b% i$ J
​前言
  Q9 M$ t4 n, s# i! o% J9 |本文基于requests库爬取的奥运会相关数据，利用pandas库对数据进行处理之后，最后介绍了如何利用pyecharts库制作可视化大屏。

  {$ }& S1 h- V6 s3 K3 v* H
6 J3 U0 R9 J2 j: c3 M$ M; j, P7 Y一、数据爬取
import requests
import pandas as pd
$ S" l. Z/ b$ ]' jfrom pprint import pprint
! ~/ W0 |0 D; t( Q; S& u导入相关库

1 B* x" r1 Y/ m+ I& Grequests库用于发起网页请求，获取网页中的源代码；
# c8 V% o4 J3 c
pandas库用于存储和读取获取到的信息；

pprint库是漂亮的打印，对于json格式的数据，能够很好的展示结构，方便我们解析；

url = 'https://app-sc.miguvideo.com/vms-livedata/olympic-medal/total-table/15/110000004609'
9 f8 k; o! Q9 M7 S3 ^  C8 pdata1 = requests.get(url).json()
# pprint(data1)

& i: x& U$ }* L6 v这里利用三行代码就可以获取到网页的源代码，利用pprint库，可以清晰的展示json结构，对于我们解析数据很有帮助。
- ^) V! C- M. Z5 I* n- ldf1 = pd.DataFrame()
for info in data1['body']['allMedalData']:
; C, u1 _1 G4 _' F9 I    name = info['countryName']
! |9 ]6 u% s, _, Q2 r    name_id = info['countryId']
    rank = info['rank']
0 D1 ~+ Y$ W: w, t; D2 v    gold = info['goldMedalNum']
    silver = info['silverMedalNum']
/ s. b) N# L; q    bronze = info['bronzeMedalNum']
    total = info['totalMedalNum']
/ R- p4 u, B, ^1 _6 e/ e& f3 s    # 组织数据
. h4 C" O: l1 Z    orangized_data = [[name,name_id,rank,gold,silver,bronze,total]]
2 d0 H$ x5 B% ^! l' o" l# ?    # 然后追加df
    df1 = df1.append(orangized_data)
df1.columns = ['名称', 'ID', '排名', '金牌', '银牌', '铜牌', '奖牌总数']
df1
1 L& r, l' Z6 O, s

这里利用pandas库对爬取的数据进行处理，转变成结构更清楚的数据框结构。
url = 'https://app-sc.miguvideo.com/vms-livedata/olympic-medal/detail-total/15/110000004609'
data2 = requests.get(url).json()
, B: e9 A# @* J& O- V8 T4 a#pprint(data2)

4 N1 f& {+ G2 h, Rdf2 = pd.DataFrame()
" L6 I5 j/ `' v& ]5 v$ W1 T9 Kfor info in data2['body']['medalTableDetail']:
    english_name = info['countryName']
    name_id = info['countryId']
' @# k6 q# y9 @" n5 t    award_time = info['awardTime']
    item_name = info['bigItemName']
6 _' `4 ~6 i+ k    sports_name = info['sportsName']
    medal_type = info['medalType']
  E$ y% i3 X# l! n. i1 P5 Q    # 组织数据
    orangized_data = [[english_name,name_id,award_time,item_name,sports_name,medal_type]]
+ s5 a6 n) X% Z- |" s    # 然后追加df
    df2 = df2.append(orangized_data)
- H+ ^3 i& _& b4 Jdf2.columns = ['英文缩写', 'ID', '获奖时间', '项目名', '运动员', '金牌类型']
df2
, X3 m, H2 D4 {$ ?  l' A, h
7 c3 ?* ]- h/ J2 Y- z! d% l$ Q对于另外一个网页，我们采取同样的方式对数据进行爬取和处理。

; s' a/ S" r/ `8 l, b% a- N1 F
3 `0 y2 i& Z: v: q5 e二、数据预处理
由于使用pyecharts绘制世界地图时，名称必须是英文的，所以我们需要将这里的中文名称映射为英文名称。 我们要做的就是将它与表格中的数据，做个映射转换。先把它转换为一个Excel文件，方便我们以后直接使用。
" Y' |2 f5 a* @
, b$ P+ Q1 C, \# f+ r  H1 g) M! G0 bwith open("D:/和鲸数据/数据可视化大屏！绘制全流程！/国家名中英文对照表.txt","r",encoding="utf-8") as f:
* Q* \3 ?. O/ e7 ^5 q1 x2 I8 `2 K    x = f.read()

5 q1 P: X+ N* l. M* I% T1 I: i4 Ndf3 = pd.DataFrame()
for i in x.split("\n"):
    x = i.split("：")[0].strip()
. O! h. P3 B# w! ~0 F8 `    y = i.split("：")[1].strip()
% l, V" z5 T' |/ o4 _    orangined_data = [[x,y]]
    df3 = df3.append(orangined_data)
: D2 I. Z1 t) c) Kdf3.columns = ["名称","英文名称"]
df3.to_excel("D:/和鲸数据/数据可视化大屏！绘制全流程！/国家名中英文对照表.xlsx",index=None)
表格df1表示各国奖牌数，表格df3表示国家名中英文对照表，利用上述两张表，我们可以左连接，将英文名称添加到df1表上。

df4 = pd.merge(df1,df3,on="名称",how="left")
df4.head(10)
; y' A5 }% y, _  q: S( F/ s/ J
/ \, _4 k0 Z7 q+ t

表格df5表示运动项目获奖详情。

• 
  
  
  # s( O$ @0 Y( G; {1 g

2 m) N% e' }- N% d
5 d6 E" D8 A9 e) b3 y

iolia008

/ f1 A% S2 L, ]; A% A: }& ^" t( v