Python制作可视化大屏（东京奥运会）

1047521767

目录
! t, }- p, n" x) g
2 [5 D# v* z/ H* ?0 y2 g) ]文章目录

, x* M+ {2 x8 }前言
6 q6 r, A7 Y% c9 L" x% F
一、数据爬取
$ P0 O4 r+ F2 P) \5 n) D3 Z
  `4 p) c; [. o3 W) w. O二、数据预处理
1 a, J3 y9 W' X$ h
4 v+ I* k/ F8 A" c$ ?# N$ z9 r9 N3 {​前言
本文基于requests库爬取的奥运会相关数据，利用pandas库对数据进行处理之后，最后介绍了如何利用pyecharts库制作可视化大屏。

4 a+ Y8 M8 b# R  I2 g( d* ?
5 ?- |) U( U; W  q8 J' k( a一、数据爬取
import requests
/ ~% l1 n# r, ^& P5 g, H8 himport pandas as pd
from pprint import pprint
( D+ T$ `- H, T4 @- V7 ~- K' V导入相关库
. i2 K  y& w+ L+ c# e
requests库用于发起网页请求，获取网页中的源代码；
! f1 A, r/ Q9 Q
% c  L- [+ L: n& Q6 ?" N6 }2 Q/ [/ _6 _pandas库用于存储和读取获取到的信息；

: t# Z* Z) `- ~! ^5 w* qpprint库是漂亮的打印，对于json格式的数据，能够很好的展示结构，方便我们解析；

url = 'https://app-sc.miguvideo.com/vms-livedata/olympic-medal/total-table/15/110000004609'
data1 = requests.get(url).json()
' w" a" q9 O# i. _7 D# t5 d# pprint(data1)

这里利用三行代码就可以获取到网页的源代码，利用pprint库，可以清晰的展示json结构，对于我们解析数据很有帮助。
df1 = pd.DataFrame()
for info in data1['body']['allMedalData']:
    name = info['countryName']
) b0 o  R( F4 t8 I# X! u2 [5 F, }    name_id = info['countryId']
    rank = info['rank']
    gold = info['goldMedalNum']
6 v# ]! o1 m8 i    silver = info['silverMedalNum']
    bronze = info['bronzeMedalNum']
' ]: q$ z" u' i* r    total = info['totalMedalNum']
- Q8 M- n7 r* p- f    # 组织数据
% W7 A' `6 M/ d* s7 o' \+ \1 G0 J( K    orangized_data = [[name,name_id,rank,gold,silver,bronze,total]]
; @# a) T6 I  i    # 然后追加df
3 g& U4 w2 _, m$ l/ l    df1 = df1.append(orangized_data)
2 n" d* e3 K9 Hdf1.columns = ['名称', 'ID', '排名', '金牌', '银牌', '铜牌', '奖牌总数']
df1


* q1 o2 ?/ h) h2 n. E6 t9 r  f这里利用pandas库对爬取的数据进行处理，转变成结构更清楚的数据框结构。
url = 'https://app-sc.miguvideo.com/vms-livedata/olympic-medal/detail-total/15/110000004609'
* E6 R7 ]2 j7 f. ~3 x; ?3 gdata2 = requests.get(url).json()
5 L* q( o% v' E- s#pprint(data2)

' h  v9 F7 Q* Sdf2 = pd.DataFrame()
for info in data2['body']['medalTableDetail']:
    english_name = info['countryName']
    name_id = info['countryId']
    award_time = info['awardTime']
    item_name = info['bigItemName']
$ S9 a. L$ w2 j! l* s7 Y3 ]  A! a    sports_name = info['sportsName']
    medal_type = info['medalType']
    # 组织数据
    orangized_data = [[english_name,name_id,award_time,item_name,sports_name,medal_type]]
0 g: Y+ y! n, H' K    # 然后追加df
  V8 l- B; C1 Q! x    df2 = df2.append(orangized_data)
df2.columns = ['英文缩写', 'ID', '获奖时间', '项目名', '运动员', '金牌类型']
df2

+ K$ i* m* i- D/ X  U对于另外一个网页，我们采取同样的方式对数据进行爬取和处理。


二、数据预处理
3 E7 y, |% `0 \& R  Z' O由于使用pyecharts绘制世界地图时，名称必须是英文的，所以我们需要将这里的中文名称映射为英文名称。 我们要做的就是将它与表格中的数据，做个映射转换。先把它转换为一个Excel文件，方便我们以后直接使用。
* O' ~6 j# j. c0 [! y# {6 Z
with open("D:/和鲸数据/数据可视化大屏！绘制全流程！/国家名中英文对照表.txt","r",encoding="utf-8") as f:
    x = f.read()

6 d' z' ^: N9 Ndf3 = pd.DataFrame()
for i in x.split("\n"):
" O* G+ W. `$ q    x = i.split("：")[0].strip()
' d, r( C( d1 D8 d    y = i.split("：")[1].strip()
    orangined_data = [[x,y]]
  }- S0 r) F" H1 ?+ R% M    df3 = df3.append(orangined_data)
8 ]2 Z* e" _! c% {& @+ a4 ndf3.columns = ["名称","英文名称"]
& z, d' ]  U, a& T2 a3 s* h8 T8 Qdf3.to_excel("D:/和鲸数据/数据可视化大屏！绘制全流程！/国家名中英文对照表.xlsx",index=None)
表格df1表示各国奖牌数，表格df3表示国家名中英文对照表，利用上述两张表，我们可以左连接，将英文名称添加到df1表上。

df4 = pd.merge(df1,df3,on="名称",how="left")
df4.head(10)
$ |* X- u2 \8 A/ g8 j
, W& S1 W" \0 x$ S& r% s$ G+ ?; Q
4 W' N0 j' i% k' z8 y

表格df5表示运动项目获奖详情。

• 
  5 ~# x8 ^/ K! g6 e6 w0 B
  . F- t7 e3 s, I# g8 Q8 ^% g
  

1 A9 F4 G! t9 ]" x6 h' J
. e4 H& i$ Q1 ?( w6 L

iolia008

# B, q( G! h; ^; F8 C/ E% Q( ~6 P