Python制作可视化大屏（东京奥运会）

1047521767

目录

) a5 Z% X6 T1 d5 z0 I0 Z文章目录
% b9 p$ x5 y9 f" Z( t) \; p
前言
3 M; [. q$ r* f% G
+ p# f# f5 k, E一、数据爬取
) b1 Q- Q* {: j* @
二、数据预处理
" @3 Q# z% t+ i) ]2 A
. Z. @: I: h7 `! \0 m​前言
本文基于requests库爬取的奥运会相关数据，利用pandas库对数据进行处理之后，最后介绍了如何利用pyecharts库制作可视化大屏。

( N% }# O/ ?# {
一、数据爬取
import requests
; E8 O2 B0 ?1 J2 f3 fimport pandas as pd
, ?  f7 Z. Q7 h+ C" sfrom pprint import pprint
导入相关库
$ k0 B% X$ j6 |# ]. q
requests库用于发起网页请求，获取网页中的源代码；
6 A8 j7 A% k6 n8 Z* W  G$ K
pandas库用于存储和读取获取到的信息；
' e5 \' a. Q2 K* S5 `! r
; [, h* w+ i( d2 b4 Y7 }pprint库是漂亮的打印，对于json格式的数据，能够很好的展示结构，方便我们解析；
: R) b4 M8 V1 n% M0 M# e
4 n5 c5 P+ T" u5 Y& c6 V) F$ Eurl = 'https://app-sc.miguvideo.com/vms-livedata/olympic-medal/total-table/15/110000004609'
$ a6 X7 c1 N9 Fdata1 = requests.get(url).json()
# pprint(data1)
* G# B6 p% q. S# l/ w
这里利用三行代码就可以获取到网页的源代码，利用pprint库，可以清晰的展示json结构，对于我们解析数据很有帮助。
df1 = pd.DataFrame()
for info in data1['body']['allMedalData']:
4 B# t7 a7 L% I% ]( l+ p( M    name = info['countryName']
    name_id = info['countryId']
    rank = info['rank']
/ l( N+ l% E6 ?; v" r; I1 [    gold = info['goldMedalNum']
    silver = info['silverMedalNum']
: d- ^2 l: ~+ I; I5 ]) z) [    bronze = info['bronzeMedalNum']
    total = info['totalMedalNum']
    # 组织数据
    orangized_data = [[name,name_id,rank,gold,silver,bronze,total]]
    # 然后追加df
    df1 = df1.append(orangized_data)
df1.columns = ['名称', 'ID', '排名', '金牌', '银牌', '铜牌', '奖牌总数']
9 w; ]+ q; w  T. G" R, udf1

) M% Z6 L1 C& b* U  n: G" N# K
这里利用pandas库对爬取的数据进行处理，转变成结构更清楚的数据框结构。
url = 'https://app-sc.miguvideo.com/vms-livedata/olympic-medal/detail-total/15/110000004609'
+ n# l2 L2 T# t0 z; h. i. s% o( p5 |4 ?data2 = requests.get(url).json()
#pprint(data2)

df2 = pd.DataFrame()
0 r' ~& H3 W, }* w1 d0 yfor info in data2['body']['medalTableDetail']:
: Q% k; ]7 h& H$ H" V    english_name = info['countryName']
7 n$ O" T5 |3 ]4 O4 h2 k/ }    name_id = info['countryId']
    award_time = info['awardTime']
    item_name = info['bigItemName']
- q0 F* a& Q" f9 E% |  G4 C/ J    sports_name = info['sportsName']
    medal_type = info['medalType']
0 V' j( J) J5 N& ^( w* d    # 组织数据
    orangized_data = [[english_name,name_id,award_time,item_name,sports_name,medal_type]]
    # 然后追加df
    df2 = df2.append(orangized_data)
df2.columns = ['英文缩写', 'ID', '获奖时间', '项目名', '运动员', '金牌类型']
+ r5 w# |1 t. Xdf2

对于另外一个网页，我们采取同样的方式对数据进行爬取和处理。

6 H' A8 N% n* Q9 H- m; b. E
. [8 Q) U, j* g5 n, |- W% L8 l% t二、数据预处理
由于使用pyecharts绘制世界地图时，名称必须是英文的，所以我们需要将这里的中文名称映射为英文名称。 我们要做的就是将它与表格中的数据，做个映射转换。先把它转换为一个Excel文件，方便我们以后直接使用。

' U5 w& H6 n4 e9 _with open("D:/和鲸数据/数据可视化大屏！绘制全流程！/国家名中英文对照表.txt","r",encoding="utf-8") as f:
( k6 t1 r& _' k# k- I9 Q; T) C- P    x = f.read()

" A2 U$ i8 B6 p: C: N7 Sdf3 = pd.DataFrame()
4 D6 C& X6 s7 x8 C. b$ yfor i in x.split("\n"):
1 m& A- M& X' Y/ k3 A    x = i.split("：")[0].strip()
7 Z( }& ~1 ^( k3 _' y7 e1 n    y = i.split("：")[1].strip()
    orangined_data = [[x,y]]
    df3 = df3.append(orangined_data)
& j! I& T7 `/ M1 w3 Q" idf3.columns = ["名称","英文名称"]
9 `3 P( J; z! J' c- `* P; idf3.to_excel("D:/和鲸数据/数据可视化大屏！绘制全流程！/国家名中英文对照表.xlsx",index=None)
表格df1表示各国奖牌数，表格df3表示国家名中英文对照表，利用上述两张表，我们可以左连接，将英文名称添加到df1表上。

df4 = pd.merge(df1,df3,on="名称",how="left")
, ^9 K8 C+ z( S: ~* X& K& w: Adf4.head(10)
% d% L: G% {% r! U; B1 I: c9 f

表格df5表示运动项目获奖详情。

• 
  8 p" i& ^/ Y) f0 o2 r
  
  

9 A8 j3 p6 r/ j

iolia008