Python制作可视化大屏（东京奥运会）

1047521767

目录
- C8 g- ?) [: z0 N  I
; `! h1 W, c9 s+ P文章目录

前言
# ^8 ~5 n& m* |( H
. p  E6 G; P1 z6 r  P! T! t) T- h一、数据爬取
/ z" J) [& ]4 [2 p+ E
二、数据预处理

; c, e" M) c1 {$ y+ i) M​前言
( V# i2 G' d2 \8 j9 _9 w, J1 V$ ]$ m; b本文基于requests库爬取的奥运会相关数据，利用pandas库对数据进行处理之后，最后介绍了如何利用pyecharts库制作可视化大屏。
7 p: O5 f5 V& u/ G& R5 g

一、数据爬取
: v# H' {* U, k5 ^$ Y0 A/ H1 g5 ?- |import requests
import pandas as pd
from pprint import pprint
9 H* B. l. Z: k导入相关库

1 N" Y: G, X" ]: @4 ?requests库用于发起网页请求，获取网页中的源代码；
8 O) x* f/ e& Y1 w! O
pandas库用于存储和读取获取到的信息；

7 F9 f; i, m1 H' ^2 x8 dpprint库是漂亮的打印，对于json格式的数据，能够很好的展示结构，方便我们解析；
- h* |2 _* u. q' o
1 x8 b* T( {! Y/ `5 |; F9 o3 j- Turl = 'https://app-sc.miguvideo.com/vms-livedata/olympic-medal/total-table/15/110000004609'
9 M9 }! w/ B+ Z: V  edata1 = requests.get(url).json()
' w3 Y8 X, F/ o$ q+ E8 _& K6 R# pprint(data1)

, r+ O$ t. n2 _$ `8 y( R' k: \这里利用三行代码就可以获取到网页的源代码，利用pprint库，可以清晰的展示json结构，对于我们解析数据很有帮助。
df1 = pd.DataFrame()
0 O7 x% M: j1 x/ }7 f, x2 ]for info in data1['body']['allMedalData']:
    name = info['countryName']
( I, l% D5 O! m    name_id = info['countryId']
    rank = info['rank']
  j7 x4 R; a% u2 X( Q+ z* k2 F    gold = info['goldMedalNum']
    silver = info['silverMedalNum']
& Q, B7 h% f9 J    bronze = info['bronzeMedalNum']
    total = info['totalMedalNum']
/ Z) {, P7 V4 K$ i% M; U    # 组织数据
    orangized_data = [[name,name_id,rank,gold,silver,bronze,total]]
    # 然后追加df
    df1 = df1.append(orangized_data)
/ D# L1 [$ h: ]7 sdf1.columns = ['名称', 'ID', '排名', '金牌', '银牌', '铜牌', '奖牌总数']
, @1 ]4 m" O) b& Q  I! Xdf1

' ^% |) ~9 m5 j/ Y% X* q/ u
这里利用pandas库对爬取的数据进行处理，转变成结构更清楚的数据框结构。
5 ]3 q4 C+ q8 S  H$ I9 _url = 'https://app-sc.miguvideo.com/vms-livedata/olympic-medal/detail-total/15/110000004609'
" C; ^1 C& W6 x5 Vdata2 = requests.get(url).json()
#pprint(data2)
; F9 _; K8 ~) U
df2 = pd.DataFrame()
: v5 Y$ A5 Y5 ]1 ~for info in data2['body']['medalTableDetail']:
( M8 M2 F8 D2 }$ Z' K/ i- v& W# r4 L    english_name = info['countryName']
    name_id = info['countryId']
    award_time = info['awardTime']
    item_name = info['bigItemName']
, ?) H# L! I4 J  B3 t& Z% p! L    sports_name = info['sportsName']
# a7 ]0 H6 M/ V2 i. B/ f9 U    medal_type = info['medalType']
    # 组织数据
    orangized_data = [[english_name,name_id,award_time,item_name,sports_name,medal_type]]
    # 然后追加df
    df2 = df2.append(orangized_data)
df2.columns = ['英文缩写', 'ID', '获奖时间', '项目名', '运动员', '金牌类型']
df2

% \6 a' }( }4 n对于另外一个网页，我们采取同样的方式对数据进行爬取和处理。


二、数据预处理
% a1 |  U8 ~0 v+ i1 w: Q3 x2 m- Y+ @: ]由于使用pyecharts绘制世界地图时，名称必须是英文的，所以我们需要将这里的中文名称映射为英文名称。 我们要做的就是将它与表格中的数据，做个映射转换。先把它转换为一个Excel文件，方便我们以后直接使用。
: J7 E# ?# i& j  F% n
with open("D:/和鲸数据/数据可视化大屏！绘制全流程！/国家名中英文对照表.txt","r",encoding="utf-8") as f:
) ^  B8 k* {! [. _& J: _. W( f    x = f.read()
$ A" d8 U7 _! u, ~" O
( v2 P2 M2 t! k  K' j) u8 ddf3 = pd.DataFrame()
for i in x.split("\n"):
    x = i.split("：")[0].strip()
    y = i.split("：")[1].strip()
    orangined_data = [[x,y]]
    df3 = df3.append(orangined_data)
$ o  F$ ^3 c+ n+ sdf3.columns = ["名称","英文名称"]
3 V: L8 D% ^% n- m! ?8 g) Pdf3.to_excel("D:/和鲸数据/数据可视化大屏！绘制全流程！/国家名中英文对照表.xlsx",index=None)
表格df1表示各国奖牌数，表格df3表示国家名中英文对照表，利用上述两张表，我们可以左连接，将英文名称添加到df1表上。
( v. k) |, x% K+ [3 u9 z  P/ a
df4 = pd.merge(df1,df3,on="名称",how="left")
) x( k3 u% _  a8 @df4.head(10)

) K8 y" H3 L% F- d: O

表格df5表示运动项目获奖详情。

• 
  
  
  ( P, _0 A! {$ `. i, \

. D* ~/ k8 l9 ~/ x0 o

iolia008