Python制作可视化大屏（东京奥运会）

1047521767

目录
+ B: n6 z+ Q% M) ^! j
文章目录
* {; m0 g! c% T5 L6 B2 @; Q; T
前言

9 G# o" t4 f, X: F一、数据爬取
( R; D( I; F& S. J
二、数据预处理

/ S! [) L9 {) @: R​前言
) i$ f0 n& C5 l5 B4 U- Q本文基于requests库爬取的奥运会相关数据，利用pandas库对数据进行处理之后，最后介绍了如何利用pyecharts库制作可视化大屏。
0 ], \7 Y4 Q3 m% g$ p4 \
, f* {8 z3 k' S
一、数据爬取
import requests
import pandas as pd
from pprint import pprint
) a! [2 n! {1 V8 {2 b导入相关库

requests库用于发起网页请求，获取网页中的源代码；
; Y: k" A* Y8 Y+ e4 M5 h
* w( g' F2 F& K; {pandas库用于存储和读取获取到的信息；

; W: |" m4 o. u7 U# P7 q# `pprint库是漂亮的打印，对于json格式的数据，能够很好的展示结构，方便我们解析；

9 G2 S# t" y0 Y" n1 j! Vurl = 'https://app-sc.miguvideo.com/vms-livedata/olympic-medal/total-table/15/110000004609'
data1 = requests.get(url).json()
# pprint(data1)

# f  h( v9 A$ }这里利用三行代码就可以获取到网页的源代码，利用pprint库，可以清晰的展示json结构，对于我们解析数据很有帮助。
* i4 j7 u# R: H% Ldf1 = pd.DataFrame()
for info in data1['body']['allMedalData']:
+ E9 q& R- w; ]) x3 @6 [' q/ j    name = info['countryName']
" i: U' Z; [4 g; o1 B2 h) j& Z3 E    name_id = info['countryId']
    rank = info['rank']
    gold = info['goldMedalNum']
. _8 {6 l" |) r/ ~7 n4 f: O    silver = info['silverMedalNum']
3 z# V' e% g6 j    bronze = info['bronzeMedalNum']
    total = info['totalMedalNum']
    # 组织数据
) N7 e8 m$ o( Y; P: h1 M  \    orangized_data = [[name,name_id,rank,gold,silver,bronze,total]]
    # 然后追加df
    df1 = df1.append(orangized_data)
df1.columns = ['名称', 'ID', '排名', '金牌', '银牌', '铜牌', '奖牌总数']
df1


( D" p& |- C+ W0 h7 }" F  `这里利用pandas库对爬取的数据进行处理，转变成结构更清楚的数据框结构。
url = 'https://app-sc.miguvideo.com/vms-livedata/olympic-medal/detail-total/15/110000004609'
+ K$ ~9 G$ z3 T; m; y7 O, I6 S/ mdata2 = requests.get(url).json()
3 V: k, D3 P- |: |/ i& t#pprint(data2)

( ~: T6 f- z6 \0 U. \% ldf2 = pd.DataFrame()
for info in data2['body']['medalTableDetail']:
* f! u$ R  |4 H# e    english_name = info['countryName']
    name_id = info['countryId']
& w* l0 ^! {: N$ P% i1 _; l    award_time = info['awardTime']
: y) a, D% `, e1 `7 y' _    item_name = info['bigItemName']
5 o8 Z; l- T% X. A& u2 j    sports_name = info['sportsName']
    medal_type = info['medalType']
    # 组织数据
    orangized_data = [[english_name,name_id,award_time,item_name,sports_name,medal_type]]
& v4 X- k0 r& [) P$ c    # 然后追加df
    df2 = df2.append(orangized_data)
7 o* A* \9 Z; F0 k/ B" ydf2.columns = ['英文缩写', 'ID', '获奖时间', '项目名', '运动员', '金牌类型']
df2
, ~: ?5 k$ R( [  _6 `" a
对于另外一个网页，我们采取同样的方式对数据进行爬取和处理。
. m+ C: s' K$ F. f- C  P& w; X
; H, V5 |0 R2 n$ n
! S5 T. x; _! K# K6 }+ ^. z二、数据预处理
由于使用pyecharts绘制世界地图时，名称必须是英文的，所以我们需要将这里的中文名称映射为英文名称。 我们要做的就是将它与表格中的数据，做个映射转换。先把它转换为一个Excel文件，方便我们以后直接使用。

with open("D:/和鲸数据/数据可视化大屏！绘制全流程！/国家名中英文对照表.txt","r",encoding="utf-8") as f:
    x = f.read()

; N. K" |4 g8 O6 kdf3 = pd.DataFrame()
for i in x.split("\n"):
    x = i.split("：")[0].strip()
) {4 R6 d( ?0 B  G4 X  K7 w    y = i.split("：")[1].strip()
: n' L2 `/ Z- j' H5 b! N' q4 b4 e6 s    orangined_data = [[x,y]]
    df3 = df3.append(orangined_data)
df3.columns = ["名称","英文名称"]
- E! d) u0 a9 K) E% l9 o- q* Z( g. adf3.to_excel("D:/和鲸数据/数据可视化大屏！绘制全流程！/国家名中英文对照表.xlsx",index=None)
表格df1表示各国奖牌数，表格df3表示国家名中英文对照表，利用上述两张表，我们可以左连接，将英文名称添加到df1表上。
& t* S/ C  s* Z4 i+ f0 z9 H
df4 = pd.merge(df1,df3,on="名称",how="left")
df4.head(10)

表格df5表示运动项目获奖详情。

• 
  
  ' c! H9 F' G2 A, L% z
  ! n* _9 w1 b+ W) m& v

iolia008