Python制作可视化大屏（东京奥运会）

1047521767

目录

文章目录

( P; X$ E% W: f6 W前言
0 H$ Y1 [" [, V: d0 p& Y
; f# s) l$ `( L% k7 ^- x一、数据爬取
0 k4 t* C- s, |- r# \# o' w, c
二、数据预处理
% l# Q6 S1 ~) F! C- S
​前言
& {. v. O% C* I本文基于requests库爬取的奥运会相关数据，利用pandas库对数据进行处理之后，最后介绍了如何利用pyecharts库制作可视化大屏。


一、数据爬取
import requests
import pandas as pd
! H8 \4 o7 q4 C7 ]! ifrom pprint import pprint
导入相关库

requests库用于发起网页请求，获取网页中的源代码；
" C" H! {4 X/ e! g4 G% X1 H& ?
2 P* V6 d) o! Npandas库用于存储和读取获取到的信息；

pprint库是漂亮的打印，对于json格式的数据，能够很好的展示结构，方便我们解析；

# V" r6 |% c% j7 s+ P0 Ourl = 'https://app-sc.miguvideo.com/vms-livedata/olympic-medal/total-table/15/110000004609'
% C" y  R4 h$ udata1 = requests.get(url).json()
' y6 I+ V, c, J( z# pprint(data1)
2 l/ E$ e! d5 ]  O
4 y9 `' g! p2 ], ?! s这里利用三行代码就可以获取到网页的源代码，利用pprint库，可以清晰的展示json结构，对于我们解析数据很有帮助。
* N" v; c3 L- s+ y  D$ ~df1 = pd.DataFrame()
; I! ~# @: b" v- z1 y9 nfor info in data1['body']['allMedalData']:
1 H) J* s- @$ R2 U    name = info['countryName']
) w& s2 a2 G+ x% p    name_id = info['countryId']
. z" ~1 J7 f& ~: `; j1 A  ]    rank = info['rank']
    gold = info['goldMedalNum']
+ i8 J$ Q" |1 l' M    silver = info['silverMedalNum']
    bronze = info['bronzeMedalNum']
    total = info['totalMedalNum']
    # 组织数据
$ [6 U( C: S$ r( k6 z  p    orangized_data = [[name,name_id,rank,gold,silver,bronze,total]]
5 y1 _# R! g$ h+ Y    # 然后追加df
    df1 = df1.append(orangized_data)
6 |* r/ S) m. b- p* c7 s: m6 R/ Ddf1.columns = ['名称', 'ID', '排名', '金牌', '银牌', '铜牌', '奖牌总数']
* O. k' |7 B8 x. G5 ^df1


8 O' f7 `" T7 G- V1 l& K0 q这里利用pandas库对爬取的数据进行处理，转变成结构更清楚的数据框结构。
url = 'https://app-sc.miguvideo.com/vms-livedata/olympic-medal/detail-total/15/110000004609'
data2 = requests.get(url).json()
#pprint(data2)

df2 = pd.DataFrame()
3 Y9 E  G7 }/ lfor info in data2['body']['medalTableDetail']:
    english_name = info['countryName']
) j2 t8 Q& }, l0 H7 H" Q    name_id = info['countryId']
    award_time = info['awardTime']
    item_name = info['bigItemName']
    sports_name = info['sportsName']
7 g( O& \1 X2 n" }    medal_type = info['medalType']
4 l& E6 P% H5 i+ i    # 组织数据
8 m" E, ]4 V" y8 W7 N/ |  `7 G: n, J    orangized_data = [[english_name,name_id,award_time,item_name,sports_name,medal_type]]
6 o9 y+ _; ]# o  b6 @: h    # 然后追加df
    df2 = df2.append(orangized_data)
) B5 w  Z7 r% w8 v$ ?df2.columns = ['英文缩写', 'ID', '获奖时间', '项目名', '运动员', '金牌类型']
df2
. A0 {! x' O. r+ Q2 `4 J+ t( A
+ \9 d- A$ s6 t. p5 f) x对于另外一个网页，我们采取同样的方式对数据进行爬取和处理。
% u' Q1 p% R1 l+ N" G7 f! `% j

2 o1 O- }) M, [3 _9 a* p0 j二、数据预处理
由于使用pyecharts绘制世界地图时，名称必须是英文的，所以我们需要将这里的中文名称映射为英文名称。 我们要做的就是将它与表格中的数据，做个映射转换。先把它转换为一个Excel文件，方便我们以后直接使用。
& F8 L* b& K  r* z
  l& l. G  ?6 d- j# Zwith open("D:/和鲸数据/数据可视化大屏！绘制全流程！/国家名中英文对照表.txt","r",encoding="utf-8") as f:
! N' {6 Z9 G' [    x = f.read()

2 \, n7 J# X, o' E7 H7 Gdf3 = pd.DataFrame()
for i in x.split("\n"):
5 l2 r. o# S4 |: {. r# e    x = i.split("：")[0].strip()
( @8 N; m# E! o' @* T2 d6 i0 h3 D    y = i.split("：")[1].strip()
    orangined_data = [[x,y]]
    df3 = df3.append(orangined_data)
# j7 y- C$ k. g& q' zdf3.columns = ["名称","英文名称"]
df3.to_excel("D:/和鲸数据/数据可视化大屏！绘制全流程！/国家名中英文对照表.xlsx",index=None)
1 x: \5 I. P& A5 J8 X8 _9 x! z表格df1表示各国奖牌数，表格df3表示国家名中英文对照表，利用上述两张表，我们可以左连接，将英文名称添加到df1表上。
' j7 N( j0 D3 x$ e# f1 V
df4 = pd.merge(df1,df3,on="名称",how="left")
! M3 h3 J6 t6 l6 M/ I! f# Edf4.head(10)
8 _- F; G2 f& P( _( x* }: m
1 C) f0 u1 j2 Y/ p4 M3 i
* W4 X0 n4 e  M* ]# \

表格df5表示运动项目获奖详情。

• 
  
  ' [' }' ?( g1 p1 M
  % j$ ?1 C$ E4 X' s) K% J0 d- [

9 j1 ?; f" @0 _& k* q) R# F

iolia008