Python制作可视化大屏（东京奥运会）

1047521767

目录

( }: b: `! [& o: ]$ }# l) m文章目录
5 n' k1 Y8 O7 \
) h2 A* g; ^, ]7 Q- M前言

5 S% |  l9 L' F3 J7 _: R一、数据爬取

二、数据预处理
2 ^5 ]' H' p! L( D
​前言
本文基于requests库爬取的奥运会相关数据，利用pandas库对数据进行处理之后，最后介绍了如何利用pyecharts库制作可视化大屏。
6 {; ]2 F' F% P  U/ {1 q. `0 G

* i7 m4 a. {! c- K) q一、数据爬取
import requests
import pandas as pd
from pprint import pprint
; @# h4 u) \: S6 D导入相关库
, @7 B' L8 N) g
requests库用于发起网页请求，获取网页中的源代码；

% ]! `/ U" o2 A/ N6 B% S- U! _. upandas库用于存储和读取获取到的信息；
; t; }! V! x1 v1 q
9 N( V, P* M7 U/ a3 A6 kpprint库是漂亮的打印，对于json格式的数据，能够很好的展示结构，方便我们解析；

url = 'https://app-sc.miguvideo.com/vms-livedata/olympic-medal/total-table/15/110000004609'
data1 = requests.get(url).json()
# pprint(data1)

这里利用三行代码就可以获取到网页的源代码，利用pprint库，可以清晰的展示json结构，对于我们解析数据很有帮助。
4 u* V, _2 l/ G8 c4 {+ p3 w5 W  qdf1 = pd.DataFrame()
6 t6 f. Q6 O9 X4 b7 y- qfor info in data1['body']['allMedalData']:
# o, U* V1 B+ S: e0 L% q    name = info['countryName']
    name_id = info['countryId']
    rank = info['rank']
+ z  g* z- \' y, |& a/ f4 o# j    gold = info['goldMedalNum']
    silver = info['silverMedalNum']
    bronze = info['bronzeMedalNum']
0 T. @4 w; U) g$ S) E& \7 R    total = info['totalMedalNum']
. b% s" P! {  A1 [7 ^. j    # 组织数据
    orangized_data = [[name,name_id,rank,gold,silver,bronze,total]]
0 Z8 q8 U; I& q& p    # 然后追加df
* u. k/ A9 S% l) C, r" }    df1 = df1.append(orangized_data)
df1.columns = ['名称', 'ID', '排名', '金牌', '银牌', '铜牌', '奖牌总数']
2 u- [" X# W- W1 {df1
1 }0 R5 {0 ]% E# j/ x& }$ @. T
+ H$ D! }1 S  S
这里利用pandas库对爬取的数据进行处理，转变成结构更清楚的数据框结构。
url = 'https://app-sc.miguvideo.com/vms-livedata/olympic-medal/detail-total/15/110000004609'
data2 = requests.get(url).json()
6 {+ V2 W' Q# }& e/ x- o, z! `# j#pprint(data2)

df2 = pd.DataFrame()
for info in data2['body']['medalTableDetail']:
    english_name = info['countryName']
    name_id = info['countryId']
( z7 F" n5 s3 F) Z    award_time = info['awardTime']
2 a; Y8 f4 U/ J5 ^) j% h6 P  o    item_name = info['bigItemName']
4 q9 ]) |0 [- w4 e1 a    sports_name = info['sportsName']
    medal_type = info['medalType']
    # 组织数据
) ^7 |) }  ?& }" ?    orangized_data = [[english_name,name_id,award_time,item_name,sports_name,medal_type]]
% b% ]; t0 T6 [$ [    # 然后追加df
2 w* q4 y  J# M    df2 = df2.append(orangized_data)
df2.columns = ['英文缩写', 'ID', '获奖时间', '项目名', '运动员', '金牌类型']
df2

# p& i2 K8 w+ s( Q2 R& }对于另外一个网页，我们采取同样的方式对数据进行爬取和处理。
- q% b& T! F! ^7 O

二、数据预处理
% v; a5 o1 d* }6 J由于使用pyecharts绘制世界地图时，名称必须是英文的，所以我们需要将这里的中文名称映射为英文名称。 我们要做的就是将它与表格中的数据，做个映射转换。先把它转换为一个Excel文件，方便我们以后直接使用。
1 W; P6 _$ d& H% S1 d* p) u
with open("D:/和鲸数据/数据可视化大屏！绘制全流程！/国家名中英文对照表.txt","r",encoding="utf-8") as f:
    x = f.read()
& m4 J$ \  d/ A* v2 j: @
0 R4 [' f* n2 w) Z- C+ L5 udf3 = pd.DataFrame()
for i in x.split("\n"):
( E- K  t- w0 _# l3 f    x = i.split("：")[0].strip()
    y = i.split("：")[1].strip()
, R, X+ i. ?: ^1 [$ _( V8 d: p    orangined_data = [[x,y]]
3 p) H6 n  {9 K! k; q# x    df3 = df3.append(orangined_data)
/ K  F. y8 Z& C: Z4 fdf3.columns = ["名称","英文名称"]
6 T' c6 _" _% Y6 O4 d! ddf3.to_excel("D:/和鲸数据/数据可视化大屏！绘制全流程！/国家名中英文对照表.xlsx",index=None)
+ x0 G, Y4 p/ ?# C* _3 ?表格df1表示各国奖牌数，表格df3表示国家名中英文对照表，利用上述两张表，我们可以左连接，将英文名称添加到df1表上。

" X. ]* R  b0 `4 D, |/ R8 _3 Idf4 = pd.merge(df1,df3,on="名称",how="left")
) ]% C8 i7 a+ l& Edf4.head(10)

! }  w' r) B3 k1 Y5 `$ b/ N
: d1 A, j6 t$ a" ?

表格df5表示运动项目获奖详情。

• 
  # E7 f  C) m: K4 V) J  I
  8 F) ^" N6 \! Q* \" X$ I9 ^
  + L6 {& s  _! ]4 k1 J# T

iolia008