Python制作可视化大屏（东京奥运会）

1047521767

目录

: P8 J% M4 M. a/ p4 G- s) F: P3 w+ j9 w文章目录
3 n  E% N* Y* s/ ?2 B
$ _' D$ M1 S" \- ?) D前言
- M6 ]  c2 d& n4 U: G
一、数据爬取
! p" R- c1 Z& I# K& {/ S3 e
: V: A0 d" O7 G& f二、数据预处理
- X2 I# Y" ~: @" |* N$ `
​前言
0 [: V2 O/ Y& u本文基于requests库爬取的奥运会相关数据，利用pandas库对数据进行处理之后，最后介绍了如何利用pyecharts库制作可视化大屏。

' c- o6 R, |" A/ E* y8 I2 e
2 J) \$ Y4 p3 Q, i一、数据爬取
: v2 u( ~' E/ \) M5 B4 Ximport requests
) W2 `* R# L- L! o8 Y0 I2 O3 Nimport pandas as pd
( H% O2 [3 R; i+ I2 G( d$ ~from pprint import pprint
; R4 W5 x+ k! K( Z导入相关库
6 `" C: X+ g' d, q
requests库用于发起网页请求，获取网页中的源代码；
+ k- t. h: i; R0 k) g2 ]
pandas库用于存储和读取获取到的信息；
& W- s6 _$ O% }- [' }& x
pprint库是漂亮的打印，对于json格式的数据，能够很好的展示结构，方便我们解析；
* p; n+ X- u* \: Y2 z
url = 'https://app-sc.miguvideo.com/vms-livedata/olympic-medal/total-table/15/110000004609'
4 p; B+ m! V/ v( o% `% g4 u  rdata1 = requests.get(url).json()
# pprint(data1)
$ u/ \* b: N; z$ F( K
. n4 O2 [" M3 H  T6 n) Z5 c3 Y这里利用三行代码就可以获取到网页的源代码，利用pprint库，可以清晰的展示json结构，对于我们解析数据很有帮助。
7 H2 s3 ?6 d+ Gdf1 = pd.DataFrame()
for info in data1['body']['allMedalData']:
    name = info['countryName']
  q; y# f, f& v4 S    name_id = info['countryId']
$ t% a) Q  {* c$ t    rank = info['rank']
7 ^9 G) o' ]+ B& R/ k    gold = info['goldMedalNum']
    silver = info['silverMedalNum']
    bronze = info['bronzeMedalNum']
    total = info['totalMedalNum']
    # 组织数据
    orangized_data = [[name,name_id,rank,gold,silver,bronze,total]]
" y, z) j; f- P! b9 O! O: l5 t: H    # 然后追加df
4 ^& `! O0 ]3 u( ?$ ?    df1 = df1.append(orangized_data)
! H' ^. i4 s& U3 m6 a! x5 S% r1 Edf1.columns = ['名称', 'ID', '排名', '金牌', '银牌', '铜牌', '奖牌总数']
df1

! C) ?% P- k3 J$ A, \/ t, X
& f' n2 v. e+ v+ g! A7 D这里利用pandas库对爬取的数据进行处理，转变成结构更清楚的数据框结构。
) d. K3 I7 h7 X" s; h, ourl = 'https://app-sc.miguvideo.com/vms-livedata/olympic-medal/detail-total/15/110000004609'
  h4 v& N) K" F+ _' s1 T3 ddata2 = requests.get(url).json()
' B- D# B3 z- ?3 h6 e#pprint(data2)
2 O5 r- Z1 l$ c$ r; `9 n! U
% i  }- c( g* c0 o( Tdf2 = pd.DataFrame()
for info in data2['body']['medalTableDetail']:
5 C4 }! [; j# P8 w    english_name = info['countryName']
    name_id = info['countryId']
9 x6 D5 M# g. n, I$ ~    award_time = info['awardTime']
    item_name = info['bigItemName']
& n4 P# y3 F$ P) y5 a3 o    sports_name = info['sportsName']
2 C7 R  k- _* u% w9 O    medal_type = info['medalType']
! c0 h5 T( U# `' k! X/ ^: K    # 组织数据
    orangized_data = [[english_name,name_id,award_time,item_name,sports_name,medal_type]]
    # 然后追加df
    df2 = df2.append(orangized_data)
% l  c8 c2 k. P# ?# hdf2.columns = ['英文缩写', 'ID', '获奖时间', '项目名', '运动员', '金牌类型']
df2
, e, g8 Q% w  k& i5 T
对于另外一个网页，我们采取同样的方式对数据进行爬取和处理。
/ a6 [4 J$ m/ @1 f4 s9 E

二、数据预处理
: N# C* J8 C0 a) D0 y由于使用pyecharts绘制世界地图时，名称必须是英文的，所以我们需要将这里的中文名称映射为英文名称。 我们要做的就是将它与表格中的数据，做个映射转换。先把它转换为一个Excel文件，方便我们以后直接使用。
: l: ^) |* L1 `, R) H5 |# h, e
with open("D:/和鲸数据/数据可视化大屏！绘制全流程！/国家名中英文对照表.txt","r",encoding="utf-8") as f:
. r+ l( b5 i6 k& `3 t- s' w    x = f.read()
9 M3 c# ^: |+ x, F) ^' F
df3 = pd.DataFrame()
for i in x.split("\n"):
    x = i.split("：")[0].strip()
' Q8 s* J, h# M) e: ?. ~. n    y = i.split("：")[1].strip()
1 G$ Y9 q2 U, Y! }    orangined_data = [[x,y]]
' g5 n" o& Z# A  J! d: x    df3 = df3.append(orangined_data)
df3.columns = ["名称","英文名称"]
df3.to_excel("D:/和鲸数据/数据可视化大屏！绘制全流程！/国家名中英文对照表.xlsx",index=None)
, H2 `( I+ j6 W2 r- z, _表格df1表示各国奖牌数，表格df3表示国家名中英文对照表，利用上述两张表，我们可以左连接，将英文名称添加到df1表上。

df4 = pd.merge(df1,df3,on="名称",how="left")
& T7 U6 B+ R3 ~- d) wdf4.head(10)
# I4 `  a9 l8 k( b& [8 M- [

表格df5表示运动项目获奖详情。

• 
  % _- @& x2 f* H* K% [' Q5 o/ l; n8 q
  
  9 E2 ^: X' @( ~9 l* P  {; Y& C# w9 ~! J3 ^; x

8 E7 S7 T# n/ L, k* n5 _- k

iolia008

+ g4 {5 L& J8 ~0 |, t4 z+ k' t