Python制作可视化大屏（东京奥运会）

1047521767

目录

1 p7 V0 z0 d: y. }  b% P4 j: k文章目录

前言

一、数据爬取

二、数据预处理

5 B. }0 ^0 E+ ]! }" n& I, f​前言
本文基于requests库爬取的奥运会相关数据，利用pandas库对数据进行处理之后，最后介绍了如何利用pyecharts库制作可视化大屏。
) }7 r, \+ x5 ]1 r2 O. V+ z
% k  h' [/ x% l9 w
0 Q9 O* A. f/ Z一、数据爬取
import requests
# K; d, @7 E1 L8 s" G+ h9 L5 Ximport pandas as pd
from pprint import pprint
导入相关库
/ P! E0 N5 }7 ?) D* Y4 @" w
+ k) `, W( l+ V' K! Yrequests库用于发起网页请求，获取网页中的源代码；
* S. Y" K! P1 D" o7 F- x
- K- x" w' K9 \2 g. Tpandas库用于存储和读取获取到的信息；
; L  _$ L3 Q% d% B/ R: B
7 Q! M  y" @* E3 O; |6 Qpprint库是漂亮的打印，对于json格式的数据，能够很好的展示结构，方便我们解析；
. r3 o) k$ C2 W
, X" n& W; U5 d& wurl = 'https://app-sc.miguvideo.com/vms-livedata/olympic-medal/total-table/15/110000004609'
data1 = requests.get(url).json()
' R' G8 Q9 N% F" h  y9 ]# pprint(data1)

2 a4 G. a$ e. {% j0 u, n1 }# I4 T4 P这里利用三行代码就可以获取到网页的源代码，利用pprint库，可以清晰的展示json结构，对于我们解析数据很有帮助。
- C0 W1 L. B7 \! c5 R( ?1 edf1 = pd.DataFrame()
for info in data1['body']['allMedalData']:
; l* K& O2 r3 M& p1 |* H2 }    name = info['countryName']
( n" t+ t: Z( q1 X, I& @1 Y' n    name_id = info['countryId']
    rank = info['rank']
+ g* O3 b7 T8 w6 n; W' P2 c    gold = info['goldMedalNum']
: q$ v1 m7 F8 c; Z9 L. z    silver = info['silverMedalNum']
    bronze = info['bronzeMedalNum']
    total = info['totalMedalNum']
    # 组织数据
4 n0 u- r- N( a5 w% R    orangized_data = [[name,name_id,rank,gold,silver,bronze,total]]
    # 然后追加df
8 j1 o7 K- u1 Y" F6 y    df1 = df1.append(orangized_data)
df1.columns = ['名称', 'ID', '排名', '金牌', '银牌', '铜牌', '奖牌总数']
  y( ^* D$ @* M! }& E% W! Pdf1

6 D# j4 h. e! e4 S& Q1 o" t8 P
7 U; p2 b. k" J9 [- w1 t4 C" g这里利用pandas库对爬取的数据进行处理，转变成结构更清楚的数据框结构。
url = 'https://app-sc.miguvideo.com/vms-livedata/olympic-medal/detail-total/15/110000004609'
, g& W( `! f, t& [/ Rdata2 = requests.get(url).json()
/ G* P& P* L- b2 Y9 e#pprint(data2)

  a$ C+ Y1 l. Q) qdf2 = pd.DataFrame()
, X3 Q' m& r% afor info in data2['body']['medalTableDetail']:
    english_name = info['countryName']
$ X* Z: ]6 h: J& M( V% `: q    name_id = info['countryId']
    award_time = info['awardTime']
    item_name = info['bigItemName']
+ ?- ?0 S4 Z+ a; K+ h3 T    sports_name = info['sportsName']
    medal_type = info['medalType']
    # 组织数据
    orangized_data = [[english_name,name_id,award_time,item_name,sports_name,medal_type]]
& F; e0 j/ f3 h5 _+ m    # 然后追加df
6 s6 o& N7 \5 O+ |" Y0 c( ^    df2 = df2.append(orangized_data)
df2.columns = ['英文缩写', 'ID', '获奖时间', '项目名', '运动员', '金牌类型']
df2
* [; W4 m% K& p1 f* M2 x" S4 ]$ A
对于另外一个网页，我们采取同样的方式对数据进行爬取和处理。
5 g9 P5 M! [( {2 Q- ?* ^+ f

2 F" \6 H9 ]! H/ Z, z0 `: r6 |二、数据预处理
9 y) |7 j/ T: h  s# s由于使用pyecharts绘制世界地图时，名称必须是英文的，所以我们需要将这里的中文名称映射为英文名称。 我们要做的就是将它与表格中的数据，做个映射转换。先把它转换为一个Excel文件，方便我们以后直接使用。

6 t' W- t% v0 h1 Bwith open("D:/和鲸数据/数据可视化大屏！绘制全流程！/国家名中英文对照表.txt","r",encoding="utf-8") as f:
    x = f.read()
( W  t2 b2 \8 k/ g1 ?% Y
. ~+ }6 ~6 W; t& B6 R1 H) rdf3 = pd.DataFrame()
for i in x.split("\n"):
- X6 x4 v1 e6 r# H! M8 Y& G% l    x = i.split("：")[0].strip()
* X* w' q% O( w2 @+ ~! i6 j    y = i.split("：")[1].strip()
    orangined_data = [[x,y]]
! K) K( R; J' ^) H1 E3 K    df3 = df3.append(orangined_data)
df3.columns = ["名称","英文名称"]
df3.to_excel("D:/和鲸数据/数据可视化大屏！绘制全流程！/国家名中英文对照表.xlsx",index=None)
表格df1表示各国奖牌数，表格df3表示国家名中英文对照表，利用上述两张表，我们可以左连接，将英文名称添加到df1表上。

df4 = pd.merge(df1,df3,on="名称",how="left")
df4.head(10)

表格df5表示运动项目获奖详情。

• 
  1 {: g3 y- `- I, Z+ {+ @
  ( x& j+ [& d2 a% Q8 {" ?. k
  3 n, P! i1 U: ]. D1 Q4 K' q

7 O, ~5 B% R( U1 G9 l- G( S

iolia008