Python制作可视化大屏（东京奥运会）

1047521767

目录
! P% H0 E" H) _$ M$ n1 A2 n; @: g
文章目录
, Z# ]  e9 w6 T9 x* v* q! i$ ^8 }
/ s4 q9 x3 k) Y* s% ?前言
0 R' n1 ~: u5 d0 @
$ n$ m# ]/ t' F5 z一、数据爬取

+ I% Q; I4 R# F0 b二、数据预处理
5 h  N8 a- V2 v
- @! |3 D" \- ~: F8 q5 S​前言
本文基于requests库爬取的奥运会相关数据，利用pandas库对数据进行处理之后，最后介绍了如何利用pyecharts库制作可视化大屏。

, v$ P1 W+ e& X  s+ {4 s( b2 j
( v6 A# \5 v+ x. u9 b, W一、数据爬取
$ K) \$ ^5 t( Y( jimport requests
import pandas as pd
from pprint import pprint
9 s, O0 h0 s2 T/ K导入相关库

requests库用于发起网页请求，获取网页中的源代码；
$ Z* b1 d) ~& B* y
pandas库用于存储和读取获取到的信息；

& [$ p7 O$ c3 C/ m6 Z" kpprint库是漂亮的打印，对于json格式的数据，能够很好的展示结构，方便我们解析；
  G+ B1 |1 u4 S* V% r: R) ^& p
9 u& f: p- M) c8 V: Q( b3 aurl = 'https://app-sc.miguvideo.com/vms-livedata/olympic-medal/total-table/15/110000004609'
data1 = requests.get(url).json()
# d1 }9 F" \7 ]6 @6 E- l) y4 _# pprint(data1)
  o0 |% p( I5 s% |5 q4 e
这里利用三行代码就可以获取到网页的源代码，利用pprint库，可以清晰的展示json结构，对于我们解析数据很有帮助。
df1 = pd.DataFrame()
for info in data1['body']['allMedalData']:
    name = info['countryName']
    name_id = info['countryId']
    rank = info['rank']
    gold = info['goldMedalNum']
3 l  Z1 K. R" {0 r2 ~    silver = info['silverMedalNum']
1 Q. t1 X3 P$ G( T) k1 p. i    bronze = info['bronzeMedalNum']
    total = info['totalMedalNum']
    # 组织数据
6 Z" D# z7 s, A0 c& }6 z0 w( t! X9 S    orangized_data = [[name,name_id,rank,gold,silver,bronze,total]]
    # 然后追加df
: r7 a/ h) _  Q( `1 m( _    df1 = df1.append(orangized_data)
df1.columns = ['名称', 'ID', '排名', '金牌', '银牌', '铜牌', '奖牌总数']
7 ~; T. f8 A$ h; f4 Xdf1


4 C) |9 @) \7 i8 g, w0 k4 {* }6 H这里利用pandas库对爬取的数据进行处理，转变成结构更清楚的数据框结构。
url = 'https://app-sc.miguvideo.com/vms-livedata/olympic-medal/detail-total/15/110000004609'
) ~- H! I7 o" o) E# N1 Hdata2 = requests.get(url).json()
$ g9 M/ ~/ b5 d  O#pprint(data2)
/ \) z! u) U( `4 E5 ^8 ~: B, I9 w, ^
! |3 l  S9 p) F3 S0 v  U& vdf2 = pd.DataFrame()
) f$ ^8 k# ?! g2 L; Jfor info in data2['body']['medalTableDetail']:
    english_name = info['countryName']
    name_id = info['countryId']
/ I' N( D1 Q  T- u) d, p3 ?    award_time = info['awardTime']
" E" |. X4 z+ H8 T1 h# ~+ R- \/ ^( G    item_name = info['bigItemName']
    sports_name = info['sportsName']
& H8 e3 \5 ~  O# O2 m) h    medal_type = info['medalType']
5 ?: R& ^) y0 Y9 s& M+ A* c% d    # 组织数据
' o0 a. X$ v* g# q/ o    orangized_data = [[english_name,name_id,award_time,item_name,sports_name,medal_type]]
    # 然后追加df
    df2 = df2.append(orangized_data)
df2.columns = ['英文缩写', 'ID', '获奖时间', '项目名', '运动员', '金牌类型']
df2

* ^) B9 w8 W7 q5 }对于另外一个网页，我们采取同样的方式对数据进行爬取和处理。
# _8 m" E' L* G, v4 _. ^. F% {. e
' R$ k% c  x0 S" R& L
4 e; X3 ~& e% J, U- r4 Z* }二、数据预处理
由于使用pyecharts绘制世界地图时，名称必须是英文的，所以我们需要将这里的中文名称映射为英文名称。 我们要做的就是将它与表格中的数据，做个映射转换。先把它转换为一个Excel文件，方便我们以后直接使用。

with open("D:/和鲸数据/数据可视化大屏！绘制全流程！/国家名中英文对照表.txt","r",encoding="utf-8") as f:
    x = f.read()
* U" V! `. L: W/ p
df3 = pd.DataFrame()
for i in x.split("\n"):
    x = i.split("：")[0].strip()
    y = i.split("：")[1].strip()
- v+ b; }5 ?. z% W2 l  r* d3 z    orangined_data = [[x,y]]
/ R4 C. ]$ g" U6 D  U0 o7 {; c    df3 = df3.append(orangined_data)
3 g( c) J, M; a/ U8 B, tdf3.columns = ["名称","英文名称"]
0 N$ r0 H$ W" G% J* }9 R$ \" Sdf3.to_excel("D:/和鲸数据/数据可视化大屏！绘制全流程！/国家名中英文对照表.xlsx",index=None)
$ h$ j- {* i, I$ T  L9 N9 U6 j表格df1表示各国奖牌数，表格df3表示国家名中英文对照表，利用上述两张表，我们可以左连接，将英文名称添加到df1表上。

' y7 T- @) _0 Cdf4 = pd.merge(df1,df3,on="名称",how="left")
df4.head(10)
. i! T$ v3 Q# g  e3 h" P
( d1 }+ B3 O* j  H+ Y
' R8 M. f( h( x

表格df5表示运动项目获奖详情。

• 
  # o, l* B7 a& D% T5 i7 H% j, Z0 T. Y
  " X9 o  E3 [% b0 U
  ( ]8 ?" V- Q, @0 k3 J# j8 y

. r4 z9 ]. @. W- o0 G

iolia008