Python制作可视化大屏（东京奥运会）

1047521767

目录
# ~1 F3 d+ S+ ]; g8 A- ~: V
文章目录

, J3 P5 \( j( r+ P6 g- a前言
2 a+ P9 g, ]. ~* y: W  ^
一、数据爬取

/ s: c5 v8 E, Y2 m3 v二、数据预处理

- v5 |' v! ?4 T8 g1 X# [7 B​前言
! ?' P1 U% ]& S+ G- R本文基于requests库爬取的奥运会相关数据，利用pandas库对数据进行处理之后，最后介绍了如何利用pyecharts库制作可视化大屏。


& u4 P" E+ |. e( ]. h) x. Y  e一、数据爬取
( X; R4 W# i- Jimport requests
import pandas as pd
from pprint import pprint
: M* M4 n. v) n导入相关库

requests库用于发起网页请求，获取网页中的源代码；
4 F  k+ @' x6 G! R
pandas库用于存储和读取获取到的信息；
6 A. I% X* U- d( }, s; k4 R
pprint库是漂亮的打印，对于json格式的数据，能够很好的展示结构，方便我们解析；
! V4 ~& M  A% z; o4 l" p- R/ y
url = 'https://app-sc.miguvideo.com/vms-livedata/olympic-medal/total-table/15/110000004609'
4 n' _) H, G/ n3 v9 xdata1 = requests.get(url).json()
5 a/ [/ R% g8 v3 o+ ~; _2 N# pprint(data1)

! _. l' q8 k, n3 v: C& D这里利用三行代码就可以获取到网页的源代码，利用pprint库，可以清晰的展示json结构，对于我们解析数据很有帮助。
- E' J3 w/ N1 m$ j- H  Pdf1 = pd.DataFrame()
" o) ~2 T1 k8 C$ _" j( J1 K. {$ p0 h0 rfor info in data1['body']['allMedalData']:
# I* t$ g$ v% t- r; j4 A/ v; P9 t    name = info['countryName']
    name_id = info['countryId']
+ N% j& [& H2 A' n0 I/ A    rank = info['rank']
1 m' M0 \; p6 D6 [) W  ^8 M7 ]7 S! Q    gold = info['goldMedalNum']
3 u* w/ y2 G: `) s/ R+ P    silver = info['silverMedalNum']
/ ~/ B4 |+ B; ^; D1 d! v6 u    bronze = info['bronzeMedalNum']
    total = info['totalMedalNum']
    # 组织数据
    orangized_data = [[name,name_id,rank,gold,silver,bronze,total]]
' h& G0 C2 i2 r$ ]    # 然后追加df
    df1 = df1.append(orangized_data)
df1.columns = ['名称', 'ID', '排名', '金牌', '银牌', '铜牌', '奖牌总数']
df1
6 f  `4 d; V# z9 J, H9 s; g

: J& c( [7 n7 j  E这里利用pandas库对爬取的数据进行处理，转变成结构更清楚的数据框结构。
url = 'https://app-sc.miguvideo.com/vms-livedata/olympic-medal/detail-total/15/110000004609'
5 d" n- L% a, g3 [; e! P* jdata2 = requests.get(url).json()
! W$ I) R' G* z! k% K#pprint(data2)

# x5 D# T5 }9 n, @df2 = pd.DataFrame()
* ]! B. m1 T8 A. ^. f+ afor info in data2['body']['medalTableDetail']:
    english_name = info['countryName']
- f8 |$ m& q* n/ I' J    name_id = info['countryId']
' Q. \# r6 |( n$ ^) q: i/ z    award_time = info['awardTime']
    item_name = info['bigItemName']
    sports_name = info['sportsName']
. j; \; l9 ~& r) ~& Y    medal_type = info['medalType']
    # 组织数据
    orangized_data = [[english_name,name_id,award_time,item_name,sports_name,medal_type]]
, ?- @6 w/ {9 K9 B/ I( X* o    # 然后追加df
    df2 = df2.append(orangized_data)
# N* e/ u2 N1 W+ h$ F( t' J9 Ldf2.columns = ['英文缩写', 'ID', '获奖时间', '项目名', '运动员', '金牌类型']
2 b& [$ L, A! N* z* B2 [+ Ddf2
6 V0 n5 a) x9 ^. |5 P
7 s  I; T% M* v/ `% e% k对于另外一个网页，我们采取同样的方式对数据进行爬取和处理。

# |$ Y$ |+ r% v5 \
  u  N, `% P3 v二、数据预处理
: @8 v% z' K9 a% M7 T/ C7 Z由于使用pyecharts绘制世界地图时，名称必须是英文的，所以我们需要将这里的中文名称映射为英文名称。 我们要做的就是将它与表格中的数据，做个映射转换。先把它转换为一个Excel文件，方便我们以后直接使用。
/ }- `8 ]2 k- p, \+ u" k& A( Z4 Y
; q$ Y# A1 d( j# X% v! H  Xwith open("D:/和鲸数据/数据可视化大屏！绘制全流程！/国家名中英文对照表.txt","r",encoding="utf-8") as f:
    x = f.read()
6 m4 J2 r; _. r* |. N+ _
df3 = pd.DataFrame()
for i in x.split("\n"):
0 P- `4 X' g% ]- S6 }& o    x = i.split("：")[0].strip()
' q) w" b; o: \( d! C    y = i.split("：")[1].strip()
2 {; @$ w9 B. Q+ f    orangined_data = [[x,y]]
    df3 = df3.append(orangined_data)
df3.columns = ["名称","英文名称"]
df3.to_excel("D:/和鲸数据/数据可视化大屏！绘制全流程！/国家名中英文对照表.xlsx",index=None)
/ Z1 u: m6 W( x) {: v+ k: S% U表格df1表示各国奖牌数，表格df3表示国家名中英文对照表，利用上述两张表，我们可以左连接，将英文名称添加到df1表上。
# @8 p) x4 E% F$ K4 L6 j' k
# s' p* C/ Y5 _/ Tdf4 = pd.merge(df1,df3,on="名称",how="left")
df4.head(10)

6 l# [: a2 u) o1 f7 Y

表格df5表示运动项目获奖详情。

• 
  
  
  

; h' c0 L9 A: l+ b, r- G/ A) t! h

iolia008