Python制作可视化大屏（东京奥运会）

1047521767

目录

5 X5 m0 p0 e4 M0 B文章目录

前言
  N. f5 M, }; `9 V/ O: K' s
+ P8 d9 B/ ]$ a/ A! d一、数据爬取

' j8 N7 Y& q* a3 _* Z- H) Y二、数据预处理

! _/ E1 e# X9 f9 c+ f; r0 i3 K" w​前言
本文基于requests库爬取的奥运会相关数据，利用pandas库对数据进行处理之后，最后介绍了如何利用pyecharts库制作可视化大屏。
$ L+ n2 _& Z9 q# ]  J, l5 Q* V

1 j" G! F, R8 z一、数据爬取
import requests
import pandas as pd
, [" P) n" U  @) ~) k) H0 ofrom pprint import pprint
导入相关库
# w. n& o' q% ~" y$ l$ \
requests库用于发起网页请求，获取网页中的源代码；
0 ^5 \8 k& e% J
; K! h7 M, y3 o. ?5 Q% bpandas库用于存储和读取获取到的信息；

! N1 k! z- h4 `pprint库是漂亮的打印，对于json格式的数据，能够很好的展示结构，方便我们解析；

; }; b9 [! X* J5 D& x* [" Eurl = 'https://app-sc.miguvideo.com/vms-livedata/olympic-medal/total-table/15/110000004609'
data1 = requests.get(url).json()
9 C& k5 t) J! u) W' l. u: M# pprint(data1)
8 A& A+ s# o# U/ Y+ d3 o
+ d: P7 |  P3 ~- ]4 i" S# Z) v这里利用三行代码就可以获取到网页的源代码，利用pprint库，可以清晰的展示json结构，对于我们解析数据很有帮助。
3 N$ ?6 u- Q% K* u3 k$ ^df1 = pd.DataFrame()
8 S/ @! t$ b3 h. P" M- Zfor info in data1['body']['allMedalData']:
    name = info['countryName']
    name_id = info['countryId']
2 E4 u4 \9 r1 D, ?, i    rank = info['rank']
& x' o) ]1 ^  }2 Q3 |: v1 X    gold = info['goldMedalNum']
$ r; G" y* H6 H! {1 ?    silver = info['silverMedalNum']
    bronze = info['bronzeMedalNum']
    total = info['totalMedalNum']
7 z* n' [3 e% V4 }    # 组织数据
    orangized_data = [[name,name_id,rank,gold,silver,bronze,total]]
. @8 |& y5 u. ^+ t9 I    # 然后追加df
    df1 = df1.append(orangized_data)
2 J6 `3 d5 ?& A/ E2 }) E, e% Jdf1.columns = ['名称', 'ID', '排名', '金牌', '银牌', '铜牌', '奖牌总数']
" t; d: K3 C! I* L$ t, ~df1

5 v3 T' h% B$ W& i, l
这里利用pandas库对爬取的数据进行处理，转变成结构更清楚的数据框结构。
url = 'https://app-sc.miguvideo.com/vms-livedata/olympic-medal/detail-total/15/110000004609'
data2 = requests.get(url).json()
#pprint(data2)

: s4 z0 I+ n2 _" d& {! ]3 m0 xdf2 = pd.DataFrame()
for info in data2['body']['medalTableDetail']:
    english_name = info['countryName']
    name_id = info['countryId']
+ y3 y7 [5 ^5 |+ x6 M" X    award_time = info['awardTime']
    item_name = info['bigItemName']
. z; Q) g! Y$ Y) W0 s5 {) I0 D    sports_name = info['sportsName']
# H7 U8 L6 C% k. ]5 b3 U" G$ Z    medal_type = info['medalType']
    # 组织数据
    orangized_data = [[english_name,name_id,award_time,item_name,sports_name,medal_type]]
1 c; u4 m2 t! @' l    # 然后追加df
+ R! y' X: j4 U; l    df2 = df2.append(orangized_data)
df2.columns = ['英文缩写', 'ID', '获奖时间', '项目名', '运动员', '金牌类型']
$ N* u0 R" L. |2 zdf2

  ^! t1 Z! E( K' O& R) `. D对于另外一个网页，我们采取同样的方式对数据进行爬取和处理。


" d- p0 A3 [, Q" M( A二、数据预处理
# i# V+ ~6 Y4 \9 Q- a/ [由于使用pyecharts绘制世界地图时，名称必须是英文的，所以我们需要将这里的中文名称映射为英文名称。 我们要做的就是将它与表格中的数据，做个映射转换。先把它转换为一个Excel文件，方便我们以后直接使用。

with open("D:/和鲸数据/数据可视化大屏！绘制全流程！/国家名中英文对照表.txt","r",encoding="utf-8") as f:
7 I! M9 h) v2 w9 C* l' t    x = f.read()
6 @% q8 N$ m, I2 Z8 H& G9 ?1 C& `
5 A' \7 n$ e1 i" Y/ P: Pdf3 = pd.DataFrame()
% y0 L5 u+ V% I) o6 j$ Q5 ffor i in x.split("\n"):
% a+ e. N* z& s2 N3 S$ [    x = i.split("：")[0].strip()
    y = i.split("：")[1].strip()
1 s& ?6 b1 E7 y6 W( D* C    orangined_data = [[x,y]]
    df3 = df3.append(orangined_data)
df3.columns = ["名称","英文名称"]
df3.to_excel("D:/和鲸数据/数据可视化大屏！绘制全流程！/国家名中英文对照表.xlsx",index=None)
表格df1表示各国奖牌数，表格df3表示国家名中英文对照表，利用上述两张表，我们可以左连接，将英文名称添加到df1表上。

df4 = pd.merge(df1,df3,on="名称",how="left")
df4.head(10)

表格df5表示运动项目获奖详情。

• 
  3 }1 i/ _8 y" ~" f; Z( c
  
  

# J# b$ _& e0 H7 p1 E0 P8 P

iolia008

# f- x' Z& D: H( K3 g0 z+ S