Python制作可视化大屏（东京奥运会）

1047521767

目录
+ c1 U& |4 v  {& Y
9 `- f& T, g1 [5 F% q文章目录

前言

% }8 c/ x' V2 @0 I& ^: D4 E: M一、数据爬取

二、数据预处理
) l; ?8 p& r2 `8 q$ M9 `
' J4 h/ B, x! K0 W6 [​前言
本文基于requests库爬取的奥运会相关数据，利用pandas库对数据进行处理之后，最后介绍了如何利用pyecharts库制作可视化大屏。

1 w' x6 n* e. h7 j, |; E
一、数据爬取
import requests
import pandas as pd
2 o4 _: O: S+ R& }4 O. R  W7 e; s4 bfrom pprint import pprint
, q. d+ }  j9 l6 j5 Z+ z/ y导入相关库

requests库用于发起网页请求，获取网页中的源代码；
& E2 Y- L. X; c! W, Y2 Y. Q
pandas库用于存储和读取获取到的信息；

pprint库是漂亮的打印，对于json格式的数据，能够很好的展示结构，方便我们解析；

url = 'https://app-sc.miguvideo.com/vms-livedata/olympic-medal/total-table/15/110000004609'
1 g, e1 G: y5 a+ I$ ^data1 = requests.get(url).json()
# pprint(data1)
- z: |- l% y2 Q
这里利用三行代码就可以获取到网页的源代码，利用pprint库，可以清晰的展示json结构，对于我们解析数据很有帮助。
, y5 h: S, d3 \5 t, M' C3 ddf1 = pd.DataFrame()
for info in data1['body']['allMedalData']:
/ r+ n1 \9 Y7 N& j& q    name = info['countryName']
- i! h. t8 l: P0 Z    name_id = info['countryId']
: _: l  w; U. m; r* J2 s! a1 X& r    rank = info['rank']
. ^6 H" e& g5 z0 E2 V    gold = info['goldMedalNum']
  }2 N: Q: D; u* W) F+ m    silver = info['silverMedalNum']
    bronze = info['bronzeMedalNum']
    total = info['totalMedalNum']
    # 组织数据
    orangized_data = [[name,name_id,rank,gold,silver,bronze,total]]
    # 然后追加df
' c+ x4 s$ D8 N( v* i    df1 = df1.append(orangized_data)
df1.columns = ['名称', 'ID', '排名', '金牌', '银牌', '铜牌', '奖牌总数']
df1

1 w7 K8 h/ _" k4 A/ M( B
这里利用pandas库对爬取的数据进行处理，转变成结构更清楚的数据框结构。
) p3 N6 t& H3 \5 Q5 kurl = 'https://app-sc.miguvideo.com/vms-livedata/olympic-medal/detail-total/15/110000004609'
data2 = requests.get(url).json()
#pprint(data2)
9 ~2 V: s: ^# M0 ~
: ?; F2 S5 q" C7 X5 b0 ~df2 = pd.DataFrame()
$ S% J; k$ S1 G3 n3 G9 H/ ?$ pfor info in data2['body']['medalTableDetail']:
  g/ Y8 \5 }& W5 w  P' i0 u" d    english_name = info['countryName']
    name_id = info['countryId']
* E' [7 Y6 a/ }8 [0 h/ \    award_time = info['awardTime']
    item_name = info['bigItemName']
    sports_name = info['sportsName']
    medal_type = info['medalType']
    # 组织数据
- `* A$ t: b# s% J- c: }, P) ~7 y# h    orangized_data = [[english_name,name_id,award_time,item_name,sports_name,medal_type]]
    # 然后追加df
    df2 = df2.append(orangized_data)
" V, u, O, _% V  f  idf2.columns = ['英文缩写', 'ID', '获奖时间', '项目名', '运动员', '金牌类型']
4 x6 r: \( y- ^4 k8 b7 x' Zdf2
& A5 N; m4 P- @" w: G; q; l, x
" V1 k- d5 X+ d对于另外一个网页，我们采取同样的方式对数据进行爬取和处理。


9 k6 _! j& m8 h% }% X二、数据预处理
2 {  t  ]2 Q5 ~% T由于使用pyecharts绘制世界地图时，名称必须是英文的，所以我们需要将这里的中文名称映射为英文名称。 我们要做的就是将它与表格中的数据，做个映射转换。先把它转换为一个Excel文件，方便我们以后直接使用。

with open("D:/和鲸数据/数据可视化大屏！绘制全流程！/国家名中英文对照表.txt","r",encoding="utf-8") as f:
" P7 b9 T/ l/ W5 X6 @9 X1 t    x = f.read()
$ O) t: w0 @3 V& N& {# d: z
df3 = pd.DataFrame()
for i in x.split("\n"):
    x = i.split("：")[0].strip()
8 L6 M% u; z# t( a9 @    y = i.split("：")[1].strip()
, ~, w6 ], y/ q, A+ p: ]* t    orangined_data = [[x,y]]
$ h, V, E2 A9 d  o    df3 = df3.append(orangined_data)
df3.columns = ["名称","英文名称"]
; ]3 q# l# Y. A4 Q7 Z5 X2 wdf3.to_excel("D:/和鲸数据/数据可视化大屏！绘制全流程！/国家名中英文对照表.xlsx",index=None)
" S7 N# @9 F' W/ T表格df1表示各国奖牌数，表格df3表示国家名中英文对照表，利用上述两张表，我们可以左连接，将英文名称添加到df1表上。

df4 = pd.merge(df1,df3,on="名称",how="left")
' [- g' _( c+ |/ f: M4 {0 I; {& j' \+ Ndf4.head(10)

# u- b. r4 c' B% i! I

表格df5表示运动项目获奖详情。

• 
  
  
  4 Q* _& f! I# z$ R

" U3 s! F; F" ?$ a# U" O9 a4 H; Q

iolia008

2 ]" c2 |# K- h0 P