Python制作可视化大屏（东京奥运会）

1047521767

目录
5 G9 X# u  b/ U: s' X( d7 K
( [3 x: R& j# Y2 {  K8 X文章目录

前言
  e* l! e% K; u, I% \
. [" R7 A* j/ `4 @* V; y, v/ m一、数据爬取

. n' c* A  k, e8 Q二、数据预处理

​前言
/ ?6 t& [( w. L& T3 W5 u6 O; R本文基于requests库爬取的奥运会相关数据，利用pandas库对数据进行处理之后，最后介绍了如何利用pyecharts库制作可视化大屏。


一、数据爬取
% D0 W8 @6 o' z& u. Cimport requests
import pandas as pd
; C, {+ G. G+ ufrom pprint import pprint
4 a  f" u# t) R2 p  `" M8 U导入相关库
9 [9 B4 P4 ^9 n' b# A8 q
+ M; ]. Q+ m& V3 H5 X# a: Crequests库用于发起网页请求，获取网页中的源代码；

4 \3 n' n' z& b4 H( P6 y0 vpandas库用于存储和读取获取到的信息；

2 _/ l4 L( A; T2 Y' R, I8 ypprint库是漂亮的打印，对于json格式的数据，能够很好的展示结构，方便我们解析；

( ]/ J6 ^/ L% I& V$ ~: O0 `, @7 surl = 'https://app-sc.miguvideo.com/vms-livedata/olympic-medal/total-table/15/110000004609'
data1 = requests.get(url).json()
# pprint(data1)
, w9 j: ]# `0 V7 Q! T% J
这里利用三行代码就可以获取到网页的源代码，利用pprint库，可以清晰的展示json结构，对于我们解析数据很有帮助。
df1 = pd.DataFrame()
* S( S; ~  H( A. C8 Qfor info in data1['body']['allMedalData']:
. M0 O' X. E$ D* k6 [    name = info['countryName']
* s+ M# L  H5 ~% b2 d/ l+ f7 ~    name_id = info['countryId']
) X7 k3 e$ [# I0 D! x$ v, k. h4 X    rank = info['rank']
8 Z" j6 A: e/ J) Y5 f    gold = info['goldMedalNum']
    silver = info['silverMedalNum']
( S% r& {7 K' ]5 g5 W3 d    bronze = info['bronzeMedalNum']
& f7 i+ c7 }- M  }$ [/ F    total = info['totalMedalNum']
    # 组织数据
* d; c0 t; P3 Z+ [  v1 u    orangized_data = [[name,name_id,rank,gold,silver,bronze,total]]
" Y$ B( R( \' u5 B    # 然后追加df
    df1 = df1.append(orangized_data)
df1.columns = ['名称', 'ID', '排名', '金牌', '银牌', '铜牌', '奖牌总数']
: R1 N# i- U! d) V6 h$ _df1

% c( N# p3 ]3 g5 b. K8 Z* C7 h
0 ?4 q4 e$ C& i, f( F' `这里利用pandas库对爬取的数据进行处理，转变成结构更清楚的数据框结构。
url = 'https://app-sc.miguvideo.com/vms-livedata/olympic-medal/detail-total/15/110000004609'
data2 = requests.get(url).json()
2 u1 T9 X, Y  f- p! d#pprint(data2)
" K7 P8 D8 s2 H$ F7 f$ c. U
df2 = pd.DataFrame()
5 x0 P# `/ @0 {" F- dfor info in data2['body']['medalTableDetail']:
( I' g: W( j( g  m0 h    english_name = info['countryName']
    name_id = info['countryId']
    award_time = info['awardTime']
    item_name = info['bigItemName']
    sports_name = info['sportsName']
' u4 @1 l2 m' ^/ j. r( R/ Y: j* h    medal_type = info['medalType']
7 k( [& M; E1 `( J- ]    # 组织数据
    orangized_data = [[english_name,name_id,award_time,item_name,sports_name,medal_type]]
    # 然后追加df
& A1 @2 T" }% v9 Q3 k    df2 = df2.append(orangized_data)
" f, r" V/ i' _0 wdf2.columns = ['英文缩写', 'ID', '获奖时间', '项目名', '运动员', '金牌类型']
df2
. [8 O3 e% V/ T# h9 K! p0 f+ B
对于另外一个网页，我们采取同样的方式对数据进行爬取和处理。

2 X: W% B2 f4 M  j) i  S& @6 S! \
. M# I- l9 I- L6 \5 f; R二、数据预处理
/ r( t# c6 J. ^. Z/ u由于使用pyecharts绘制世界地图时，名称必须是英文的，所以我们需要将这里的中文名称映射为英文名称。 我们要做的就是将它与表格中的数据，做个映射转换。先把它转换为一个Excel文件，方便我们以后直接使用。
) u( \5 W& o1 B2 {2 x
! Y! x' Z  x7 h' H; h, U, xwith open("D:/和鲸数据/数据可视化大屏！绘制全流程！/国家名中英文对照表.txt","r",encoding="utf-8") as f:
    x = f.read()

" g7 _& S% `7 Y9 W' ~2 ~df3 = pd.DataFrame()
for i in x.split("\n"):
    x = i.split("：")[0].strip()
% Q( [) M; u. z1 i! s- H, V) K) f& G    y = i.split("：")[1].strip()
    orangined_data = [[x,y]]
    df3 = df3.append(orangined_data)
$ y. p5 j; U$ L3 ?6 k* S" Sdf3.columns = ["名称","英文名称"]
df3.to_excel("D:/和鲸数据/数据可视化大屏！绘制全流程！/国家名中英文对照表.xlsx",index=None)
表格df1表示各国奖牌数，表格df3表示国家名中英文对照表，利用上述两张表，我们可以左连接，将英文名称添加到df1表上。
! l& u2 Y1 V+ K/ G/ [
- f! @" p8 c1 b# S& S  @df4 = pd.merge(df1,df3,on="名称",how="left")
df4.head(10)

表格df5表示运动项目获奖详情。

• 
  
  9 K0 u2 }, q1 O$ @" P% ^3 }2 N
  

3 `" A  ?6 V7 r* R

iolia008