Python制作可视化大屏（东京奥运会）

1047521767

目录
/ O, X# u  t  y! K7 X9 P9 N# N* E1 Q
3 O3 f% k' ~9 f, x文章目录
3 ?. {8 T1 J5 ~5 }+ T4 z6 C
7 Y& D6 s! T, O1 v. w# ?2 C前言

一、数据爬取

" p8 y" z, O. ]% f5 O5 D二、数据预处理

​前言
本文基于requests库爬取的奥运会相关数据，利用pandas库对数据进行处理之后，最后介绍了如何利用pyecharts库制作可视化大屏。
" r* R1 T. D' T" }& }
! o6 @  K7 K3 Y8 P4 A. P
一、数据爬取
+ J9 l, U4 g9 \9 y- y- cimport requests
import pandas as pd
( w) i2 V6 i+ d0 v6 M8 rfrom pprint import pprint
导入相关库

requests库用于发起网页请求，获取网页中的源代码；
5 Z/ }5 ]- K: T" p
pandas库用于存储和读取获取到的信息；
$ S. }: ]$ J* M+ `$ y
. Y% k6 P5 i) A2 |3 |pprint库是漂亮的打印，对于json格式的数据，能够很好的展示结构，方便我们解析；
$ y! S  S3 `2 }/ s. G
url = 'https://app-sc.miguvideo.com/vms-livedata/olympic-medal/total-table/15/110000004609'
data1 = requests.get(url).json()
# pprint(data1)

4 ^6 p4 e  M3 w4 S: k这里利用三行代码就可以获取到网页的源代码，利用pprint库，可以清晰的展示json结构，对于我们解析数据很有帮助。
" j: m$ l4 B1 b1 [df1 = pd.DataFrame()
$ ?1 x# t4 Y1 f2 bfor info in data1['body']['allMedalData']:
    name = info['countryName']
# r  C9 Q( [9 T8 j; a+ j0 g  n% a    name_id = info['countryId']
- v  e5 M5 c- ], D- ?# N" S5 V/ H3 b* L    rank = info['rank']
    gold = info['goldMedalNum']
    silver = info['silverMedalNum']
    bronze = info['bronzeMedalNum']
, L6 u% |8 _  |$ @    total = info['totalMedalNum']
    # 组织数据
    orangized_data = [[name,name_id,rank,gold,silver,bronze,total]]
- l6 [% \6 T- w9 {0 a5 F    # 然后追加df
    df1 = df1.append(orangized_data)
- u+ D( u  w- X/ N# |2 _df1.columns = ['名称', 'ID', '排名', '金牌', '银牌', '铜牌', '奖牌总数']
  i0 g% g/ h' b. i5 `df1
1 I8 K% `& |, k1 H, b3 `

这里利用pandas库对爬取的数据进行处理，转变成结构更清楚的数据框结构。
url = 'https://app-sc.miguvideo.com/vms-livedata/olympic-medal/detail-total/15/110000004609'
, ]( D% Y, r" M! ~, g- Mdata2 = requests.get(url).json()
, Q3 ]0 Z+ ^% ]- G/ [0 _. f#pprint(data2)

df2 = pd.DataFrame()
for info in data2['body']['medalTableDetail']:
    english_name = info['countryName']
8 D' z8 g: }% T- Q    name_id = info['countryId']
. W5 w$ T2 j( }: C+ J7 ^    award_time = info['awardTime']
) b: |+ t% z6 A/ x6 u8 U7 @    item_name = info['bigItemName']
* M" ]$ o8 t4 ^3 i    sports_name = info['sportsName']
+ V- |! T3 S+ g( p& ^6 u    medal_type = info['medalType']
0 j4 Y* A+ ^3 u4 F& S    # 组织数据
0 Z, F/ N8 M7 ^/ A3 I3 ^7 |    orangized_data = [[english_name,name_id,award_time,item_name,sports_name,medal_type]]
9 m: \( d6 V2 ]9 Z7 i    # 然后追加df
    df2 = df2.append(orangized_data)
df2.columns = ['英文缩写', 'ID', '获奖时间', '项目名', '运动员', '金牌类型']
df2

5 f& u  E+ n/ U5 g! U1 K, @( b( R: S对于另外一个网页，我们采取同样的方式对数据进行爬取和处理。
/ o' \8 I+ s; R4 g# [
; j: l! `: \! p
二、数据预处理
由于使用pyecharts绘制世界地图时，名称必须是英文的，所以我们需要将这里的中文名称映射为英文名称。 我们要做的就是将它与表格中的数据，做个映射转换。先把它转换为一个Excel文件，方便我们以后直接使用。

with open("D:/和鲸数据/数据可视化大屏！绘制全流程！/国家名中英文对照表.txt","r",encoding="utf-8") as f:
9 I; F6 o0 S- s) a    x = f.read()

df3 = pd.DataFrame()
for i in x.split("\n"):
    x = i.split("：")[0].strip()
    y = i.split("：")[1].strip()
    orangined_data = [[x,y]]
; n" j# y9 |/ r+ n7 R5 ^    df3 = df3.append(orangined_data)
0 p* _3 n& G" ?. N( y- W, ^df3.columns = ["名称","英文名称"]
  V+ S! t) J+ pdf3.to_excel("D:/和鲸数据/数据可视化大屏！绘制全流程！/国家名中英文对照表.xlsx",index=None)
- a2 J$ |+ ]1 y: s* U表格df1表示各国奖牌数，表格df3表示国家名中英文对照表，利用上述两张表，我们可以左连接，将英文名称添加到df1表上。

: w- R; G! r; J2 Idf4 = pd.merge(df1,df3,on="名称",how="left")
df4.head(10)
) M" r# {+ I4 z1 m0 }

表格df5表示运动项目获奖详情。

• 
  . p/ T" x3 E& m3 z* w7 t1 _! X
  
  

5 \' m% \  `8 I* t; @

iolia008