Python制作可视化大屏（东京奥运会）

1047521767

目录

2 f% {" U8 r: \9 l- O文章目录

% }0 I+ a- f- _! x前言
! H7 {  _- a6 f- [/ p
一、数据爬取

二、数据预处理

​前言
; @  }: i( E- E2 T( n本文基于requests库爬取的奥运会相关数据，利用pandas库对数据进行处理之后，最后介绍了如何利用pyecharts库制作可视化大屏。


6 O5 L% F. B' A4 V4 L; W. r一、数据爬取
import requests
import pandas as pd
from pprint import pprint
导入相关库

requests库用于发起网页请求，获取网页中的源代码；

0 S' ^  S6 {# y, @  R, o" U9 Z, {& Cpandas库用于存储和读取获取到的信息；

pprint库是漂亮的打印，对于json格式的数据，能够很好的展示结构，方便我们解析；

" E" b! Z( x. [  ]url = 'https://app-sc.miguvideo.com/vms-livedata/olympic-medal/total-table/15/110000004609'
data1 = requests.get(url).json()
$ s5 D" d; B' q: ^# pprint(data1)
4 G5 ^/ h% r7 u' l7 c
4 u  f8 F( H4 a4 j& d6 i9 ]6 O8 m这里利用三行代码就可以获取到网页的源代码，利用pprint库，可以清晰的展示json结构，对于我们解析数据很有帮助。
+ Z4 k7 Y9 I9 {* cdf1 = pd.DataFrame()
# V! _- h. h+ ?& }. S; Y3 bfor info in data1['body']['allMedalData']:
) q% C; ?6 w5 n6 \9 a    name = info['countryName']
( E& @' e- m- O; }    name_id = info['countryId']
/ c* i& n/ N/ n! F. }. L6 D+ s    rank = info['rank']
    gold = info['goldMedalNum']
    silver = info['silverMedalNum']
7 M4 L$ l: ]/ Q/ i+ y    bronze = info['bronzeMedalNum']
* n3 l% n% t2 i* c+ ?    total = info['totalMedalNum']
' L' D9 y4 S+ [" C    # 组织数据
    orangized_data = [[name,name_id,rank,gold,silver,bronze,total]]
  C! @1 r- l8 P& w    # 然后追加df
    df1 = df1.append(orangized_data)
df1.columns = ['名称', 'ID', '排名', '金牌', '银牌', '铜牌', '奖牌总数']
1 X% a2 k- W) ^7 v1 \# q7 Pdf1


这里利用pandas库对爬取的数据进行处理，转变成结构更清楚的数据框结构。
' p+ D& O5 @0 |: r7 j+ _, O, T/ murl = 'https://app-sc.miguvideo.com/vms-livedata/olympic-medal/detail-total/15/110000004609'
data2 = requests.get(url).json()
. \2 D! k0 U+ T0 O! X7 D4 r8 S#pprint(data2)
$ d7 g5 {! k2 k- g
df2 = pd.DataFrame()
: f! N& T0 y: \% M# [* G" _1 a, Jfor info in data2['body']['medalTableDetail']:
    english_name = info['countryName']
6 T- ]/ p- e- {5 M7 @* A/ k  _    name_id = info['countryId']
    award_time = info['awardTime']
    item_name = info['bigItemName']
    sports_name = info['sportsName']
; X) e6 f! S' X' c4 s5 C- q% H    medal_type = info['medalType']
    # 组织数据
    orangized_data = [[english_name,name_id,award_time,item_name,sports_name,medal_type]]
    # 然后追加df
    df2 = df2.append(orangized_data)
df2.columns = ['英文缩写', 'ID', '获奖时间', '项目名', '运动员', '金牌类型']
df2

对于另外一个网页，我们采取同样的方式对数据进行爬取和处理。
* Q' }- j) E  L$ I# w1 ?
5 S9 h# ~& @+ R' P+ Z; s
3 Q8 K' y& g; }二、数据预处理
  V/ g& l* E) p9 m8 e由于使用pyecharts绘制世界地图时，名称必须是英文的，所以我们需要将这里的中文名称映射为英文名称。 我们要做的就是将它与表格中的数据，做个映射转换。先把它转换为一个Excel文件，方便我们以后直接使用。

with open("D:/和鲸数据/数据可视化大屏！绘制全流程！/国家名中英文对照表.txt","r",encoding="utf-8") as f:
  ^# x) A/ n0 G* W! N" O    x = f.read()

df3 = pd.DataFrame()
' H* s* s7 m( Y* [* ?7 j& jfor i in x.split("\n"):
    x = i.split("：")[0].strip()
    y = i.split("：")[1].strip()
4 V2 c: H* g" b2 `: L% ^  b) g    orangined_data = [[x,y]]
    df3 = df3.append(orangined_data)
! D+ I2 U' C* Vdf3.columns = ["名称","英文名称"]
df3.to_excel("D:/和鲸数据/数据可视化大屏！绘制全流程！/国家名中英文对照表.xlsx",index=None)
& f' ^$ n( F) E表格df1表示各国奖牌数，表格df3表示国家名中英文对照表，利用上述两张表，我们可以左连接，将英文名称添加到df1表上。

df4 = pd.merge(df1,df3,on="名称",how="left")
% U% j7 J2 ~) Y+ j; Xdf4.head(10)

; L) U& E! s0 B+ g4 |& m% Y% _
* T8 d* k8 f7 H+ i" ~/ X

表格df5表示运动项目获奖详情。

• 
  
  
  : [9 t1 V( i: _- V9 K' t

iolia008