Python制作可视化大屏（东京奥运会）

1047521767

目录

文章目录

前言

4 L% C  M- B7 A, d一、数据爬取

二、数据预处理

% O6 g& O9 O; i" ~" I, {​前言
本文基于requests库爬取的奥运会相关数据，利用pandas库对数据进行处理之后，最后介绍了如何利用pyecharts库制作可视化大屏。


' q& e- v6 d3 s# |, a9 x0 K: {一、数据爬取
import requests
import pandas as pd
6 x' v! B" T+ M# Lfrom pprint import pprint
1 Y2 b6 g) N: I. @4 ]3 Q5 W导入相关库
; L  Q/ e7 a) C; J; C. K" f; O
requests库用于发起网页请求，获取网页中的源代码；
) n1 T$ F  J; _/ O7 T& o
/ C; A1 D8 H$ a5 r  j5 E& m) ppandas库用于存储和读取获取到的信息；
8 ?- k9 g9 R2 @$ J: B8 j5 m
pprint库是漂亮的打印，对于json格式的数据，能够很好的展示结构，方便我们解析；

url = 'https://app-sc.miguvideo.com/vms-livedata/olympic-medal/total-table/15/110000004609'
- D' i; T3 j" Jdata1 = requests.get(url).json()
# pprint(data1)

这里利用三行代码就可以获取到网页的源代码，利用pprint库，可以清晰的展示json结构，对于我们解析数据很有帮助。
df1 = pd.DataFrame()
" h5 W. i; e# @for info in data1['body']['allMedalData']:
  P& v7 ^+ F' u( p: l" a    name = info['countryName']
    name_id = info['countryId']
0 u1 `, [" R" d+ [7 S: Z$ d4 C3 B    rank = info['rank']
5 e2 b' ]/ h! b5 n; d& Y    gold = info['goldMedalNum']
8 h% O% v7 k. ~9 m    silver = info['silverMedalNum']
# _- \0 [) K6 R" \; v0 o* m' Q    bronze = info['bronzeMedalNum']
    total = info['totalMedalNum']
    # 组织数据
2 C' j9 Q. t3 H6 a: m. r* Y$ o* L    orangized_data = [[name,name_id,rank,gold,silver,bronze,total]]
    # 然后追加df
! e& _8 H- f, G6 P( R    df1 = df1.append(orangized_data)
df1.columns = ['名称', 'ID', '排名', '金牌', '银牌', '铜牌', '奖牌总数']
df1


这里利用pandas库对爬取的数据进行处理，转变成结构更清楚的数据框结构。
url = 'https://app-sc.miguvideo.com/vms-livedata/olympic-medal/detail-total/15/110000004609'
data2 = requests.get(url).json()
#pprint(data2)

' |9 i" k6 f4 v% _/ Rdf2 = pd.DataFrame()
for info in data2['body']['medalTableDetail']:
    english_name = info['countryName']
    name_id = info['countryId']
" ?5 |  j( [% h  ?$ j5 j    award_time = info['awardTime']
    item_name = info['bigItemName']
    sports_name = info['sportsName']
, U( S" Y  J# w: }) n    medal_type = info['medalType']
    # 组织数据
    orangized_data = [[english_name,name_id,award_time,item_name,sports_name,medal_type]]
  ?7 F5 e6 M$ {5 v- `    # 然后追加df
    df2 = df2.append(orangized_data)
9 v0 A0 L5 K1 R; s" Z( n0 R# i8 Qdf2.columns = ['英文缩写', 'ID', '获奖时间', '项目名', '运动员', '金牌类型']
5 h* k7 H8 h8 q0 q! p  m" o- s" F2 Rdf2

对于另外一个网页，我们采取同样的方式对数据进行爬取和处理。
5 H& h& u7 R0 s  D( Y- N

5 a! [( _$ V3 w( p二、数据预处理
由于使用pyecharts绘制世界地图时，名称必须是英文的，所以我们需要将这里的中文名称映射为英文名称。 我们要做的就是将它与表格中的数据，做个映射转换。先把它转换为一个Excel文件，方便我们以后直接使用。

with open("D:/和鲸数据/数据可视化大屏！绘制全流程！/国家名中英文对照表.txt","r",encoding="utf-8") as f:
  n& [8 w: j) \0 n4 J! x    x = f.read()
2 H- u+ x8 `, a1 l' @( z! F7 v2 W
3 z! J# R2 ~. G" u+ Udf3 = pd.DataFrame()
for i in x.split("\n"):
) X$ E; j* t( z; G! q9 r) _    x = i.split("：")[0].strip()
    y = i.split("：")[1].strip()
    orangined_data = [[x,y]]
% y% H9 B# K9 P0 R4 C2 D    df3 = df3.append(orangined_data)
5 l$ V5 i9 F) m) f) sdf3.columns = ["名称","英文名称"]
8 D% ?: S* I6 Gdf3.to_excel("D:/和鲸数据/数据可视化大屏！绘制全流程！/国家名中英文对照表.xlsx",index=None)
' I" K- D) Q: r+ e表格df1表示各国奖牌数，表格df3表示国家名中英文对照表，利用上述两张表，我们可以左连接，将英文名称添加到df1表上。
! O4 m8 @; v# m+ X/ T, H
df4 = pd.merge(df1,df3,on="名称",how="left")
df4.head(10)
+ F  v% j' f- Q; M! i
0 M  k0 q# [5 Q- ?" ]4 n- S& r

表格df5表示运动项目获奖详情。

• 
  % Y# Q! [1 O8 j. p3 ~9 R
  2 k4 h: F6 e" F6 w
  

0 D. h$ u5 Z, O& H

iolia008

3 {2 y7 A# C' D5 s! U# c