Python制作可视化大屏（东京奥运会）

1047521767

目录
- N* |4 p# p& v3 d
8 M8 L4 G7 p, f' h; Y- S文章目录

前言
( [6 D. t9 B4 j6 A* t" M  n0 e
一、数据爬取

二、数据预处理
$ [" {: s( F" u
+ h3 y% s% C, P. [6 m​前言
# A$ k- e$ w$ l6 m8 j9 c本文基于requests库爬取的奥运会相关数据，利用pandas库对数据进行处理之后，最后介绍了如何利用pyecharts库制作可视化大屏。


# \' k0 P7 f( E; U1 ?0 a! x1 P一、数据爬取
import requests
import pandas as pd
from pprint import pprint
# H1 m9 {/ `) M3 K& D; W导入相关库

/ X/ m6 T  x# m6 H! B9 trequests库用于发起网页请求，获取网页中的源代码；

, I9 M$ Q* B4 {pandas库用于存储和读取获取到的信息；

& i* b4 F4 r' Y7 Apprint库是漂亮的打印，对于json格式的数据，能够很好的展示结构，方便我们解析；
! q# f9 F% U' ~5 h! d; y% c
url = 'https://app-sc.miguvideo.com/vms-livedata/olympic-medal/total-table/15/110000004609'
' s) G) S! P9 Odata1 = requests.get(url).json()
# pprint(data1)
. j! I9 s- h. s, l8 h6 }: o
这里利用三行代码就可以获取到网页的源代码，利用pprint库，可以清晰的展示json结构，对于我们解析数据很有帮助。
+ w% x: E$ k- h. ^df1 = pd.DataFrame()
for info in data1['body']['allMedalData']:
    name = info['countryName']
8 b& D5 ^) @; q$ J    name_id = info['countryId']
    rank = info['rank']
0 ~1 a" v" a' J7 z3 w) i  t* I    gold = info['goldMedalNum']
6 ?$ L- v" _' Q: S    silver = info['silverMedalNum']
, K9 B7 x* p$ }    bronze = info['bronzeMedalNum']
    total = info['totalMedalNum']
    # 组织数据
    orangized_data = [[name,name_id,rank,gold,silver,bronze,total]]
% M+ m9 l4 U7 `% {+ d: i9 g, J! ]    # 然后追加df
0 J. ^( }1 r/ F. N/ j" s6 m  G0 n    df1 = df1.append(orangized_data)
df1.columns = ['名称', 'ID', '排名', '金牌', '银牌', '铜牌', '奖牌总数']
; M/ l3 x( W; Idf1
4 N8 c/ P* @5 ~0 s1 ]( y+ U0 U+ p
& k" o6 I* f( g) e+ \$ L1 K! g
) g' Y3 q. m' t' Z. G; d这里利用pandas库对爬取的数据进行处理，转变成结构更清楚的数据框结构。
$ F& I$ a8 J: R2 Y, A: A( N9 Zurl = 'https://app-sc.miguvideo.com/vms-livedata/olympic-medal/detail-total/15/110000004609'
% h6 o+ n0 V5 h6 Mdata2 = requests.get(url).json()
#pprint(data2)

df2 = pd.DataFrame()
: r+ O- N& e. }) _( tfor info in data2['body']['medalTableDetail']:
    english_name = info['countryName']
4 D( p7 R& Z! ~% `8 N    name_id = info['countryId']
4 [# f0 p# e1 C8 }- [2 ]0 G1 ]    award_time = info['awardTime']
' u" v1 O7 `0 D+ N' [    item_name = info['bigItemName']
5 E: Z* q2 ^- W! T) G    sports_name = info['sportsName']
. v1 f" i; \* [/ a    medal_type = info['medalType']
    # 组织数据
, G9 v# Z% d( O+ @8 h; a    orangized_data = [[english_name,name_id,award_time,item_name,sports_name,medal_type]]
  \. z3 ~! z% h, e7 k1 i) U6 l    # 然后追加df
    df2 = df2.append(orangized_data)
df2.columns = ['英文缩写', 'ID', '获奖时间', '项目名', '运动员', '金牌类型']
df2

. O/ a0 @' ?) Q5 A/ s$ t. m- C& K对于另外一个网页，我们采取同样的方式对数据进行爬取和处理。


/ X  I6 Q  M* ~2 f* [二、数据预处理
  r% Z/ Z7 V; R由于使用pyecharts绘制世界地图时，名称必须是英文的，所以我们需要将这里的中文名称映射为英文名称。 我们要做的就是将它与表格中的数据，做个映射转换。先把它转换为一个Excel文件，方便我们以后直接使用。
9 {3 x; @6 a+ M" Z! p
with open("D:/和鲸数据/数据可视化大屏！绘制全流程！/国家名中英文对照表.txt","r",encoding="utf-8") as f:
    x = f.read()

df3 = pd.DataFrame()
; |" U6 Q  x! Q  L1 k# o# q2 R  Efor i in x.split("\n"):
    x = i.split("：")[0].strip()
    y = i.split("：")[1].strip()
    orangined_data = [[x,y]]
    df3 = df3.append(orangined_data)
  I; r& n, _; Qdf3.columns = ["名称","英文名称"]
df3.to_excel("D:/和鲸数据/数据可视化大屏！绘制全流程！/国家名中英文对照表.xlsx",index=None)
表格df1表示各国奖牌数，表格df3表示国家名中英文对照表，利用上述两张表，我们可以左连接，将英文名称添加到df1表上。

! m& p0 T( o2 Y; Sdf4 = pd.merge(df1,df3,on="名称",how="left")
df4.head(10)

表格df5表示运动项目获奖详情。

• 
  
  2 R! s( n" {7 m2 N$ A: X
  

iolia008