Python制作可视化大屏（东京奥运会）

1047521767

目录
* Z0 h# a; v' q9 W+ ]" D( G
3 }4 {- c) c3 y4 N1 }* L8 S% I文章目录

# S+ B8 ?. a) _0 a/ e4 _前言
" d4 t- o$ R7 b0 R% R8 w
一、数据爬取
; G- q3 k1 ^- w  F- {& X! ]
二、数据预处理

; J8 C4 V/ K6 C+ U, W/ z; o​前言
8 K) [+ K4 ?; h, u- y本文基于requests库爬取的奥运会相关数据，利用pandas库对数据进行处理之后，最后介绍了如何利用pyecharts库制作可视化大屏。

! E: A& M, A* {, _/ Y5 `0 X- E& M
一、数据爬取
import requests
import pandas as pd
* N# I: {' H; M( T# b" bfrom pprint import pprint
+ S  H) P  A; N2 a/ U+ Q, m9 t) I' _导入相关库

requests库用于发起网页请求，获取网页中的源代码；

pandas库用于存储和读取获取到的信息；
3 `/ M1 U& F! G+ E5 N8 C
9 }: o. U# `& {" C2 C) t9 Cpprint库是漂亮的打印，对于json格式的数据，能够很好的展示结构，方便我们解析；

7 |# r8 [3 t* J' T( h, T2 Gurl = 'https://app-sc.miguvideo.com/vms-livedata/olympic-medal/total-table/15/110000004609'
data1 = requests.get(url).json()
# pprint(data1)
5 |9 J$ ?( U: _$ u9 y
  ~; F' F$ Y, _* u' k) `9 I这里利用三行代码就可以获取到网页的源代码，利用pprint库，可以清晰的展示json结构，对于我们解析数据很有帮助。
1 S, F# k. C4 q& K1 _4 R2 Kdf1 = pd.DataFrame()
for info in data1['body']['allMedalData']:
    name = info['countryName']
& P) C  A2 v$ l7 i- F    name_id = info['countryId']
4 G) I3 h, Z0 K! M    rank = info['rank']
    gold = info['goldMedalNum']
    silver = info['silverMedalNum']
    bronze = info['bronzeMedalNum']
    total = info['totalMedalNum']
    # 组织数据
    orangized_data = [[name,name_id,rank,gold,silver,bronze,total]]
    # 然后追加df
    df1 = df1.append(orangized_data)
0 _! F. G% W1 q% y- @7 t, Adf1.columns = ['名称', 'ID', '排名', '金牌', '银牌', '铜牌', '奖牌总数']
df1
0 w+ V* R5 @7 J$ M3 t- |) `

这里利用pandas库对爬取的数据进行处理，转变成结构更清楚的数据框结构。
* Y& ^3 j  h. Ourl = 'https://app-sc.miguvideo.com/vms-livedata/olympic-medal/detail-total/15/110000004609'
6 X' F6 |2 C2 a# e& ]data2 = requests.get(url).json()
# Q. u. J$ B' r8 [  m#pprint(data2)
+ ~8 a, k9 n8 R4 g) S
df2 = pd.DataFrame()
7 M6 q+ z8 P/ w5 w7 k8 sfor info in data2['body']['medalTableDetail']:
# ~, v3 U5 W7 @& l; U& X: M& ?    english_name = info['countryName']
8 x* ~' a2 S0 t7 F. x$ c    name_id = info['countryId']
' O) _2 y* y4 p( _( \    award_time = info['awardTime']
    item_name = info['bigItemName']
    sports_name = info['sportsName']
    medal_type = info['medalType']
5 t' j0 P4 w! c) ]    # 组织数据
, \  G- }  G/ B* m4 i. Z  k7 U" A    orangized_data = [[english_name,name_id,award_time,item_name,sports_name,medal_type]]
    # 然后追加df
/ J! Q- @: w5 j( M+ g0 j" q& S/ ?  F    df2 = df2.append(orangized_data)
df2.columns = ['英文缩写', 'ID', '获奖时间', '项目名', '运动员', '金牌类型']
; t0 t6 y( J9 kdf2
+ V) o; f8 K8 ?  A- W& d* K& p& C
对于另外一个网页，我们采取同样的方式对数据进行爬取和处理。


二、数据预处理
由于使用pyecharts绘制世界地图时，名称必须是英文的，所以我们需要将这里的中文名称映射为英文名称。 我们要做的就是将它与表格中的数据，做个映射转换。先把它转换为一个Excel文件，方便我们以后直接使用。

with open("D:/和鲸数据/数据可视化大屏！绘制全流程！/国家名中英文对照表.txt","r",encoding="utf-8") as f:
" y) s! k5 i8 s" m4 m    x = f.read()

df3 = pd.DataFrame()
for i in x.split("\n"):
    x = i.split("：")[0].strip()
    y = i.split("：")[1].strip()
- o9 V9 R2 Y  j! Q8 j- u6 b# k    orangined_data = [[x,y]]
    df3 = df3.append(orangined_data)
& G, a4 V3 |* P, Odf3.columns = ["名称","英文名称"]
8 _1 \+ i, `, n/ x6 F; S* G7 ddf3.to_excel("D:/和鲸数据/数据可视化大屏！绘制全流程！/国家名中英文对照表.xlsx",index=None)
表格df1表示各国奖牌数，表格df3表示国家名中英文对照表，利用上述两张表，我们可以左连接，将英文名称添加到df1表上。

df4 = pd.merge(df1,df3,on="名称",how="left")
# K1 V  h, j* @) D: Bdf4.head(10)

表格df5表示运动项目获奖详情。

• 
  8 P# U! q1 v0 `" v  l/ e
  : ?8 O- o8 a' D* y% o
  5 l' m) z" L% N& v

7 x# u/ d- a6 ?0 |( ]

iolia008