Python制作可视化大屏（东京奥运会）

1047521767

目录

, W/ Q3 O6 C: I6 G文章目录
5 x- T/ r, J2 M' {$ u
前言
6 c" z4 U7 P* q4 d/ Z( L4 F
' ?# `0 i1 n. I( R* D一、数据爬取

* t" Z# V: S0 j2 S, }0 _( x" I二、数据预处理
7 {5 ~; m' ^3 \( i. \% Q3 r6 Y" S
​前言
本文基于requests库爬取的奥运会相关数据，利用pandas库对数据进行处理之后，最后介绍了如何利用pyecharts库制作可视化大屏。

- C0 I, M/ m- ~4 ~& _5 P1 |
一、数据爬取
2 ~+ T# J7 ~' ?) Iimport requests
import pandas as pd
from pprint import pprint
导入相关库

requests库用于发起网页请求，获取网页中的源代码；
+ W8 u( B1 q: D
pandas库用于存储和读取获取到的信息；

pprint库是漂亮的打印，对于json格式的数据，能够很好的展示结构，方便我们解析；
( m# s1 a" ~8 {: N0 D5 U, {
url = 'https://app-sc.miguvideo.com/vms-livedata/olympic-medal/total-table/15/110000004609'
data1 = requests.get(url).json()
" [* d# E5 i0 c8 P# pprint(data1)
) s4 l6 o9 U6 z- x
) [  n" J0 v+ Q* J这里利用三行代码就可以获取到网页的源代码，利用pprint库，可以清晰的展示json结构，对于我们解析数据很有帮助。
df1 = pd.DataFrame()
for info in data1['body']['allMedalData']:
    name = info['countryName']
& z7 t3 S4 V! {) }: v( L: h: W* h3 z    name_id = info['countryId']
    rank = info['rank']
9 Z+ E; J, J$ o1 ^    gold = info['goldMedalNum']
    silver = info['silverMedalNum']
0 I% _) y" A( G' b    bronze = info['bronzeMedalNum']
% w& }# T" n  F    total = info['totalMedalNum']
6 B5 C6 D. e$ I. D9 g    # 组织数据
% Y: x+ U1 `) }( c5 m; F3 G    orangized_data = [[name,name_id,rank,gold,silver,bronze,total]]
    # 然后追加df
8 Y8 O, X& P8 Y/ b    df1 = df1.append(orangized_data)
9 n- |, G9 T4 s' n' ?8 fdf1.columns = ['名称', 'ID', '排名', '金牌', '银牌', '铜牌', '奖牌总数']
df1


) ], h  X4 T" [6 Z这里利用pandas库对爬取的数据进行处理，转变成结构更清楚的数据框结构。
3 ^& V+ S0 |: ?/ i8 A1 I, X3 eurl = 'https://app-sc.miguvideo.com/vms-livedata/olympic-medal/detail-total/15/110000004609'
, r. F7 \9 v: E+ G& H' @; Hdata2 = requests.get(url).json()
' j, C9 o. J+ |( G#pprint(data2)
: H/ I+ z, H6 x2 Z4 q& M- v- w
df2 = pd.DataFrame()
* [& {8 o) B8 X' O' j) Y$ Nfor info in data2['body']['medalTableDetail']:
    english_name = info['countryName']
    name_id = info['countryId']
    award_time = info['awardTime']
    item_name = info['bigItemName']
    sports_name = info['sportsName']
    medal_type = info['medalType']
! g% [% n3 P* q# X5 Z* W( R) n5 T    # 组织数据
    orangized_data = [[english_name,name_id,award_time,item_name,sports_name,medal_type]]
) E" J8 [/ `6 ~, n  \- J    # 然后追加df
# C7 z0 r- h6 F8 H$ V9 F    df2 = df2.append(orangized_data)
6 _% J  k& A/ f$ ]df2.columns = ['英文缩写', 'ID', '获奖时间', '项目名', '运动员', '金牌类型']
df2

对于另外一个网页，我们采取同样的方式对数据进行爬取和处理。
; g' Z$ B0 E7 w) Z

二、数据预处理
; l) l: G) D9 x  L由于使用pyecharts绘制世界地图时，名称必须是英文的，所以我们需要将这里的中文名称映射为英文名称。 我们要做的就是将它与表格中的数据，做个映射转换。先把它转换为一个Excel文件，方便我们以后直接使用。
7 p0 h$ g8 S/ ]& }8 \
/ U, M5 {5 \' `2 _  [5 `with open("D:/和鲸数据/数据可视化大屏！绘制全流程！/国家名中英文对照表.txt","r",encoding="utf-8") as f:
3 O8 Y& B0 f1 h' U+ S0 D    x = f.read()
  r" Q( f$ H* L$ o( ?, F6 [1 R  F
0 \% P/ C  u5 g* w& k& D2 u/ f1 Ndf3 = pd.DataFrame()
for i in x.split("\n"):
    x = i.split("：")[0].strip()
    y = i.split("：")[1].strip()
  \, z7 W/ f6 p7 E0 ^2 t& u    orangined_data = [[x,y]]
8 j: [% i& c  W    df3 = df3.append(orangined_data)
8 N/ C- t1 r0 hdf3.columns = ["名称","英文名称"]
6 H3 L# Y% ~, t1 h- ]% Ndf3.to_excel("D:/和鲸数据/数据可视化大屏！绘制全流程！/国家名中英文对照表.xlsx",index=None)
表格df1表示各国奖牌数，表格df3表示国家名中英文对照表，利用上述两张表，我们可以左连接，将英文名称添加到df1表上。

8 G( K- e: L1 c/ m: i$ Zdf4 = pd.merge(df1,df3,on="名称",how="left")
df4.head(10)
: E4 _5 W3 n- o, ^; ?
/ J4 ~7 R: F  n# k
6 s( U; W2 t: e5 Y' q- U+ e

表格df5表示运动项目获奖详情。

• 
    H1 T1 V( L/ T7 V1 q6 z
  9 F" w' W' i, T1 e9 g
  5 n6 s, k, {& q! U

  ]% H/ e* B3 _; S
; T3 M, w: M% Y1 i

iolia008

: @" w0 z/ D/ Y4 `$ I7 b0 K  z