Python制作可视化大屏（东京奥运会）

1047521767

目录

* @3 v% n, ?) }" x' p/ ?8 u文章目录
& x7 c6 `5 d$ c4 p" U6 Q
6 ]4 A) J9 L* P( O' \前言
3 E3 D' ^4 K/ ^7 l& n# T* H' G
3 E( `! P) _# z* ?2 a, H7 {一、数据爬取
0 ]1 k: b) j/ ?. k
二、数据预处理
1 J1 @! G4 S7 f* v" Q" I
​前言
本文基于requests库爬取的奥运会相关数据，利用pandas库对数据进行处理之后，最后介绍了如何利用pyecharts库制作可视化大屏。
: S4 \: h/ k' y: R, ^; m

一、数据爬取
% i, s) i8 C5 |: z, pimport requests
8 w4 U' [0 u8 A  [import pandas as pd
from pprint import pprint
4 ^8 p7 Q% Z  R8 C5 H$ {7 L  b. `# Q导入相关库
# z' d$ `# T1 d+ v/ A, \* h+ c
requests库用于发起网页请求，获取网页中的源代码；
$ Q8 S: T; Y8 i6 d
( ~; ^' d  {! C, opandas库用于存储和读取获取到的信息；
. B0 B4 U2 P# l2 w, ?* Y
! E9 D- V! m$ p+ z' J! S& t: Fpprint库是漂亮的打印，对于json格式的数据，能够很好的展示结构，方便我们解析；

: O* p' l: \8 T  m+ ^8 F1 R+ j& kurl = 'https://app-sc.miguvideo.com/vms-livedata/olympic-medal/total-table/15/110000004609'
data1 = requests.get(url).json()
$ v- Y. T) o7 {6 \# pprint(data1)
( J4 m4 U" F2 _) x, q( o
这里利用三行代码就可以获取到网页的源代码，利用pprint库，可以清晰的展示json结构，对于我们解析数据很有帮助。
df1 = pd.DataFrame()
2 t- G0 Q1 l  b+ Zfor info in data1['body']['allMedalData']:
0 Z9 ?; v4 Z5 o! n( r    name = info['countryName']
    name_id = info['countryId']
    rank = info['rank']
    gold = info['goldMedalNum']
    silver = info['silverMedalNum']
    bronze = info['bronzeMedalNum']
3 X# t, {# x& N+ E    total = info['totalMedalNum']
    # 组织数据
8 _' H/ a6 `& c    orangized_data = [[name,name_id,rank,gold,silver,bronze,total]]
    # 然后追加df
    df1 = df1.append(orangized_data)
$ G% t$ p" {. \  f/ F7 t8 k7 X4 |7 xdf1.columns = ['名称', 'ID', '排名', '金牌', '银牌', '铜牌', '奖牌总数']
' d2 P6 R' V6 X+ e: _. _df1

: V# I7 [" z2 X- F
这里利用pandas库对爬取的数据进行处理，转变成结构更清楚的数据框结构。
url = 'https://app-sc.miguvideo.com/vms-livedata/olympic-medal/detail-total/15/110000004609'
. Z0 N8 x0 i/ B* U1 A- ^- x' ]data2 = requests.get(url).json()
6 x: b9 @# l$ g; G6 B0 d7 u#pprint(data2)

df2 = pd.DataFrame()
for info in data2['body']['medalTableDetail']:
& Q7 K3 Z) K" v3 b) z9 b    english_name = info['countryName']
7 z6 w! ~, Z6 W' A  p    name_id = info['countryId']
    award_time = info['awardTime']
5 O5 L. `2 t! o: z    item_name = info['bigItemName']
    sports_name = info['sportsName']
; L, X' U$ {" Y    medal_type = info['medalType']
    # 组织数据
    orangized_data = [[english_name,name_id,award_time,item_name,sports_name,medal_type]]
    # 然后追加df
  Q# X  ~1 j: q$ |1 `    df2 = df2.append(orangized_data)
/ Q! \7 s6 I3 odf2.columns = ['英文缩写', 'ID', '获奖时间', '项目名', '运动员', '金牌类型']
5 h7 _5 z0 L. c7 P4 V3 o9 edf2

对于另外一个网页，我们采取同样的方式对数据进行爬取和处理。
2 \6 Q. N2 ~0 c' \
0 L* }/ [" F9 e5 e. I' `2 v
二、数据预处理
3 h* [: O, z+ h由于使用pyecharts绘制世界地图时，名称必须是英文的，所以我们需要将这里的中文名称映射为英文名称。 我们要做的就是将它与表格中的数据，做个映射转换。先把它转换为一个Excel文件，方便我们以后直接使用。
1 Q* }% r8 i% n7 D8 l& J) s
with open("D:/和鲸数据/数据可视化大屏！绘制全流程！/国家名中英文对照表.txt","r",encoding="utf-8") as f:
9 R0 R) B5 W- u$ ]& c' S    x = f.read()
$ ~" a9 w+ Q& w
3 u0 c2 Y1 N% h- M9 i4 R' Xdf3 = pd.DataFrame()
for i in x.split("\n"):
7 p% i( S1 X7 j, Q- O    x = i.split("：")[0].strip()
    y = i.split("：")[1].strip()
4 H2 u3 h' L& Z: A    orangined_data = [[x,y]]
; J+ A+ D. l' }0 h* ^    df3 = df3.append(orangined_data)
df3.columns = ["名称","英文名称"]
. f' {- k" y! W0 ndf3.to_excel("D:/和鲸数据/数据可视化大屏！绘制全流程！/国家名中英文对照表.xlsx",index=None)
; o2 E4 i2 U# o: C7 i表格df1表示各国奖牌数，表格df3表示国家名中英文对照表，利用上述两张表，我们可以左连接，将英文名称添加到df1表上。
5 j; g' l* B) e% _2 [
df4 = pd.merge(df1,df3,on="名称",how="left")
df4.head(10)
7 [0 x+ _7 S' F* D

5 a0 `6 ]/ |! D7 u& o

表格df5表示运动项目获奖详情。

• 
  
  
  

/ p+ l$ a0 S7 ~: c: D, U

iolia008

, W( t. d0 [2 l