Python制作可视化大屏（东京奥运会）

1047521767

目录
( Q% j2 w) N2 N" h
文章目录

前言
, R4 S( E/ J$ h0 x5 F4 U
/ P: O: \" I% Z( c: H# W* U: p! ]一、数据爬取

" r$ u6 g2 s/ D% l$ u2 V) A6 q二、数据预处理
/ L# L2 ~7 s* B; N& P4 U/ k
​前言
' y3 ^. n9 \/ K( W本文基于requests库爬取的奥运会相关数据，利用pandas库对数据进行处理之后，最后介绍了如何利用pyecharts库制作可视化大屏。
% ^" z" s, K. U' I) I2 X7 s

0 }7 M5 M$ N% J2 V) U- C一、数据爬取
) N0 [9 J+ c( F, \, U4 oimport requests
import pandas as pd
from pprint import pprint
. }% {! @' w8 J  b3 F导入相关库
+ A3 }: h# z* U5 J7 ^3 i
requests库用于发起网页请求，获取网页中的源代码；

+ ~  ~. ?5 u4 ~; n" }pandas库用于存储和读取获取到的信息；
7 x" g! F6 x# e% `
7 x; U5 p; [9 hpprint库是漂亮的打印，对于json格式的数据，能够很好的展示结构，方便我们解析；

url = 'https://app-sc.miguvideo.com/vms-livedata/olympic-medal/total-table/15/110000004609'
* j  S" Q# q% }' O' fdata1 = requests.get(url).json()
( R3 _8 I1 c8 Q0 ]. Q% C# pprint(data1)
, k9 r( Q8 }2 e
$ O2 j8 W8 W) M这里利用三行代码就可以获取到网页的源代码，利用pprint库，可以清晰的展示json结构，对于我们解析数据很有帮助。
- z* ?! p) q. z' `df1 = pd.DataFrame()
for info in data1['body']['allMedalData']:
6 Z5 G& U) }: r    name = info['countryName']
    name_id = info['countryId']
    rank = info['rank']
    gold = info['goldMedalNum']
    silver = info['silverMedalNum']
6 ^+ d( n5 b% i! v, E2 e9 H4 e    bronze = info['bronzeMedalNum']
    total = info['totalMedalNum']
' W5 ?+ R. }! d8 v+ o; g    # 组织数据
" v6 n3 A3 K# X/ ]    orangized_data = [[name,name_id,rank,gold,silver,bronze,total]]
    # 然后追加df
    df1 = df1.append(orangized_data)
df1.columns = ['名称', 'ID', '排名', '金牌', '银牌', '铜牌', '奖牌总数']
df1
- d' x/ e- {- M) k3 d4 g1 w

这里利用pandas库对爬取的数据进行处理，转变成结构更清楚的数据框结构。
url = 'https://app-sc.miguvideo.com/vms-livedata/olympic-medal/detail-total/15/110000004609'
! j# J+ m! G9 Y( m( h0 bdata2 = requests.get(url).json()
#pprint(data2)
8 S) O7 u" t: B: ^/ {
df2 = pd.DataFrame()
$ ?) y$ g! E: ufor info in data2['body']['medalTableDetail']:
    english_name = info['countryName']
    name_id = info['countryId']
/ }) |' G' E" y, I    award_time = info['awardTime']
    item_name = info['bigItemName']
    sports_name = info['sportsName']
8 [- t. r8 H  F' p& }    medal_type = info['medalType']
    # 组织数据
    orangized_data = [[english_name,name_id,award_time,item_name,sports_name,medal_type]]
: j% y+ y  z- z6 p# U- C+ [    # 然后追加df
    df2 = df2.append(orangized_data)
df2.columns = ['英文缩写', 'ID', '获奖时间', '项目名', '运动员', '金牌类型']
0 k/ r* ?$ z, S$ Z* e6 Zdf2

对于另外一个网页，我们采取同样的方式对数据进行爬取和处理。

4 S$ A6 n$ \. r. R2 j! A" L; J
二、数据预处理
, X7 `# u/ e- T, g由于使用pyecharts绘制世界地图时，名称必须是英文的，所以我们需要将这里的中文名称映射为英文名称。 我们要做的就是将它与表格中的数据，做个映射转换。先把它转换为一个Excel文件，方便我们以后直接使用。

with open("D:/和鲸数据/数据可视化大屏！绘制全流程！/国家名中英文对照表.txt","r",encoding="utf-8") as f:
) c9 L% g  P0 N& s5 H2 I    x = f.read()
/ u0 p2 f( h; M" u! n( q! I! Q
df3 = pd.DataFrame()
for i in x.split("\n"):
    x = i.split("：")[0].strip()
3 ?7 ?+ g# H- f5 u$ g    y = i.split("：")[1].strip()
5 s6 I' A, V/ C7 D; B& @. J" v    orangined_data = [[x,y]]
2 Z6 U0 Y  f$ ?/ }7 H    df3 = df3.append(orangined_data)
! l; o. C0 e, x, K/ l& Q% B! h# e2 Mdf3.columns = ["名称","英文名称"]
df3.to_excel("D:/和鲸数据/数据可视化大屏！绘制全流程！/国家名中英文对照表.xlsx",index=None)
% b9 j5 Q3 A( p2 G, e1 R' V" o表格df1表示各国奖牌数，表格df3表示国家名中英文对照表，利用上述两张表，我们可以左连接，将英文名称添加到df1表上。
+ E+ c4 z( t' O; B3 O# p& K- S# v
0 D4 r+ ?( i/ }8 x% w! Wdf4 = pd.merge(df1,df3,on="名称",how="left")
/ ^6 I- \" u0 \5 h' vdf4.head(10)


+ w) b; g6 _/ Y) m, {$ H- G' u

表格df5表示运动项目获奖详情。

• 
  . `1 A" B1 P' G7 ~
  6 K# l  h9 @+ S& i% n
  1 q. F' S& I- u0 X

7 Y2 F! B; \4 u( G, d

iolia008