Python制作可视化大屏（东京奥运会）

1047521767

目录
( y4 f( {% j: Y) d1 N$ ]
文章目录

, |' U$ m6 q8 x- n+ M/ j; I前言
  ]) r3 t8 h6 j2 }+ I
一、数据爬取
# ~" d, Z! u5 u; G( A4 k9 ?
二、数据预处理
# t- N1 t. {+ }- v' Q7 V
​前言
3 j2 D# c6 a) _" ?. J3 w/ {- n  @本文基于requests库爬取的奥运会相关数据，利用pandas库对数据进行处理之后，最后介绍了如何利用pyecharts库制作可视化大屏。
  N6 a  u; j  p4 t& ]
5 c3 L6 A% X/ A& m( x4 |
" H2 X7 @3 p! w+ n. P一、数据爬取
import requests
8 S7 S2 N! O$ h; d& b+ Zimport pandas as pd
from pprint import pprint
导入相关库

! @; v1 Q/ d5 U, S& i* ^requests库用于发起网页请求，获取网页中的源代码；
) R7 I9 T7 j% C2 g6 y3 {; ?
6 g5 m9 Q3 Q- u" P% W+ u" _pandas库用于存储和读取获取到的信息；
: L. q4 f7 a9 F1 B% p
pprint库是漂亮的打印，对于json格式的数据，能够很好的展示结构，方便我们解析；

4 I8 x0 j* S( D6 durl = 'https://app-sc.miguvideo.com/vms-livedata/olympic-medal/total-table/15/110000004609'
data1 = requests.get(url).json()
# pprint(data1)
9 ?' D" o7 g! `( [& {. R) I* {
6 _: S1 C! B7 k- ]4 U8 o这里利用三行代码就可以获取到网页的源代码，利用pprint库，可以清晰的展示json结构，对于我们解析数据很有帮助。
df1 = pd.DataFrame()
for info in data1['body']['allMedalData']:
    name = info['countryName']
    name_id = info['countryId']
    rank = info['rank']
  X! P! s9 s! R3 ?; V5 X8 y4 p    gold = info['goldMedalNum']
    silver = info['silverMedalNum']
* x% q/ C  h% ?, V0 w- w% Z    bronze = info['bronzeMedalNum']
- T! @: f. R& A( M    total = info['totalMedalNum']
6 h* Z: M- ?5 A; s' y+ W3 E    # 组织数据
    orangized_data = [[name,name_id,rank,gold,silver,bronze,total]]
- @7 V- x5 y- J8 o    # 然后追加df
0 l# d: ^, w3 N0 w+ s    df1 = df1.append(orangized_data)
# @2 Y) C6 s, S3 @  Wdf1.columns = ['名称', 'ID', '排名', '金牌', '银牌', '铜牌', '奖牌总数']
4 n: N7 i  i. ]0 h: w/ _df1
) t$ o, {: G8 v8 P- w

/ E/ y. I# ~: m6 W这里利用pandas库对爬取的数据进行处理，转变成结构更清楚的数据框结构。
url = 'https://app-sc.miguvideo.com/vms-livedata/olympic-medal/detail-total/15/110000004609'
data2 = requests.get(url).json()
#pprint(data2)
- d- W  l; K' ?
df2 = pd.DataFrame()
for info in data2['body']['medalTableDetail']:
# {: S+ c& {4 P' k3 o; j: j  k4 P    english_name = info['countryName']
- }2 e# k3 E4 I& t3 x' d    name_id = info['countryId']
# v7 n- u/ O) T, }    award_time = info['awardTime']
7 ]# e% _( I: q% {  ?" C    item_name = info['bigItemName']
    sports_name = info['sportsName']
    medal_type = info['medalType']
0 B# O% @, u: b* b2 @    # 组织数据
$ H# r' z+ @4 \* ?    orangized_data = [[english_name,name_id,award_time,item_name,sports_name,medal_type]]
    # 然后追加df
1 D6 A; t0 \! v7 d, A    df2 = df2.append(orangized_data)
: h+ Z6 O2 B! |' tdf2.columns = ['英文缩写', 'ID', '获奖时间', '项目名', '运动员', '金牌类型']
df2
7 U- R* ^/ L: m# h# M4 o, p  L1 G  |
对于另外一个网页，我们采取同样的方式对数据进行爬取和处理。


二、数据预处理
8 T# v8 o' k6 i6 F$ i; B由于使用pyecharts绘制世界地图时，名称必须是英文的，所以我们需要将这里的中文名称映射为英文名称。 我们要做的就是将它与表格中的数据，做个映射转换。先把它转换为一个Excel文件，方便我们以后直接使用。

with open("D:/和鲸数据/数据可视化大屏！绘制全流程！/国家名中英文对照表.txt","r",encoding="utf-8") as f:
    x = f.read()

df3 = pd.DataFrame()
for i in x.split("\n"):
    x = i.split("：")[0].strip()
/ U& T# g2 j: P0 Z* [# N! y. F    y = i.split("：")[1].strip()
    orangined_data = [[x,y]]
    df3 = df3.append(orangined_data)
df3.columns = ["名称","英文名称"]
0 }+ A: r2 U: _" Q- C3 ~; C- Sdf3.to_excel("D:/和鲸数据/数据可视化大屏！绘制全流程！/国家名中英文对照表.xlsx",index=None)
表格df1表示各国奖牌数，表格df3表示国家名中英文对照表，利用上述两张表，我们可以左连接，将英文名称添加到df1表上。

% B; B$ Y, p4 u& pdf4 = pd.merge(df1,df3,on="名称",how="left")
, |! g1 b* t9 W$ w3 a' `df4.head(10)

" E# [, ?) I/ e- v$ }6 M' n0 ^. c

表格df5表示运动项目获奖详情。

• 
  
  
  

iolia008

9 N- _. e: c$ R( N