Python制作可视化大屏（东京奥运会）

1047521767

目录

* h; R' L$ K& P2 C% Z1 \# x文章目录
5 z  ~: Y6 |' ?! J1 ^% ?& \
$ w% o; a8 U7 t6 Y- y; N& j$ k6 V前言

& s) w7 P7 H8 z一、数据爬取
/ T) |& k. i% p# l& }1 d! A
! P/ o6 B& X; O; O, [# I二、数据预处理

​前言
2 p1 v" ]$ I' [本文基于requests库爬取的奥运会相关数据，利用pandas库对数据进行处理之后，最后介绍了如何利用pyecharts库制作可视化大屏。


: F/ Z, y! w0 M! C8 h: t一、数据爬取
5 i7 e! R2 B$ k1 ~1 aimport requests
import pandas as pd
from pprint import pprint
导入相关库
* r! ]6 r8 C  \% v) w# V& J6 n
1 _+ V) o8 `- ?. [8 |; {6 zrequests库用于发起网页请求，获取网页中的源代码；

pandas库用于存储和读取获取到的信息；

2 t0 w3 S" o; ]# n) K+ L! Kpprint库是漂亮的打印，对于json格式的数据，能够很好的展示结构，方便我们解析；

url = 'https://app-sc.miguvideo.com/vms-livedata/olympic-medal/total-table/15/110000004609'
6 Q& u, t; e, N" \, f. Mdata1 = requests.get(url).json()
3 t4 Z+ m( ?3 i0 G" ^( E# Q; M) i# pprint(data1)
( w- t( S! z/ _9 ?' G7 U
这里利用三行代码就可以获取到网页的源代码，利用pprint库，可以清晰的展示json结构，对于我们解析数据很有帮助。
df1 = pd.DataFrame()
6 y) P9 u5 p' c  f4 _: }for info in data1['body']['allMedalData']:
- W5 |6 a3 d: V, A/ ]. \2 {    name = info['countryName']
    name_id = info['countryId']
    rank = info['rank']
/ |& ~, J6 D. Z/ |    gold = info['goldMedalNum']
    silver = info['silverMedalNum']
! G7 }& O$ q5 _+ w+ y- f# W+ s    bronze = info['bronzeMedalNum']
    total = info['totalMedalNum']
7 }- |, t: V0 ]! R& Q    # 组织数据
* y: J/ E5 ^$ _. d8 }9 E    orangized_data = [[name,name_id,rank,gold,silver,bronze,total]]
    # 然后追加df
7 i, j" O  r/ ~7 b* K6 P+ V    df1 = df1.append(orangized_data)
df1.columns = ['名称', 'ID', '排名', '金牌', '银牌', '铜牌', '奖牌总数']
df1

* P+ h9 K8 T- k3 Z
6 j* `/ K1 T+ ^8 p  D这里利用pandas库对爬取的数据进行处理，转变成结构更清楚的数据框结构。
/ e% _+ ]' W$ }1 [url = 'https://app-sc.miguvideo.com/vms-livedata/olympic-medal/detail-total/15/110000004609'
7 d/ c* A: L; n) ddata2 = requests.get(url).json()
) R+ P+ E/ d( U% ]7 _: m! ]#pprint(data2)
" n! H/ c& p3 ~* x: |8 `4 B/ o
df2 = pd.DataFrame()
' o7 |; H# b# pfor info in data2['body']['medalTableDetail']:
" ?& X( t" t+ A' {) l    english_name = info['countryName']
    name_id = info['countryId']
    award_time = info['awardTime']
- ?, i% @  i' j1 u% G    item_name = info['bigItemName']
, v' G8 }) f1 O- X    sports_name = info['sportsName']
    medal_type = info['medalType']
    # 组织数据
    orangized_data = [[english_name,name_id,award_time,item_name,sports_name,medal_type]]
% C  [. {: w, p+ B2 }5 r    # 然后追加df
$ `6 `1 Y  U. r- i    df2 = df2.append(orangized_data)
* B6 v3 a( w7 ^- v0 b- Cdf2.columns = ['英文缩写', 'ID', '获奖时间', '项目名', '运动员', '金牌类型']
df2

对于另外一个网页，我们采取同样的方式对数据进行爬取和处理。


二、数据预处理
由于使用pyecharts绘制世界地图时，名称必须是英文的，所以我们需要将这里的中文名称映射为英文名称。 我们要做的就是将它与表格中的数据，做个映射转换。先把它转换为一个Excel文件，方便我们以后直接使用。

with open("D:/和鲸数据/数据可视化大屏！绘制全流程！/国家名中英文对照表.txt","r",encoding="utf-8") as f:
    x = f.read()
7 M+ A9 Y' q7 I9 [* a% O
2 b9 f  L3 `) hdf3 = pd.DataFrame()
% {6 B/ ~6 G  Q3 c- y+ o" Q4 jfor i in x.split("\n"):
    x = i.split("：")[0].strip()
3 C8 v$ ]# n2 S/ x8 s    y = i.split("：")[1].strip()
. ^" n1 d' [1 l+ n" O1 L9 S9 J    orangined_data = [[x,y]]
. M. K" |9 a# t; M8 W    df3 = df3.append(orangined_data)
df3.columns = ["名称","英文名称"]
/ t$ e' \5 B& ?6 |. r! X# udf3.to_excel("D:/和鲸数据/数据可视化大屏！绘制全流程！/国家名中英文对照表.xlsx",index=None)
表格df1表示各国奖牌数，表格df3表示国家名中英文对照表，利用上述两张表，我们可以左连接，将英文名称添加到df1表上。
8 O" C  W, n5 j% R1 n. K
df4 = pd.merge(df1,df3,on="名称",how="left")
: O+ ~/ y9 W$ z% X5 v& g7 v9 Mdf4.head(10)

* f! Q5 u# s3 A* W9 h. B  Q

表格df5表示运动项目获奖详情。

• 
  " q4 \9 e/ ~. c
  
  

) Q+ j3 n) E  D6 p& [& Z+ F9 {

iolia008

  p& \! R( x2 n# z