Python制作可视化大屏（东京奥运会）

1047521767

目录

0 P/ w1 e0 v, G: q( M- P文章目录
; u) f3 `1 ~% _- b2 D
前言

一、数据爬取

二、数据预处理

​前言
本文基于requests库爬取的奥运会相关数据，利用pandas库对数据进行处理之后，最后介绍了如何利用pyecharts库制作可视化大屏。
$ {- q! L5 r2 ~; T2 m$ P
" _/ h$ e9 M5 f
一、数据爬取
6 I# ~" ]0 _4 u1 ^! Qimport requests
import pandas as pd
0 w5 J2 t0 [7 a5 X  a, ^: F: Xfrom pprint import pprint
导入相关库

requests库用于发起网页请求，获取网页中的源代码；
- k6 n+ u5 m9 {7 I  a" P
/ V( _" ]  n! W9 i4 U% N  A; ppandas库用于存储和读取获取到的信息；

pprint库是漂亮的打印，对于json格式的数据，能够很好的展示结构，方便我们解析；
3 r2 q1 C/ g) }# b6 S1 e; ~
1 J! ^4 |9 A* n# J" \, s' G8 O( Yurl = 'https://app-sc.miguvideo.com/vms-livedata/olympic-medal/total-table/15/110000004609'
: Y$ B: T' `$ z2 `data1 = requests.get(url).json()
8 M7 z. a* L9 v# pprint(data1)

这里利用三行代码就可以获取到网页的源代码，利用pprint库，可以清晰的展示json结构，对于我们解析数据很有帮助。
df1 = pd.DataFrame()
) L% V) B& j3 s( {9 lfor info in data1['body']['allMedalData']:
6 Y! r' J  q4 x/ T    name = info['countryName']
1 P6 t  U1 D( f  f& e- _    name_id = info['countryId']
8 e  Q. v/ h0 s( @8 \' j    rank = info['rank']
    gold = info['goldMedalNum']
    silver = info['silverMedalNum']
# |4 n+ n5 x+ Y! k( e1 O) X    bronze = info['bronzeMedalNum']
    total = info['totalMedalNum']
% w& \( ~$ ?& _9 B# x, ~, ^9 k) l    # 组织数据
    orangized_data = [[name,name_id,rank,gold,silver,bronze,total]]
' h; s, m1 d. \7 n$ j3 Z! k    # 然后追加df
3 X- H* F/ A# x0 U* H/ n5 Q; p    df1 = df1.append(orangized_data)
df1.columns = ['名称', 'ID', '排名', '金牌', '银牌', '铜牌', '奖牌总数']
df1
0 g- w) a  j% n

1 b/ ~2 x& x4 v3 f' T2 P  h4 b$ ?  h这里利用pandas库对爬取的数据进行处理，转变成结构更清楚的数据框结构。
$ y+ n' Y' m( R  Iurl = 'https://app-sc.miguvideo.com/vms-livedata/olympic-medal/detail-total/15/110000004609'
6 y3 k* i0 H7 F5 S, g* Pdata2 = requests.get(url).json()
#pprint(data2)

df2 = pd.DataFrame()
for info in data2['body']['medalTableDetail']:
" D, l$ i* r( O9 ^    english_name = info['countryName']
9 c6 e2 p) m' p    name_id = info['countryId']
    award_time = info['awardTime']
  V1 D; ]" F5 z( r  [+ u    item_name = info['bigItemName']
7 n% Y. J5 Z1 B    sports_name = info['sportsName']
2 H  X* n5 T! i: f8 Z- ~    medal_type = info['medalType']
3 w+ ]& x" F1 ]* h, C    # 组织数据
    orangized_data = [[english_name,name_id,award_time,item_name,sports_name,medal_type]]
    # 然后追加df
    df2 = df2.append(orangized_data)
df2.columns = ['英文缩写', 'ID', '获奖时间', '项目名', '运动员', '金牌类型']
df2

$ k5 ]/ e/ A% I8 A对于另外一个网页，我们采取同样的方式对数据进行爬取和处理。


二、数据预处理
由于使用pyecharts绘制世界地图时，名称必须是英文的，所以我们需要将这里的中文名称映射为英文名称。 我们要做的就是将它与表格中的数据，做个映射转换。先把它转换为一个Excel文件，方便我们以后直接使用。

! W8 X2 \5 u( r' \. h9 U& n; Jwith open("D:/和鲸数据/数据可视化大屏！绘制全流程！/国家名中英文对照表.txt","r",encoding="utf-8") as f:
; ]& g+ I/ |/ G% o  e8 p& X6 ^    x = f.read()
. U# g5 K$ N* {& A+ D7 M1 {& {
) b3 k% R& K5 T+ d" }. W' jdf3 = pd.DataFrame()
for i in x.split("\n"):
    x = i.split("：")[0].strip()
4 X( z, {, x8 B8 |    y = i.split("：")[1].strip()
    orangined_data = [[x,y]]
$ r% V3 ^$ Y% o( H2 G    df3 = df3.append(orangined_data)
% O# u# @' t6 {& V0 p4 odf3.columns = ["名称","英文名称"]
df3.to_excel("D:/和鲸数据/数据可视化大屏！绘制全流程！/国家名中英文对照表.xlsx",index=None)
* o0 _. p! `+ N. h5 i8 U表格df1表示各国奖牌数，表格df3表示国家名中英文对照表，利用上述两张表，我们可以左连接，将英文名称添加到df1表上。
9 i/ g" G1 N* D4 E; v
  @; l  [5 R  _df4 = pd.merge(df1,df3,on="名称",how="left")
df4.head(10)

表格df5表示运动项目获奖详情。

• 
  
  
  ! e, }6 s3 }7 i% S/ u2 q% l

* ^* I' p& @! K2 z' q2 ]

iolia008