Python制作可视化大屏（东京奥运会）

1047521767

目录
+ e' t; U8 D% T; Z3 d. F7 v" D
7 `- z& D) z' C文章目录
4 W6 i- H) s8 U! T' Z. q# B
前言
% J- U" l" R+ e' v$ i$ n, f7 Q
一、数据爬取

二、数据预处理
! G( |) F( U+ L5 K: s. l- k
​前言
9 W4 w, \  \8 [0 F本文基于requests库爬取的奥运会相关数据，利用pandas库对数据进行处理之后，最后介绍了如何利用pyecharts库制作可视化大屏。

5 Z+ ]; N$ o7 ~/ L  n
" B, j$ X+ S8 P" E6 F% z' H3 _0 d* L一、数据爬取
* q% \$ D* a/ T3 o& {" simport requests
9 L7 r) |+ a" k! a5 cimport pandas as pd
from pprint import pprint
6 A1 c2 P% c. S. ?# m导入相关库

) ]4 L0 H9 R+ q' ]- Wrequests库用于发起网页请求，获取网页中的源代码；
' g4 I* Q6 A6 R$ h+ F
5 F0 w! |+ Q/ I# A$ hpandas库用于存储和读取获取到的信息；

pprint库是漂亮的打印，对于json格式的数据，能够很好的展示结构，方便我们解析；
' X7 E5 g8 w6 f
: ?3 G% P( s9 K& R/ b4 M9 _, Furl = 'https://app-sc.miguvideo.com/vms-livedata/olympic-medal/total-table/15/110000004609'
data1 = requests.get(url).json()
. {' S- `. d  r% C; Q% M- @5 a  z7 X# pprint(data1)
+ f4 w6 G' w1 H& ]+ p. B# ]. C
6 [( ^9 R; S8 v4 @3 X这里利用三行代码就可以获取到网页的源代码，利用pprint库，可以清晰的展示json结构，对于我们解析数据很有帮助。
) A. K6 ^( D1 c2 w3 \' }df1 = pd.DataFrame()
for info in data1['body']['allMedalData']:
    name = info['countryName']
    name_id = info['countryId']
    rank = info['rank']
$ B) r: d8 Z+ J7 O    gold = info['goldMedalNum']
1 Z/ J( F6 H/ B- W( r! h    silver = info['silverMedalNum']
    bronze = info['bronzeMedalNum']
    total = info['totalMedalNum']
/ p0 `6 n( l4 \0 f: d* f: }    # 组织数据
0 n2 t8 J: Q! z+ M    orangized_data = [[name,name_id,rank,gold,silver,bronze,total]]
    # 然后追加df
    df1 = df1.append(orangized_data)
df1.columns = ['名称', 'ID', '排名', '金牌', '银牌', '铜牌', '奖牌总数']
df1


这里利用pandas库对爬取的数据进行处理，转变成结构更清楚的数据框结构。
/ N4 ^* y7 ~& M8 X1 w  qurl = 'https://app-sc.miguvideo.com/vms-livedata/olympic-medal/detail-total/15/110000004609'
, b" ]" {" B8 J' t# j2 H; I( ddata2 = requests.get(url).json()
#pprint(data2)
& l- n" U. l- P. ?* o
, _( e& k8 ]& [! Ndf2 = pd.DataFrame()
for info in data2['body']['medalTableDetail']:
/ l, G6 T2 o2 w    english_name = info['countryName']
! Q& c% B- ~8 B' L+ A    name_id = info['countryId']
0 c+ ^" |$ ^) o0 V    award_time = info['awardTime']
    item_name = info['bigItemName']
    sports_name = info['sportsName']
    medal_type = info['medalType']
    # 组织数据
8 e# E/ Q3 R# m6 u$ x    orangized_data = [[english_name,name_id,award_time,item_name,sports_name,medal_type]]
    # 然后追加df
    df2 = df2.append(orangized_data)
$ w2 ^! a5 U! e* K4 ?df2.columns = ['英文缩写', 'ID', '获奖时间', '项目名', '运动员', '金牌类型']
df2
7 a: ]) l% o9 {) G+ z0 E* o7 |. I
对于另外一个网页，我们采取同样的方式对数据进行爬取和处理。


' y, z/ K1 R) V6 a; o* f二、数据预处理
由于使用pyecharts绘制世界地图时，名称必须是英文的，所以我们需要将这里的中文名称映射为英文名称。 我们要做的就是将它与表格中的数据，做个映射转换。先把它转换为一个Excel文件，方便我们以后直接使用。
% M3 b8 d' m! }; T9 ^: G$ P
with open("D:/和鲸数据/数据可视化大屏！绘制全流程！/国家名中英文对照表.txt","r",encoding="utf-8") as f:
    x = f.read()
2 Z3 M8 D% y0 W+ r* ~% }0 n; [( u
, ^! C, B% c$ s0 vdf3 = pd.DataFrame()
for i in x.split("\n"):
7 T6 a% Q' W; }7 @1 M7 Y( I; h- K# m    x = i.split("：")[0].strip()
    y = i.split("：")[1].strip()
    orangined_data = [[x,y]]
    df3 = df3.append(orangined_data)
! y) z5 A2 e4 \# V) d( S4 y' {8 rdf3.columns = ["名称","英文名称"]
df3.to_excel("D:/和鲸数据/数据可视化大屏！绘制全流程！/国家名中英文对照表.xlsx",index=None)
; N9 P  _: w: P5 n2 T' z表格df1表示各国奖牌数，表格df3表示国家名中英文对照表，利用上述两张表，我们可以左连接，将英文名称添加到df1表上。

% }; x" M' p2 Zdf4 = pd.merge(df1,df3,on="名称",how="left")
" M1 r7 o6 `' sdf4.head(10)

表格df5表示运动项目获奖详情。

• 
  0 Y& @+ l( ^& {: h3 g1 n# q
  7 K% A1 C' _* w8 L+ u
  

iolia008

* D# ^( l) m% q. l8 h. P9 `4 Z( V