Python制作可视化大屏（东京奥运会）

1047521767

目录

9 N5 W% f0 ~" f* `* S8 K: B文章目录

前言
7 J$ E4 p( h' E# ?# U
一、数据爬取

二、数据预处理

5 n) C* e% |$ G; t​前言
本文基于requests库爬取的奥运会相关数据，利用pandas库对数据进行处理之后，最后介绍了如何利用pyecharts库制作可视化大屏。
4 @+ D5 ~3 P+ e2 l# t( s+ s

一、数据爬取
! |5 v6 \2 q+ E+ n- `6 Pimport requests
import pandas as pd
7 z$ }1 |( s7 Y/ R* D+ ]from pprint import pprint
导入相关库

1 W; ]  E: e% M! `& jrequests库用于发起网页请求，获取网页中的源代码；

+ k: I: E! N4 \pandas库用于存储和读取获取到的信息；
/ c( r- y- t6 w6 r
pprint库是漂亮的打印，对于json格式的数据，能够很好的展示结构，方便我们解析；

" U" \) S2 v; o1 b. W* lurl = 'https://app-sc.miguvideo.com/vms-livedata/olympic-medal/total-table/15/110000004609'
8 Y; \3 i  u/ E$ p% ldata1 = requests.get(url).json()
# pprint(data1)
* }0 E3 G( f" X: Q1 n# ]3 M
这里利用三行代码就可以获取到网页的源代码，利用pprint库，可以清晰的展示json结构，对于我们解析数据很有帮助。
df1 = pd.DataFrame()
for info in data1['body']['allMedalData']:
    name = info['countryName']
    name_id = info['countryId']
! o" g% D+ y3 r5 h/ p    rank = info['rank']
    gold = info['goldMedalNum']
1 a; x  A+ V9 z' U& `# b# F    silver = info['silverMedalNum']
    bronze = info['bronzeMedalNum']
) u5 T  y+ S* g    total = info['totalMedalNum']
    # 组织数据
    orangized_data = [[name,name_id,rank,gold,silver,bronze,total]]
$ ?1 \6 q" T7 E) y$ C2 E& `    # 然后追加df
- P( Q; z% Y% h) d7 b    df1 = df1.append(orangized_data)
7 d( f' }  T% n& }- y7 l0 mdf1.columns = ['名称', 'ID', '排名', '金牌', '银牌', '铜牌', '奖牌总数']
/ |. P! y# v: f, N+ k4 Jdf1


# b9 k7 t8 h: q这里利用pandas库对爬取的数据进行处理，转变成结构更清楚的数据框结构。
/ E- w% a/ U$ g; L  @url = 'https://app-sc.miguvideo.com/vms-livedata/olympic-medal/detail-total/15/110000004609'
data2 = requests.get(url).json()
#pprint(data2)
* X; _; {6 w) C% T7 |* A" n6 E% e9 ~
df2 = pd.DataFrame()
2 o; M! x1 z# ]; Pfor info in data2['body']['medalTableDetail']:
    english_name = info['countryName']
    name_id = info['countryId']
3 w* n7 E' T3 t0 J0 g1 [0 a    award_time = info['awardTime']
/ b' M. X: O; Q; g1 a  O    item_name = info['bigItemName']
    sports_name = info['sportsName']
/ G& ~% b1 {$ U6 t9 e! U    medal_type = info['medalType']
    # 组织数据
    orangized_data = [[english_name,name_id,award_time,item_name,sports_name,medal_type]]
    # 然后追加df
, y- {( c6 v3 M7 L; W$ K  U    df2 = df2.append(orangized_data)
df2.columns = ['英文缩写', 'ID', '获奖时间', '项目名', '运动员', '金牌类型']
df2
& |4 N# G* _* u9 A
+ x. X  R2 E# f/ l/ D/ |, t' [对于另外一个网页，我们采取同样的方式对数据进行爬取和处理。


二、数据预处理
由于使用pyecharts绘制世界地图时，名称必须是英文的，所以我们需要将这里的中文名称映射为英文名称。 我们要做的就是将它与表格中的数据，做个映射转换。先把它转换为一个Excel文件，方便我们以后直接使用。
1 \! k" m" T$ ^) g& u, W
5 I7 n5 }. h% e( {2 g9 e$ N2 X9 K" Kwith open("D:/和鲸数据/数据可视化大屏！绘制全流程！/国家名中英文对照表.txt","r",encoding="utf-8") as f:
' N& I' C9 K" S/ n- M* w* U    x = f.read()
  L/ R% T" i& Z5 z4 T# h! o
df3 = pd.DataFrame()
for i in x.split("\n"):
    x = i.split("：")[0].strip()
! K$ d; U" o! K# R, v( t    y = i.split("：")[1].strip()
    orangined_data = [[x,y]]
, V& c5 i* K: U9 E    df3 = df3.append(orangined_data)
2 y& ^4 i( V+ Odf3.columns = ["名称","英文名称"]
df3.to_excel("D:/和鲸数据/数据可视化大屏！绘制全流程！/国家名中英文对照表.xlsx",index=None)
- Y' \7 J/ e4 T" y8 u1 J表格df1表示各国奖牌数，表格df3表示国家名中英文对照表，利用上述两张表，我们可以左连接，将英文名称添加到df1表上。

8 s3 g* o4 e# r6 _! [6 l$ rdf4 = pd.merge(df1,df3,on="名称",how="left")
df4.head(10)

% E$ C7 h- s9 y. c( ]
) k5 ~) n& j9 C1 W! s4 k3 I

表格df5表示运动项目获奖详情。

• 
  # ?6 e2 }' z, _. e0 }9 k
  
  

iolia008