QQ登录

只需要一步,快速开始

 注册地址  找回密码
查看: 6385|回复: 1
打印 上一主题 下一主题

Python制作可视化大屏(东京奥运会)

[复制链接]
字体大小: 正常 放大

1178

主题

15

听众

1万

积分

  • TA的每日心情
    开心
    2023-7-31 10:17
  • 签到天数: 198 天

    [LV.7]常住居民III

    自我介绍
    数学中国浅夏
    跳转到指定楼层
    1#
    发表于 2021-10-28 22:35 |只看该作者 |倒序浏览
    |招呼Ta 关注Ta
    目录0 Q+ s: f& T, c3 b. ?

    . S0 J5 W4 @2 u1 h$ F文章目录
    % n7 |0 ?9 B, k2 Q2 s5 Y: [- y* N- s! v- D6 ~; A0 Y' ~5 X) x/ l2 A
    前言: F0 j. F9 F- h- f" }; V
    ' D4 p0 u+ c% r* |. U% n8 g( [
    一、数据爬取: i. q/ H" n6 x5 v! ?7 t- e1 z0 E+ }+ u

    9 ~3 r) Q7 ?# d( f; F4 q二、数据预处理0 g. W; I$ u7 R
    2 G& `' m" h6 D0 A3 t  d
    ​前言
    , {4 S* I( n  B. \6 \3 n本文基于requests库爬取的奥运会相关数据,利用pandas库对数据进行处理之后,最后介绍了如何利用pyecharts库制作可视化大屏。/ |4 M7 j: A* Y- S. _# @
    9 q& S; X* _& m* Z0 K+ X
    ' f9 f  ]7 ?; q
    一、数据爬取
    3 C! \* w+ w. x8 J1 s) w5 Y# pimport requests
    # {* Z3 d. T/ D6 W& s2 @import pandas as pd* h3 y( w# L* w, f) ?
    from pprint import pprint
    9 w$ F. L6 N& _4 R% I导入相关库
    6 M, ?% |3 p$ W: W. ~( D* H$ @/ [5 P3 y5 D/ f  @' h9 p7 _0 u: G
    requests库用于发起网页请求,获取网页中的源代码;
    ; K0 v4 U3 |+ z: m/ q9 M, \0 l7 z# r- Q0 {" j# n
    pandas库用于存储和读取获取到的信息;
    " i7 o) W' W2 A
    7 q5 l8 Z) Q& u# u, c  Fpprint库是漂亮的打印,对于json格式的数据,能够很好的展示结构,方便我们解析;
    3 a2 v! d0 g5 f9 L* i
    8 l: G( i) b+ l) z. O1 _' `- m; Ourl = 'https://app-sc.miguvideo.com/vms-livedata/olympic-medal/total-table/15/110000004609'( s5 p1 z# @" F4 W$ }: ~7 v( A4 d
    data1 = requests.get(url).json()
    ; i* A6 r2 v: R/ E# pprint(data1)
    ! Q2 F8 b( @8 ~: P; z8 i' t, C
    这里利用三行代码就可以获取到网页的源代码,利用pprint库,可以清晰的展示json结构,对于我们解析数据很有帮助。
    2 L  Z* d: y+ L; o3 r4 a7 _8 U' Idf1 = pd.DataFrame()2 b3 u- B+ V5 Q: Q) Y; [2 O
    for info in data1['body']['allMedalData']:
    : M' }; P: s# I) h    name = info['countryName']- k" \, P2 D& k3 L6 b( t/ ]( i
        name_id = info['countryId']
    8 D0 C$ B' O0 j    rank = info['rank']3 x9 ?+ H3 S2 f  L- C" Z
        gold = info['goldMedalNum']1 Q, ]% s: m4 z/ E) D
        silver = info['silverMedalNum']
    ) ^  K8 m2 T( y' O. ?1 |& H    bronze = info['bronzeMedalNum']8 G: b1 i+ N; H8 Q' f/ c1 K& V
        total = info['totalMedalNum']' m1 Z+ b( h( w% {9 w9 ?, {* A
        # 组织数据; k1 z, x4 ^9 s2 f$ h% @( v2 t/ z
        orangized_data = [[name,name_id,rank,gold,silver,bronze,total]]
    / n5 x, [" ^& `) S! ^) C" I* j    # 然后追加df
    1 q1 G2 r4 v% v, C, C# e2 ~: K    df1 = df1.append(orangized_data); `0 s  F& w! r4 r" }
    df1.columns = ['名称', 'ID', '排名', '金牌', '银牌', '铜牌', '奖牌总数']
    " `0 k7 N' N! x: vdf1
    5 V& L  F9 X, i$ P  b+ @  y) B" U3 N* z% o8 q  f

    8 r( O5 Q8 J: ~# T- Z6 ]这里利用pandas库对爬取的数据进行处理,转变成结构更清楚的数据框结构。' r6 q2 k- v% ^$ Y& D  q
    url = 'https://app-sc.miguvideo.com/vms-livedata/olympic-medal/detail-total/15/110000004609'
    4 k; x  Q  p* |$ q; Z. ^data2 = requests.get(url).json()
    # a0 [6 h# q, `) T9 m" f#pprint(data2)
      i/ q' s4 i, d6 z
    1 {$ ]" C& b8 M: x; V! X9 jdf2 = pd.DataFrame()( F' t# ?0 g( b9 b0 d+ |
    for info in data2['body']['medalTableDetail']:0 ?/ k( y0 g0 _! ^9 g
        english_name = info['countryName']7 u& Z5 N9 T  e! X- U/ R' D- y
        name_id = info['countryId']
    2 K# ?' w% L9 Y7 ^! d5 B# K    award_time = info['awardTime']
      b3 u2 I1 W5 t- T/ u2 \+ ]    item_name = info['bigItemName'], [/ X& Q! R3 K' H- d. ?' x& r
        sports_name = info['sportsName']1 d& y' S9 ?& t5 ]) B+ ^' D; G
        medal_type = info['medalType'], g9 s9 h7 Y3 I
        # 组织数据
    / j: N! _/ b+ K4 Q    orangized_data = [[english_name,name_id,award_time,item_name,sports_name,medal_type]]
    $ N! T1 S* P9 B/ _! _7 D0 G0 _7 s    # 然后追加df% f9 r/ g; R. b; @# [  C: W8 f/ U  D
        df2 = df2.append(orangized_data)9 ?2 c0 L) ^2 C# B
    df2.columns = ['英文缩写', 'ID', '获奖时间', '项目名', '运动员', '金牌类型']
    ! c0 K4 Q2 W, l! \2 a. M0 Qdf28 D  t. r: l. R  y( q7 p1 o: }

    ! Q  G8 a& W" }) b6 [对于另外一个网页,我们采取同样的方式对数据进行爬取和处理。
      P1 H( M- Y5 N; l% w
    . J2 f; o7 g  J. O+ c1 E/ x8 j* R  L3 u2 D; x9 N1 A
    二、数据预处理
    , q  r0 f% L) }由于使用pyecharts绘制世界地图时,名称必须是英文的,所以我们需要将这里的中文名称映射为英文名称。 我们要做的就是将它与表格中的数据,做个映射转换。先把它转换为一个Excel文件,方便我们以后直接使用。  Z" E1 U3 z1 |+ e; U

    ' q; g* @7 F  Kwith open("D:/和鲸数据/数据可视化大屏!绘制全流程!/国家名中英文对照表.txt","r",encoding="utf-8") as f:# ?$ L* ]4 z8 j$ T, t
        x = f.read()
    0 J7 k9 H/ w1 l9 X9 a! _$ I  [: D! S" w( g6 h0 V0 F  j
    df3 = pd.DataFrame()
    , d, P( O$ w" `& v+ l6 i0 qfor i in x.split("\n"):
    . y# ]3 R" ^+ x2 a6 ^* n    x = i.split(":")[0].strip()# w5 g6 ]8 ?# x/ l4 ^* z4 X
        y = i.split(":")[1].strip()
    & l7 k1 m' D/ r" ?& s    orangined_data = [[x,y]]- M7 p- D; @/ z8 `: A0 i
        df3 = df3.append(orangined_data)
    " n; U. R. H# b( H1 tdf3.columns = ["名称","英文名称"]
    6 Z9 w" @# d0 p8 Udf3.to_excel("D:/和鲸数据/数据可视化大屏!绘制全流程!/国家名中英文对照表.xlsx",index=None)
    / ^2 p  I- I3 L% Z$ ^表格df1表示各国奖牌数,表格df3表示国家名中英文对照表,利用上述两张表,我们可以左连接,将英文名称添加到df1表上。" @! Z& R$ {  p9 y, n; k7 w0 W

    4 T/ A3 L% h  x4 `9 k. k) ddf4 = pd.merge(df1,df3,on="名称",how="left")
    , m  j1 t1 Z  h5 u  E  @* b" W/ wdf4.head(10)
      J% C! d' f2 Y* R/ X$ h# B4 a8 f0 B/ c

      B+ g, l. Q3 X+ s0 }

    表格df5表示运动项目获奖详情。


    • ( u, \5 b; z% j, n
      9 d+ D$ E1 {  Z$ n* a8 Y5 J3 S/ i
      8 V% k) Q: H. N, Q5 S* y

    4 [. W: n. S% ~6 J2 }) m. c3 h6 \3 M6 j! P7 K; g" K
    zan
    转播转播0 分享淘帖0 分享分享0 收藏收藏0 支持支持0 反对反对0 微信微信
    iolia008        

    0

    主题

    6

    听众

    44

    积分

    升级  41.05%

    该用户从未签到

    自我介绍
    好好学习
    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 注册地址

    fastpost qq
    收缩
    • 电话咨询

    • 04714969085

    关于我们| 联系我们| 诚征英才| 对外合作| 产品服务| QQ

    手机版|Archiver| |繁體中文 手机客户端  

    蒙公网安备 15010502000194号

    Powered by Discuz! X2.5   © 2001-2013 数学建模网-数学中国 ( 蒙ICP备14002410号-3 蒙BBS备-0002号 )     论坛法律顾问:王兆丰

    GMT+8, 2026-11-21 13:24 , Processed in 0.251247 second(s), 55 queries .

    回顶部