QQ登录

只需要一步,快速开始

 注册地址  找回密码
查看: 3419|回复: 0
打印 上一主题 下一主题

[其他资源] 【机器学习】无监督学习的概念,使用无监督学习发现数据的特点

[复制链接]
字体大小: 正常 放大
杨利霞        

5273

主题

82

听众

17万

积分

  • TA的每日心情
    开心
    2021-8-11 17:59
  • 签到天数: 17 天

    [LV.4]偶尔看看III

    网络挑战赛参赛者

    网络挑战赛参赛者

    自我介绍
    本人女,毕业于内蒙古科技大学,担任文职专业,毕业专业英语。

    群组2018美赛大象算法课程

    群组2018美赛护航培训课程

    群组2019年 数学中国站长建

    群组2019年数据分析师课程

    群组2018年大象老师国赛优

    跳转到指定楼层
    1#
    发表于 2022-9-14 16:37 |只看该作者 |倒序浏览
    |招呼Ta 关注Ta
    【机器学习】无监督学习的概念,使用无监督学习发现数据的特点
    1 H& B$ @& J1 V" m( H' s
    7 r7 L- H0 ^2 x7 j4 K+ t: ?* z. X$ P到目前位置,我们主要把注意力集中在监督学习的问题上,数据集中的每个数据点都有一个已知的标签或者目标值。然而如果面对没有已知的输出结果,或者没有人监督学习算法,我们要怎么做。
    * c) \# p" E; x1 Z0 N
    $ z/ ~' [8 x; w  |+ U% C1 I这就是无监督学习 。9 e- |  @( M- o: Y/ Q+ D5 W1 W0 R

    ( G& U# G$ |; N  e, m在无监督、非监督学习中了,学习过程仅使用输入数据,没有更多的指导信息,要求从这些数据中提取知识。我们已经讨论了非监督学习众多形式的一种降维。另一个普及的领域就是聚类分析。他的目的是吧数据分为相似元素组成的不同区域中。
    $ Z: q' N  ^; y  g1 n. b% A& g$ r5 U6 Y9 X' l0 P
    在本章中,我们想要理解不同的聚类算法如何从简单到,无标记的数据集中提取特征。这些结构特征,可以用于特征处理,图像处理,甚至是作为无监督学习任务的预处理步骤。
    , @. X% Z- _. h$ M  d4 O作为一个具体的例子,我们将对图像进行聚类,将色彩空间降到16位数。
    ) h2 B1 H! w8 n+ m0 V: `1 A9 P* U
    解决的问题1 ~& S3 ~8 _2 c# _) e! S
    1.K-means聚类和期望最大化是什么?如何在opencv中实现这些算法。2 w) T; [6 T; d1 t0 Z
    2.如何在层次树中使用聚类算法。他带来的好处有哪些。+ w/ x  t4 l+ w/ t$ ?
    3.如何使用无监督学习,进行预处理,图像处理,分类。, N/ t5 Y& A1 N. ?6 e6 S) D6 M  L
    , g2 o/ `! o" _  o
    1 理解无监督学习3 {: Z. K7 x& s$ M: |$ I
    无监督学习可能有很多形式,但是他们的目标总是把原始数据转化为更加丰富,更加有意义的表示,这么做可以让人们更容易理解,也可以更方便的使用机器学习算法进行解析。
    8 ?' s8 R( O7 s" {无监督学习的应用包括一下应用:7 K  |* J. s- H0 l$ F
    1降维:他接受一个许多特征的高维度数据表示,尝试对这些数据进行压缩,以使其主要特征,可以使用少量的携带高信息量的数据来表示。! `! I, {; D/ b2 x: _' S( k
    2因子分析:用于找到导致被观察的到的数据的隐含因素或者未观察到的方面。
    ' ?) |  a6 E" U/ A/ b7 z3聚类分析:) K7 ?4 \0 D  p  {) e: V7 f
    尝试把数据分成相似元素组成的不同组。
    5 k" F1 \" }, \0 `$ N+ Y; C0 g/ j7 R' v
    无监督学习主要的挑战就是,如何确定一个算法是否出色,或者学习到什么有用内容,通常评估一个无监督学习算法结果的唯一方式是手动检查,并确定结果是否有意义。
    5 `: o( m4 u8 m: k  {
      m' X' `8 h! n9 c0 G$ E4 [8 ?! B; W话虽然如此,但是非监督学习,可以非常有,比如作为预处理或者特征提取的步骤。2 j- P6 c3 L0 Y  t  L5 Q6 [6 `

    % k6 `0 F- M( H" r9 b& u2理解K-means聚类2 n# p: X2 c6 ^8 _0 Y* R8 ^, Q
    Opencv 提供最有用的聚类算法是k-means,因为它会从一个没有标记的多维度数据集中搜寻预设的K个聚类结果。
    / a. C% J, W4 m5 O
    1 e+ `8 O& v) F) @4 a4 B+ m它通过两个简单的假设来完成最佳聚类了。8 ~2 B, o7 F+ B: F4 M9 Z1 r3 l
    1 每个聚类中心都是属于该类别的所有数据点的算术平均值+ c& C% R% p! V: t) J: ?' k
    2 聚类中的每一个点相对其他聚类中心,更靠近本类别的中心。. d% a4 t9 z' p7 w  ~

    . [2 N/ K% B+ U4 s9 f2.1 实现第一个kmeans例子3 R! e! c& o6 ]9 J. c: s- `
    首先,生成一个包含四个不同点集合的数据集。为了强调这是一个非监督的方法,我门在可视化将忽略哪些标签。使用matplotlib进行可视化。
    . Z0 q/ C; G, E2 X; q/ j+ V$ l2 L9 O; T2 ?4 Y1 w
    import matplotlib.pyplot as plt; N' ]4 D& f# b5 L+ w: @( \, G
    import pylab) F' S4 h9 a2 \. q% G$ ^& Q# H
    from sklearn.datasets._samples_generator import make_blobs
    / z/ T" l. }1 Q( Z9 K* \: D2 Y, v  Z! K; o6 H' L0 s, m' M
    plt.style.use('ggplot')- k0 f7 q# K1 y6 u' a' }
    x,y=make_blobs(n_samples=300,centers=4,cluster_std=1.0,random_state=10)  b# V% I; [8 |
    plt.scatter(x[:,0],x[:,1],s=100)
    7 k$ p$ G0 W4 ipylab.show()
    ) j3 O( _0 O3 e9 V: e5 D1 P# J6 |8 @& P9 Z3 ]  u" D
    & N  J4 O& ^6 ]
    11 ]2 l  t8 i6 D: ~: K# H
    2
    1 `. t6 z8 Q7 ~# Q3
    , X) t0 z7 ^# ?  ?% c$ F4/ H( r1 {  E( A' n4 C! i: G
    5, W4 G9 H1 H' ~
    67 J6 a0 h$ q. _% G% k
    7. |- U9 Q) @; d
    8
    # ?1 O. z2 s* U* t/ A6 j/ P2 G9+ e% a" c$ a- K) N6 U5 G
    10
    1 D0 W& {" C0 T! Q3 I9 H6 F; x9 D' K( g- j, M* S. B
    我们创建一个四个不同区域的聚类,centers=4,一共300节点。' m. S2 a& y! v% q. ^, ], F
    如上程序生成图像所示结果。
    5 J1 E: S: F6 `) S尽管没有给数据分配目标标签,但直接使用肉眼还是可以看出来一共是四类。- n: K5 }5 Q# ?' W8 ^. l7 \* o
    kmeans就可以通过算法办到,无需任何关于目标的标签或者潜在的数据分布的信息。
    7 K0 N" o6 [9 }1 ?+ @0 h5 U; C# p1 e. ~当然尽管,kmeans在opencv中是一个统计模型,不能调用api中的train和predict。相反,使用cv2.kmeans可以直接使用这个算法。。为了使用这个模型,我们需要指定一些参数,比如终止条件,和初始化标志。# _3 F- c" Y8 @. M" V  A- }9 E+ H

    7 S3 x, Z9 q2 H6 G3 w2 a( ]8 s/ w我们让算法误差小于1.0(cv2.TERM_CRITERIA_EPS),或者已经 执行了十次迭代(cv2.TERM_CITTERIA_MAX_ITER)时候终止。
    ! N; q# U; s2 p
    # `0 u8 e; N6 i! k! ^! Q2 S& J& z  q1 H2 i! I

    0 c/ E# ?8 r5 O$ C2 t1 Simport matplotlib.pyplot as plt+ w- c/ E, `% I( p  q7 g
    import pylab
    * q% M6 I( Y' Z* _1 i3 Ofrom sklearn.datasets._samples_generator import make_blobs
    3 J: N* K; @' \' z1 @, H5 e' ^7 g+ u- O# `import cv2, u# h. G+ N  F: |; \3 c' {; ~
    import numpy as np
    + R1 W3 T  F/ M" M9 J9 m, a- M2 G9 G" S3 [: e
    plt.style.use('ggplot')2 W  g3 ?$ o$ [$ G( U+ `/ f
    x,y=make_blobs(n_samples=300,centers=4,cluster_std=1.0,random_state=10)
    8 Q8 [, f, y( q/ Cplt.scatter(x[:,0],x[:,1],s=100), O. U" L. J0 @7 O# s; O+ k  M
    ) E8 @# M# F# v" c+ J

    " n$ q: O  r) K* vcriteria=(cv2.TERM_CRITERIA_EPS+cv2.TERM_CRITERIA_MAX_ITER,10,1.0)1 a0 j" K1 O. ?, n2 A& {
    flags=cv2.KMEANS_RANDOM_CENTERS
    ) `5 o1 ^9 N6 D  r; z5 ^compactness,labels,centers=cv2.kmeans(x.astype(np.float32),4,None,criteria,10,flags)* Z- x/ H, d6 u$ Z" r) `
    print(compactness)8 {# E! W: ?( Z$ l

    ! D! i( t/ A+ H( D$ hplt.scatter(x[:,0],x[:,1],c=labels,s=50,cmap='viridis')
    + C, u$ a4 h% S* bplt.scatter(centers[:,0],centers[:,1],c='black',s=200,alpha=0.5)1 L7 L4 `9 T+ d8 O. z
    7 U1 ?" q. r/ `$ e, l* L$ A
    pylab.show()* N, v1 e; r8 E9 b6 M/ r
    7 n# |( `$ ?! b0 F

    # y/ H0 ?8 i: ?/ o4 p- g& [- b/ d9 r' b; P' }  @0 J
    & T% |& ~5 r6 ~

    9 G8 I0 K9 Q- a, p% x2 o: k$ K5 n% B8 o; k- A
    3 v4 _# X) V, ]$ o5 k3 ^1 M
    11 b  H# i6 f" [3 F7 c+ @3 |
    2& \: Q1 o/ G3 d. G! X. m
    32 n7 h- d1 `$ z+ e
    4
    : \4 B+ _# w6 g1 j6 a7 k5- F1 s- j& S& W' @/ Q: x/ q0 M
    69 y3 w2 d9 S, {2 R) V
    7
    ' D! H* p$ T, d& f& z8. f/ y& E) E$ {$ Q8 A
    9- r$ s4 f9 C* r! f) \
    102 {! B; P+ [: k6 t1 t+ }  t3 q6 H7 _' y
    11) @$ ]- p$ O3 L. e7 L, Q' c
    12. Y3 P- p+ |* ^8 M: s& _
    13
    - |+ Q# G. v8 _( X( d# {2 `6 {4 o+ {14; y1 N4 B* E9 O3 l
    150 s* n5 q& I- K" A
    16
    3 j' j: f- b8 }17
    " b! a3 ~  ]  Q0 Q6 D4 p18
    9 j' B) V: K, I19
    5 T1 T+ M* A  {7 s  o( t20( [9 d( f* ~# n
    211 p, q( J0 h0 P3 ^; |4 Z
    225 A- C: M; P0 z
    23
    % s! s/ x5 _; R+ d7 q24* V$ T5 w! M- R
    25
    # o+ Q/ R% V1 o" T* W% \1 T26
    ( y! V% r: z6 o1 F1 `, B上面程序结果可以产生图2的效果。% B, D+ B7 l* {( Q

    " V9 Z6 i4 _( aprint(compactness)这个变量,表示每个点到它聚类中心的距离平方和。较高紧凑都表明所有的点更靠近他们的聚类中心,较低 的紧凑度表明不同的聚类可能无法的很好区分。
    4 @+ D" q/ m0 y3 n% q% b) P
    7 A+ i9 ]6 m2 i! B) y! c当然,这个是非常依赖于x中的真实值。如果点与点之间最初的距离比较大,那我们就很难得到一个非常小的紧凑度。因此,把数据画出来,并按照聚类标签分配不同颜色,可以显示更多信息。
    7 H" I9 |4 M3 K8 R, [1 s7 j8 j$ D/ c3 n. D0 s8 M1 d! O
    3理解kmeans) x. N* t- {* L2 u5 M
    kmeans是聚类众多常见期望最大化中一个具体的例子。简单来说,算法处理的过程如下所示:
    ) D, ?3 Q2 }& f4 D5 e: x9 j1.从一些随机的聚类中心开始8 k; k% {; r& R9 {3 m/ D2 Y: Z! S
    2.一种重复直到收敛
    7 q/ a9 d9 k1 {  U! H1 H% H. o1 g" b9 f+ t2 M) w/ a
    期望步骤:把所有的数据点分配到离他们最近的聚类中心。
    ) Z2 n1 m% M2 D5 ?2 S/ O最大化步骤:通过取出聚类中所有点的平均来更新聚类中心。& O' B( q" p0 u2 p- }
    2 z4 O4 e* X1 ~, h) u3 P7 [, N
    它涉及到一个定义聚类中心位置的适应性函数最大化的过程。对于kmeans最大化是计算一个聚类中所有数据点的算数平均得到。
    5 F) J* P: r$ D9 ]0 Q) I————————————————
    / \, E: R3 [6 U版权声明:本文为CSDN博主「紫钺-高山仰止」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
    6 c8 M1 k0 c. _# {原文链接:https://blog.csdn.net/qq_43158059/article/details/126789000, q  {, c+ n/ V

    ) S. x9 I4 }( W9 v' p  \4 g
    $ r( ^% {( M0 M. @1 }) Q  V0 a
    zan
    转播转播0 分享淘帖0 分享分享0 收藏收藏0 支持支持0 反对反对0 微信微信
    您需要登录后才可以回帖 登录 | 注册地址

    qq
    收缩
    • 电话咨询

    • 04714969085
    fastpost

    关于我们| 联系我们| 诚征英才| 对外合作| 产品服务| QQ

    手机版|Archiver| |繁體中文 手机客户端  

    蒙公网安备 15010502000194号

    Powered by Discuz! X2.5   © 2001-2013 数学建模网-数学中国 ( 蒙ICP备14002410号-3 蒙BBS备-0002号 )     论坛法律顾问:王兆丰

    GMT+8, 2026-7-9 17:33 , Processed in 0.420472 second(s), 51 queries .

    回顶部