- 在线时间
- 1630 小时
- 最后登录
- 2024-1-29
- 注册时间
- 2017-5-16
- 听众数
- 82
- 收听数
- 1
- 能力
- 120 分
- 体力
- 565162 点
- 威望
- 12 点
- 阅读权限
- 255
- 积分
- 174771
- 相册
- 1
- 日志
- 0
- 记录
- 0
- 帖子
- 5313
- 主题
- 5273
- 精华
- 3
- 分享
- 0
- 好友
- 163
TA的每日心情 | 开心 2021-8-11 17:59 |
|---|
签到天数: 17 天 [LV.4]偶尔看看III 网络挑战赛参赛者 网络挑战赛参赛者 - 自我介绍
- 本人女,毕业于内蒙古科技大学,担任文职专业,毕业专业英语。
 群组: 2018美赛大象算法课程 群组: 2018美赛护航培训课程 群组: 2019年 数学中国站长建 群组: 2019年数据分析师课程 群组: 2018年大象老师国赛优 |
【机器学习】无监督学习的概念,使用无监督学习发现数据的特点! ^/ u- |6 D1 W) w0 |/ B2 {% _; F
5 b/ {0 m" u; _! ~, \4 M4 e到目前位置,我们主要把注意力集中在监督学习的问题上,数据集中的每个数据点都有一个已知的标签或者目标值。然而如果面对没有已知的输出结果,或者没有人监督学习算法,我们要怎么做。; E. z" c) x. E6 ^9 q6 f
4 P% A( q: K( m/ ?
这就是无监督学习 。
/ e" j9 U. B8 U! H1 s4 _1 n( F; e" X) A6 S9 e
在无监督、非监督学习中了,学习过程仅使用输入数据,没有更多的指导信息,要求从这些数据中提取知识。我们已经讨论了非监督学习众多形式的一种降维。另一个普及的领域就是聚类分析。他的目的是吧数据分为相似元素组成的不同区域中。
6 Y% E3 r7 y% t6 r- \$ R d% O
! s$ q" A* Y+ w$ _在本章中,我们想要理解不同的聚类算法如何从简单到,无标记的数据集中提取特征。这些结构特征,可以用于特征处理,图像处理,甚至是作为无监督学习任务的预处理步骤。
8 v/ |7 j8 h" n9 e9 d2 f作为一个具体的例子,我们将对图像进行聚类,将色彩空间降到16位数。& J7 ?& v3 C- s9 P- W K) \" O
' T$ i" s. A# H+ ]5 J解决的问题" B d! |6 A5 M4 V! N( P) [
1.K-means聚类和期望最大化是什么?如何在opencv中实现这些算法。. Y# G0 E/ U1 j0 U& _/ B9 j$ Q* H
2.如何在层次树中使用聚类算法。他带来的好处有哪些。
1 U: t* z2 N% ^/ D3.如何使用无监督学习,进行预处理,图像处理,分类。( } d' B) `% H
* [1 ~) p* L+ T/ |) }7 |; O$ `2 B
1 理解无监督学习
8 I! N8 N8 m0 z0 s0 {/ l, {无监督学习可能有很多形式,但是他们的目标总是把原始数据转化为更加丰富,更加有意义的表示,这么做可以让人们更容易理解,也可以更方便的使用机器学习算法进行解析。
2 J" I p8 y' C" g' a8 T无监督学习的应用包括一下应用:+ q& {7 W$ G+ u, ~: O; X
1降维:他接受一个许多特征的高维度数据表示,尝试对这些数据进行压缩,以使其主要特征,可以使用少量的携带高信息量的数据来表示。
5 G0 b: K6 k& e1 Z- Z4 _8 p2因子分析:用于找到导致被观察的到的数据的隐含因素或者未观察到的方面。
3 _4 e6 ~* J4 |" f( d2 \3聚类分析:. J4 t9 x5 Q- o
尝试把数据分成相似元素组成的不同组。
, a: D0 w0 \# f0 ]) u9 y; H
( L1 k5 E+ J5 f& V0 L0 T无监督学习主要的挑战就是,如何确定一个算法是否出色,或者学习到什么有用内容,通常评估一个无监督学习算法结果的唯一方式是手动检查,并确定结果是否有意义。
' W; ~- k' z. C& ^% G& R! v$ e3 Y9 b
( ]" `' o7 o. Y: O& n+ |2 i话虽然如此,但是非监督学习,可以非常有,比如作为预处理或者特征提取的步骤。
- r* T( m' ?* g! Q9 a4 u8 y$ D8 Y6 A# o6 P! }! X3 w1 S, x- x% E+ v v
2理解K-means聚类, W7 F3 v$ E5 K" Y! z
Opencv 提供最有用的聚类算法是k-means,因为它会从一个没有标记的多维度数据集中搜寻预设的K个聚类结果。
; s6 _7 K2 _) R' u$ M( j' o3 q
8 Q# c) ?1 g7 z' ~/ P它通过两个简单的假设来完成最佳聚类了。1 T8 T1 }$ T: @4 M7 ~
1 每个聚类中心都是属于该类别的所有数据点的算术平均值
7 G# {8 p D) k' Z1 z2 聚类中的每一个点相对其他聚类中心,更靠近本类别的中心。 r8 C2 z+ x) q% w2 L- ~5 c. Q
! `/ O+ U) f( c: E& w& }
2.1 实现第一个kmeans例子! n5 C9 @9 ?& N" W' b
首先,生成一个包含四个不同点集合的数据集。为了强调这是一个非监督的方法,我门在可视化将忽略哪些标签。使用matplotlib进行可视化。
6 [9 @: O! a, U x5 W4 y" A
6 B! Q1 ^# `" t% vimport matplotlib.pyplot as plt
) n1 E; h. R7 @0 t$ kimport pylab
9 |) v- L4 E3 i$ n( I/ mfrom sklearn.datasets._samples_generator import make_blobs3 _! g1 G! j' S! Q
/ k. b' u& z$ d7 B
plt.style.use('ggplot')
. n! Y- I$ H/ Z6 j) Fx,y=make_blobs(n_samples=300,centers=4,cluster_std=1.0,random_state=10)
' f1 s3 d% U" Xplt.scatter(x[:,0],x[:,1],s=100)( s$ L0 V% l- T
pylab.show()
* o. Q, f4 N1 c; ~% ]
* Z+ q5 Q9 g9 F( \. M2 J: q) G Q. |
1
1 N0 j, I2 M" o9 {' u6 h1 M' K% q5 i2) n& ?% m- C- b/ ~( J- F" w+ y U+ i
3, t5 l" l; w) S1 \8 |3 G
4
4 K" I- N8 `; F# R5 P- F, [1 q3 U5
; s; A8 l9 _2 i/ Y0 W67 a5 F" c/ p/ `. g& C- {7 z- p
7
; ^, i( f# }# n( I; J8& o: \8 m$ G3 y T! p: M! {
9
& `1 |* D2 ^+ ? ?108 v. w% p7 s( l8 S: l
6 h. |$ ^8 p* Z0 {8 F& k我们创建一个四个不同区域的聚类,centers=4,一共300节点。+ }( _3 c5 j3 D# a8 `$ Z2 S
如上程序生成图像所示结果。( x$ ~/ p2 x, r6 R! y
尽管没有给数据分配目标标签,但直接使用肉眼还是可以看出来一共是四类。0 D! {5 O4 i: S- G& y( ~" n4 ^
kmeans就可以通过算法办到,无需任何关于目标的标签或者潜在的数据分布的信息。
& N1 l8 G8 V: s/ j当然尽管,kmeans在opencv中是一个统计模型,不能调用api中的train和predict。相反,使用cv2.kmeans可以直接使用这个算法。。为了使用这个模型,我们需要指定一些参数,比如终止条件,和初始化标志。
. X# I ~5 b4 _9 S. {+ S# u5 U1 u8 O- p) o, D
我们让算法误差小于1.0(cv2.TERM_CRITERIA_EPS),或者已经 执行了十次迭代(cv2.TERM_CITTERIA_MAX_ITER)时候终止。* o7 ?% `' |$ T: I' D
) n# l8 V9 S+ Q9 Z. c& ?/ @& B8 ^1 I+ q! {8 n
& M5 E# J2 t! y: R+ X. b
import matplotlib.pyplot as plt1 r- r- h8 H5 H, k2 ?+ V
import pylab
: ~1 q+ ^! I( O" l! R; e: Q. ^( h- U$ ]from sklearn.datasets._samples_generator import make_blobs% \6 [2 \4 @/ C: z4 N
import cv2& X6 o4 D( y8 t2 V+ _& W
import numpy as np
2 _, `+ v |1 P' E. F/ V4 D- }5 a0 O/ h r! T* p) U T
plt.style.use('ggplot'); @. |$ _3 z; K3 E! Z9 y
x,y=make_blobs(n_samples=300,centers=4,cluster_std=1.0,random_state=10)
$ q9 P( h- r" }2 Y2 ?( kplt.scatter(x[:,0],x[:,1],s=100)' h' {7 i/ F8 l9 Z
; u( t9 u) V L n/ U; Z4 Q0 Q
- |& X' I* M' r: W/ Q, Lcriteria=(cv2.TERM_CRITERIA_EPS+cv2.TERM_CRITERIA_MAX_ITER,10,1.0)
. q2 }0 o/ z+ [8 Pflags=cv2.KMEANS_RANDOM_CENTERS
- I ]& E+ _: V5 S1 s, ?. n T# }5 ocompactness,labels,centers=cv2.kmeans(x.astype(np.float32),4,None,criteria,10,flags)
6 ~' K* }: T0 k% E3 |# f. }( @: nprint(compactness)0 E0 g3 j) z, J; A T
W/ R7 a1 W2 Y/ F" }3 Q- z
plt.scatter(x[:,0],x[:,1],c=labels,s=50,cmap='viridis')
* i' E5 r6 I [! n* c# B' [$ A3 r, qplt.scatter(centers[:,0],centers[:,1],c='black',s=200,alpha=0.5)
9 r) r$ b4 F$ P, @/ L! X3 f" R) s6 k: u' k3 o" @
pylab.show()
+ S8 P6 W! @/ Z6 C
7 y$ T6 i6 z( N1 a
$ g' L6 D: ^3 j; ~& ^* ~
5 E& d: ^+ p8 I1 [) a' S2 p2 h( y) v3 O& X. z7 `6 ]9 ^3 W
7 S1 g2 J; b# B" {# [% o$ m0 w# m5 Z6 }% _, a, p
0 `4 X" ~* X$ a+ j! t$ x: D- A1
$ V8 Z' r; y4 f( p2 r) r. s24 ]8 {$ Y9 b3 T. [# g1 S: B9 r1 [! {1 `
3
9 j* o" A b6 c2 p/ z4
* a+ ]5 ]$ N- U; ?( Y5
2 f, [0 j' u* g v) Z$ d6
0 h( D! v& G% ]& t/ @7 Z7 e8 Q2 _% L6 o1 S" x, f
8
( V7 v o1 x& x0 d9
) }4 ?- D1 _* P' \108 {8 p+ ]3 N( q/ I* r6 s. N
11
+ X! u" D" C7 C5 l9 Z) I12- f; E% G7 v! `4 i8 f$ @) l1 N
134 ?+ g; u$ z; o6 o$ R
14
# h |) D+ u3 y+ W15
1 J! o, J B3 b+ Q$ u1 K16! { q' K5 v ~! W& T7 d
17
+ S! `& i7 o: y1 h& O3 C18: K# n& w- P) w; W" o; u9 t
199 J6 t% _, r2 t) |+ o& w1 u
20
; B, H2 F* L7 F21, A8 c# r' D2 ] D @- c" [4 R4 K" g
22. J0 n' j' Y: Q8 V6 E2 R' `
232 A1 c1 V& B$ w, Z+ _; X
242 I) f+ q8 u* x+ P
255 _) q" A7 X/ k% J8 ?; u# G
26# u3 y& a7 u. i9 c9 Q
上面程序结果可以产生图2的效果。: |7 t, |$ }$ m/ y1 G" P% H- N
' D: C: s4 e. S; x+ I6 ]1 }print(compactness)这个变量,表示每个点到它聚类中心的距离平方和。较高紧凑都表明所有的点更靠近他们的聚类中心,较低 的紧凑度表明不同的聚类可能无法的很好区分。
; \1 E) `3 x* f$ q; Z: g4 Y- Q9 {% B$ U4 }* N
当然,这个是非常依赖于x中的真实值。如果点与点之间最初的距离比较大,那我们就很难得到一个非常小的紧凑度。因此,把数据画出来,并按照聚类标签分配不同颜色,可以显示更多信息。1 p. a. L9 {0 M0 L D0 h$ C9 t
! T+ r3 P" D6 U2 P8 ^
3理解kmeans0 ~# V6 h( A4 o5 ^+ y2 `$ o3 j8 z$ `" P
kmeans是聚类众多常见期望最大化中一个具体的例子。简单来说,算法处理的过程如下所示:
% N+ i; y9 P) l: s# z& t$ C1.从一些随机的聚类中心开始3 k$ w2 s( `$ A8 {7 e" i9 Q
2.一种重复直到收敛1 z5 l, G9 |4 Z! h
' V) g- f' h8 R0 w9 [1 e' J
期望步骤:把所有的数据点分配到离他们最近的聚类中心。
) s+ x. A s# V, n" k最大化步骤:通过取出聚类中所有点的平均来更新聚类中心。
& _4 a% v7 J/ X4 P5 ]4 Z7 u8 K' v; o# p5 z
它涉及到一个定义聚类中心位置的适应性函数最大化的过程。对于kmeans最大化是计算一个聚类中所有数据点的算数平均得到。
6 D8 p" Y" p& V. Z2 P; D————————————————4 Z4 n5 j" \9 `
版权声明:本文为CSDN博主「紫钺-高山仰止」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
' {3 }: m8 e, i. t原文链接:https://blog.csdn.net/qq_43158059/article/details/126789000
2 ]$ A5 v% H" V$ X; H4 L8 `2 S& F, P5 c$ {. t
: S. p# t/ N+ V
|
zan
|