- 在线时间
- 1630 小时
- 最后登录
- 2024-1-29
- 注册时间
- 2017-5-16
- 听众数
- 82
- 收听数
- 1
- 能力
- 120 分
- 体力
- 565163 点
- 威望
- 12 点
- 阅读权限
- 255
- 积分
- 174772
- 相册
- 1
- 日志
- 0
- 记录
- 0
- 帖子
- 5313
- 主题
- 5273
- 精华
- 3
- 分享
- 0
- 好友
- 163
TA的每日心情 | 开心 2021-8-11 17:59 |
|---|
签到天数: 17 天 [LV.4]偶尔看看III 网络挑战赛参赛者 网络挑战赛参赛者 - 自我介绍
- 本人女,毕业于内蒙古科技大学,担任文职专业,毕业专业英语。
 群组: 2018美赛大象算法课程 群组: 2018美赛护航培训课程 群组: 2019年 数学中国站长建 群组: 2019年数据分析师课程 群组: 2018年大象老师国赛优 |
【机器学习】无监督学习的概念,使用无监督学习发现数据的特点) J! f0 Y$ ~- y0 P1 Q
& L1 O& K6 k% _到目前位置,我们主要把注意力集中在监督学习的问题上,数据集中的每个数据点都有一个已知的标签或者目标值。然而如果面对没有已知的输出结果,或者没有人监督学习算法,我们要怎么做。
7 e- r8 l# U6 Z" S! Z! k# j4 ]6 O; A6 I" L
这就是无监督学习 。5 ?# S4 Z: Q+ G: {" i! {
9 ~5 s; }$ I; i在无监督、非监督学习中了,学习过程仅使用输入数据,没有更多的指导信息,要求从这些数据中提取知识。我们已经讨论了非监督学习众多形式的一种降维。另一个普及的领域就是聚类分析。他的目的是吧数据分为相似元素组成的不同区域中。
5 E$ w) U( ^- V3 Z& \
& m8 [/ z% x9 l) s) M; [0 Y在本章中,我们想要理解不同的聚类算法如何从简单到,无标记的数据集中提取特征。这些结构特征,可以用于特征处理,图像处理,甚至是作为无监督学习任务的预处理步骤。2 i' z# E' Z$ }" q
作为一个具体的例子,我们将对图像进行聚类,将色彩空间降到16位数。; [* n! L) h! W2 |' Y- Z O
, [" t% q! x2 H) G ]# _( R
解决的问题* o4 I2 R8 S$ {# v4 j5 t) e# g
1.K-means聚类和期望最大化是什么?如何在opencv中实现这些算法。5 G" G" K( j Q& {
2.如何在层次树中使用聚类算法。他带来的好处有哪些。
3 z/ h' D, I0 N1 `7 |' _ l3.如何使用无监督学习,进行预处理,图像处理,分类。; y& o) Z) O2 M# L* G0 X
[. N ~- r+ m6 v# g. Q7 X8 s9 P1 理解无监督学习
; _0 p e6 ~9 M4 d: }无监督学习可能有很多形式,但是他们的目标总是把原始数据转化为更加丰富,更加有意义的表示,这么做可以让人们更容易理解,也可以更方便的使用机器学习算法进行解析。
7 p5 j7 ~" F* M; T, ? j& m无监督学习的应用包括一下应用:
& R2 j) Z( R& y# W- j4 H& A$ ~1降维:他接受一个许多特征的高维度数据表示,尝试对这些数据进行压缩,以使其主要特征,可以使用少量的携带高信息量的数据来表示。
4 D0 Y- h L" C7 x+ D! p0 e [2因子分析:用于找到导致被观察的到的数据的隐含因素或者未观察到的方面。
7 K$ j. y& j$ v! i3 F P3聚类分析:1 i0 }2 }; s% n+ _. m% @: e
尝试把数据分成相似元素组成的不同组。6 ]6 H6 C1 J) J( ^5 K9 [
$ }& m0 h, q( K/ I
无监督学习主要的挑战就是,如何确定一个算法是否出色,或者学习到什么有用内容,通常评估一个无监督学习算法结果的唯一方式是手动检查,并确定结果是否有意义。4 D$ M2 O+ {2 K
4 o( R9 j+ o3 ~0 `5 Q/ p- z5 Q' N
话虽然如此,但是非监督学习,可以非常有,比如作为预处理或者特征提取的步骤。* `, G5 ?7 w( k2 b5 }: h& r
$ V2 T3 z0 s$ z4 E
2理解K-means聚类$ F/ c1 M2 ]# k3 w" S3 m) i
Opencv 提供最有用的聚类算法是k-means,因为它会从一个没有标记的多维度数据集中搜寻预设的K个聚类结果。: X, N. R' Q& R. n
7 |$ H6 F# K+ y0 L) B- q7 y) `8 O它通过两个简单的假设来完成最佳聚类了。
" F& F5 f6 _$ x! _4 C$ G3 s1 每个聚类中心都是属于该类别的所有数据点的算术平均值
) }( Q# Q8 B- y1 F& D2 聚类中的每一个点相对其他聚类中心,更靠近本类别的中心。
4 o8 M# U3 M, d. O& |0 z7 l" Z- `8 L$ a
1 ]5 s3 X7 @1 O5 S. w3 r: [2.1 实现第一个kmeans例子
9 V$ G# h$ D- I3 X& n首先,生成一个包含四个不同点集合的数据集。为了强调这是一个非监督的方法,我门在可视化将忽略哪些标签。使用matplotlib进行可视化。
& V5 G; h' k% H. Q$ s# k* z, A
k* W5 S) k. D/ O) F4 G9 Gimport matplotlib.pyplot as plt
$ v m2 n5 W' }- r6 p: kimport pylab! I* D+ _2 a7 X }1 E: {; Y
from sklearn.datasets._samples_generator import make_blobs
# g) [% ]# O- b8 a. d$ i/ I, b6 r! g2 {$ ^' x/ n
plt.style.use('ggplot')" U2 h9 E" T( ?: L
x,y=make_blobs(n_samples=300,centers=4,cluster_std=1.0,random_state=10)( p8 U; `, i" E; e3 H! h
plt.scatter(x[:,0],x[:,1],s=100)3 v! [; N: n& o7 c: r) M8 \
pylab.show() Y: u2 c9 p1 p
; Y. W9 J [& p7 P2 f0 W/ I
9 ]* C- w2 B. \5 v2 E; u
1
9 V: [2 ?7 _; u# T( I5 T24 I" @+ \; c4 {3 n) U
3
* F# Q! P& ]$ ~1 p0 n6 W' ~7 ?6 c4
9 L5 n& U5 f+ t6 |3 H7 b5
" O) p( I- Z7 P' C8 v' ~: b6
$ v7 k% s) K5 T( A7
4 W+ M+ a/ `) ^) V4 ~# b8 b6 p2 P7 @9 P8 E# k
9
* h- V" j- X& o! O7 i10$ d! E& Z* d5 P
8 b- q) l0 O' U; H/ @( Z' r我们创建一个四个不同区域的聚类,centers=4,一共300节点。& [8 e! P0 p+ ^. m& }$ W( W8 y
如上程序生成图像所示结果。7 h; L1 E2 ?4 {$ N# ^8 c: @, X0 g
尽管没有给数据分配目标标签,但直接使用肉眼还是可以看出来一共是四类。4 b0 K! l% s6 W, o1 ^ D9 \/ Q
kmeans就可以通过算法办到,无需任何关于目标的标签或者潜在的数据分布的信息。
. w/ B: J* A3 M: g) x当然尽管,kmeans在opencv中是一个统计模型,不能调用api中的train和predict。相反,使用cv2.kmeans可以直接使用这个算法。。为了使用这个模型,我们需要指定一些参数,比如终止条件,和初始化标志。
: n4 D2 M1 l0 G6 v! u
. E/ R: l6 v$ t4 D, |( A我们让算法误差小于1.0(cv2.TERM_CRITERIA_EPS),或者已经 执行了十次迭代(cv2.TERM_CITTERIA_MAX_ITER)时候终止。0 V" {- `( U( \ r; \! K% ]
7 d4 g# g7 d2 H j4 D4 h, o7 z# E2 V; \
4 t4 Y/ Y4 `7 x7 N) O
import matplotlib.pyplot as plt
* y- l( A: R3 ?% u1 l6 timport pylab
0 O9 A( ]& E! N+ |/ d) vfrom sklearn.datasets._samples_generator import make_blobs2 M$ `' ~/ ^9 f
import cv2' M: a& u+ P9 N6 C
import numpy as np7 Y: B$ P2 g' ]0 y% \+ E
5 K9 A/ n7 R+ ?: Oplt.style.use('ggplot')4 M4 n! ^2 q! y* a
x,y=make_blobs(n_samples=300,centers=4,cluster_std=1.0,random_state=10)
2 t# w& c) Q4 T) gplt.scatter(x[:,0],x[:,1],s=100): d; R: }' {" t) t7 V+ G
* I& D1 C, a( ], @) @
3 T: U% O2 d8 @8 l- ^1 Icriteria=(cv2.TERM_CRITERIA_EPS+cv2.TERM_CRITERIA_MAX_ITER,10,1.0)
7 l9 H, [4 r% E0 U/ dflags=cv2.KMEANS_RANDOM_CENTERS
8 o& O7 S, Z5 D$ e$ Vcompactness,labels,centers=cv2.kmeans(x.astype(np.float32),4,None,criteria,10,flags)
1 n, |0 O; h( Y( O- tprint(compactness)
& G' ^8 J6 M0 h- m+ K7 V& I" G& I% N) L# Q6 o' `* o) q
plt.scatter(x[:,0],x[:,1],c=labels,s=50,cmap='viridis')1 L7 ~# l/ S4 D# L5 U
plt.scatter(centers[:,0],centers[:,1],c='black',s=200,alpha=0.5)' q- I1 @; }; J8 m' p
' ?) U& w) x. |pylab.show()8 C9 X! D3 S- A3 ^$ w; Z' F
5 _- a, ]: U/ o* G5 w# F4 Z( s d0 N, U2 |% T5 q. M4 O- Y7 e
/ S- `- `& Q/ |- F) _) c* n
8 R9 k' [2 x0 J5 }. j5 P
1 }2 z, \, g- z6 M1 ~# s% K6 i5 E5 i! V+ h9 A. q
' ?% [5 I1 e }: @& L1 c8 d17 H- l$ p& E' m; O$ j. U6 |8 [. w" W
2& A+ O% z+ Y' m y8 g( ~
3
0 W* H& e2 `# z4 F4* t4 x' R! Y5 ^3 D( e( f
5
# r" Y+ K [& D5 ?68 S p: s2 P: F6 B# C
75 Q6 l4 {8 T* V7 ]& |# K: E8 m
8
' U0 m. m) J. y( [) l, Z9
! L! \/ Y5 q* C10/ g3 x) z+ T @
11 j6 L C# w& W" M& \2 u+ |7 l
12
) }2 \ i$ B0 d; B9 q C& [% k13
3 s/ B) A9 s3 ]$ @/ k+ Z14. h3 p' i. |: m
155 A c0 U/ k) K! I3 `- ^. `
16
3 V1 |1 g6 O% P2 \& J* Z* M& N% y170 x1 o3 _* g' N
18
% P3 I- u0 x. N) s# B" G1 j% F19/ ^0 S( H0 C% a
203 ]" @: `) u( r8 f9 \1 h* E8 ?5 E- ~
21
( _, E' i( t8 e, g22* T3 c, g; O( l, H0 b1 ^
23
7 L: f* Y* W! C3 t+ }9 T% R24
2 P1 V" C8 g V1 w25* @% q# Z h& x! I2 q2 G4 o2 A3 [
26' c4 y0 ?3 M# W, c0 n" J
上面程序结果可以产生图2的效果。& `; j- k1 T, Q$ E- z* X) {: W
5 ~% t5 G) W: y( x) bprint(compactness)这个变量,表示每个点到它聚类中心的距离平方和。较高紧凑都表明所有的点更靠近他们的聚类中心,较低 的紧凑度表明不同的聚类可能无法的很好区分。$ o9 \! c6 n0 F) | B/ X
$ {2 ^' I5 B B当然,这个是非常依赖于x中的真实值。如果点与点之间最初的距离比较大,那我们就很难得到一个非常小的紧凑度。因此,把数据画出来,并按照聚类标签分配不同颜色,可以显示更多信息。
3 r7 d \4 h. e5 A& q$ m
; ^) V; B( o; L3 I8 ~ f& O. r3理解kmeans* x: N! i; D% E: V
kmeans是聚类众多常见期望最大化中一个具体的例子。简单来说,算法处理的过程如下所示:
) p( Z# F) l7 w0 h. a% d: _1.从一些随机的聚类中心开始+ h: l) j! c- x' u. |1 M
2.一种重复直到收敛
" @! }* ?- `# H" C7 j0 K# Q3 _- B
0 Y# e3 ^$ f" S6 o% ?2 o期望步骤:把所有的数据点分配到离他们最近的聚类中心。
. A3 L6 b! G& E- }$ ` V4 L) |最大化步骤:通过取出聚类中所有点的平均来更新聚类中心。
4 s4 o: x' ?& D; K0 }9 J* K0 j5 W$ K7 Z8 F: [
它涉及到一个定义聚类中心位置的适应性函数最大化的过程。对于kmeans最大化是计算一个聚类中所有数据点的算数平均得到。
# V4 R1 h% G ]8 E. d————————————————
l6 }) R5 V" C' U# Q. F版权声明:本文为CSDN博主「紫钺-高山仰止」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
1 `5 h; `, p( i5 P, x# Z5 b6 x原文链接:https://blog.csdn.net/qq_43158059/article/details/1267890002 S3 C0 r9 p, g. H6 L) n
; V! Z/ \, G3 k- M0 ?) m/ ^- m! w/ e3 c; v( ~* y0 `
|
zan
|