【机器学习】无监督学习的概念，使用无监督学习发现数据的特点

杨利霞

【机器学习】无监督学习的概念，使用无监督学习发现数据的特点

) A8 Q# b' J/ a% n到目前位置，我们主要把注意力集中在监督学习的问题上，数据集中的每个数据点都有一个已知的标签或者目标值。然而如果面对没有已知的输出结果，或者没有人监督学习算法，我们要怎么做。

这就是无监督学习 。
$ V$ @" [5 T+ H! Q; x
在无监督、非监督学习中了，学习过程仅使用输入数据，没有更多的指导信息，要求从这些数据中提取知识。我们已经讨论了非监督学习众多形式的一种降维。另一个普及的领域就是聚类分析。他的目的是吧数据分为相似元素组成的不同区域中。

在本章中，我们想要理解不同的聚类算法如何从简单到，无标记的数据集中提取特征。这些结构特征，可以用于特征处理，图像处理，甚至是作为无监督学习任务的预处理步骤。
. O8 ]  M* D/ D- F# v! s- n作为一个具体的例子，我们将对图像进行聚类，将色彩空间降到16位数。

% j# J8 f  D( z$ g1 L" u解决的问题
; X* t2 n4 @) S7 `; O/ X1.K-means聚类和期望最大化是什么？如何在opencv中实现这些算法。
- p; \4 [  ?4 z+ n0 Q& [/ O) Z- ^2.如何在层次树中使用聚类算法。他带来的好处有哪些。
3.如何使用无监督学习，进行预处理，图像处理，分类。
( O! z3 m! U5 ~; _. m* m
1 理解无监督学习
7 J$ l! }! i" \2 ^) A无监督学习可能有很多形式，但是他们的目标总是把原始数据转化为更加丰富，更加有意义的表示，这么做可以让人们更容易理解，也可以更方便的使用机器学习算法进行解析。
无监督学习的应用包括一下应用：
1降维：他接受一个许多特征的高维度数据表示，尝试对这些数据进行压缩，以使其主要特征，可以使用少量的携带高信息量的数据来表示。
0 q7 M  V2 }0 m; D2因子分析：用于找到导致被观察的到的数据的隐含因素或者未观察到的方面。
3聚类分析：
尝试把数据分成相似元素组成的不同组。
$ e' {5 |' X; ^& r: p/ y
无监督学习主要的挑战就是，如何确定一个算法是否出色，或者学习到什么有用内容，通常评估一个无监督学习算法结果的唯一方式是手动检查，并确定结果是否有意义。

+ |; z0 X# c2 }! V话虽然如此，但是非监督学习，可以非常有，比如作为预处理或者特征提取的步骤。
# q: e" ^, y4 ^% B7 S) g2 j+ F7 V
3 M  h' R; g. x2理解K-means聚类
# }  V3 Q$ a. v, J; F: x$ \4 ^, r7 XOpencv 提供最有用的聚类算法是k-means,因为它会从一个没有标记的多维度数据集中搜寻预设的K个聚类结果。

它通过两个简单的假设来完成最佳聚类了。
% q) S9 m  m, V" ]+ S8 P1 }1 每个聚类中心都是属于该类别的所有数据点的算术平均值
2 聚类中的每一个点相对其他聚类中心，更靠近本类别的中心。
3 v+ D, s" m% b  u. I$ O0 r
2.1 实现第一个kmeans例子
首先，生成一个包含四个不同点集合的数据集。为了强调这是一个非监督的方法，我门在可视化将忽略哪些标签。使用matplotlib进行可视化。
# m6 v5 X* j- c0 L8 U3 D
, t% T8 h* }) g- x! S6 C) a3 ?( Yimport matplotlib.pyplot as plt
import pylab
from sklearn.datasets._samples_generator import make_blobs
- l2 ?/ [* n  C$ S. F
plt.style.use('ggplot')
. z1 c9 x$ U0 J. c* Tx,y=make_blobs(n_samples=300,centers=4,cluster_std=1.0,random_state=10)
1 x* [% G! Q. z1 h" S/ _& T1 T! rplt.scatter(x[:,0],x[:,1],s=100)
* N" w7 R9 r, c. ~9 |2 hpylab.show()

( P/ g& q: J! h9 j
1
* a5 P" ~  S. r2
1 T. S" M$ u5 ~2 B) z/ m" k3
0 _" v; ]8 y' s2 t  q  z4
5
6
7
8
# a) g' S  F& @4 I. b' r; x9
10

) d( ]5 t0 U9 L- Q9 D我们创建一个四个不同区域的聚类，centers=4,一共300节点。
如上程序生成图像所示结果。
' q- }3 }7 I: x. e: }6 \尽管没有给数据分配目标标签，但直接使用肉眼还是可以看出来一共是四类。
# h3 r  s/ U% h6 l2 w0 y) i+ jkmeans就可以通过算法办到，无需任何关于目标的标签或者潜在的数据分布的信息。
- ?' K4 j( e7 R3 x  P7 q0 T7 {当然尽管，kmeans在opencv中是一个统计模型，不能调用api中的train和predict。相反，使用cv2.kmeans可以直接使用这个算法。。为了使用这个模型，我们需要指定一些参数，比如终止条件，和初始化标志。
6 g7 r2 v' E( n; f) D
( z2 l. \6 e: h2 J我们让算法误差小于1.0（cv2.TERM_CRITERIA_EPS),或者已经 执行了十次迭代（cv2.TERM_CITTERIA_MAX_ITER)时候终止。


6 k7 R! }, N3 K7 S
import matplotlib.pyplot as plt
import pylab
from sklearn.datasets._samples_generator import make_blobs
import cv2
% d& Q3 H0 g7 ^3 dimport numpy as np

plt.style.use('ggplot')
: g: V  F1 t0 |6 \6 Cx,y=make_blobs(n_samples=300,centers=4,cluster_std=1.0,random_state=10)
plt.scatter(x[:,0],x[:,1],s=100)
4 D8 W( _, w3 W' N- _3 X
/ w7 L( r. c' n9 ]
3 S* e9 p9 N- S" O; l( z# w9 d+ scriteria=(cv2.TERM_CRITERIA_EPS+cv2.TERM_CRITERIA_MAX_ITER,10,1.0)
5 e9 _- F0 r" \9 x' q8 K7 \flags=cv2.KMEANS_RANDOM_CENTERS
. n: K" q& Y) `0 r9 Z4 Wcompactness,labels,centers=cv2.kmeans(x.astype(np.float32),4,None,criteria,10,flags)
print(compactness)
' h) A9 L$ f# W/ j- J4 D
plt.scatter(x[:,0],x[:,1],c=labels,s=50,cmap='viridis')
0 {5 Q' j- c% F5 p2 T) Pplt.scatter(centers[:,0],centers[:,1],c='black',s=200,alpha=0.5)

" N5 `% }- B$ b1 m) kpylab.show()
6 L" `0 S7 \% s6 ~& K) `; H" c
1 e  K7 C2 o( k( x, k/ T- c. r

$ M8 o1 x- h; P0 E3 ~

6 k9 W& n" B% d; G

6 E. W4 v9 L* `5 w1 m1
2
3
4
! B, ?' n: ]/ f5
! y% w: ?& \+ M) b- E) o/ T6
7
8
( B) u2 g: |9 B* q9
3 Q/ y) v4 y5 z9 n7 ]% M10
7 d) z1 Q, E6 Q6 S11
12
13
14
15
16
17
1 K. o6 h& y  W& b/ j! Y# a18
19
1 ~4 T" I* U2 ~1 m) E( e20
/ t+ O# ^! Z9 D# I: G21
22
23
24
25
2 L9 F8 s3 X6 d0 x! i4 j26
上面程序结果可以产生图2的效果。
4 M$ f1 F" |6 M7 k% M. m3 Z+ u
print(compactness)这个变量，表示每个点到它聚类中心的距离平方和。较高紧凑都表明所有的点更靠近他们的聚类中心，较低 的紧凑度表明不同的聚类可能无法的很好区分。

2 u2 N/ Z: C) w2 L+ |当然，这个是非常依赖于x中的真实值。如果点与点之间最初的距离比较大，那我们就很难得到一个非常小的紧凑度。因此，把数据画出来，并按照聚类标签分配不同颜色，可以显示更多信息。
- a* {# Q$ @+ [- A3 v
3理解kmeans
/ S8 r& s! q  t6 bkmeans是聚类众多常见期望最大化中一个具体的例子。简单来说，算法处理的过程如下所示：
+ S  d* S; E( j3 p4 G: W" H1.从一些随机的聚类中心开始
2.一种重复直到收敛
& s% g7 ?  D8 T7 N; M
. H( O' D  z0 w" U期望步骤：把所有的数据点分配到离他们最近的聚类中心。
最大化步骤：通过取出聚类中所有点的平均来更新聚类中心。
+ t8 |9 M  i" b. }7 S5 c
/ X# o$ i7 X1 ]2 |3 R它涉及到一个定义聚类中心位置的适应性函数最大化的过程。对于kmeans最大化是计算一个聚类中所有数据点的算数平均得到。
$ `$ ^2 R6 |2 ?1 r: x5 J  o9 s————————————————
, r% Y5 ~) o/ t: R. V: ?) W版权声明：本文为CSDN博主「紫钺-高山仰止」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
7 Q. M, a  H& y, @) Z原文链接：https://blog.csdn.net/qq_43158059/article/details/126789000

- r2 [, A; _  X; H