1.机器学习概念及相关术语解释

杨利霞

  r* H0 d1 n8 v3 l1.机器学习概念及相关术语解释

一丶 机器学习概念
/ R$ p: M$ p9 ?" S- c5 Z5 B) w概述: 机器学习是人工智能具有智能的必要技术手段,人工智能的核心,机器学习是致力于研究如何通过CPU和GPU(图形图像处理器)的计算,利用经验或数据来改善计算机系统自身的性能

总结: 机器学习模型=数据+算法

如果有新的数据,我们只需要带入到Model中就可以输出预测值

( H% t* _5 r/ p9 s$ Y! B' O; v' r什么不是机器学习?
7 W" x( Z, L9 x$ _% c* J
比如对于计算问题丶已经知道结果等不是机器学习问题(比如: 统计成绩搞的同学的topN)
机器学习其实就是需要有一个预测的过程

机器学习概念补充:
( m9 |( s5 F3 q& q) G
* R4 R; V8 ]% @: h% D1.说明: X: 特征或属性 Y:类别标签类或预测的值
9 \& n) R. g/ X/ B
6 ]/ J/ J/ g6 j  i& \训练集和测试集: 通常要将数据集分为两部分,训练集用来模型的训练,测试集用来模型测试模型的好坏程度.
1 [; @5 Y6 v& X0 Y- \0 X模型的好坏: 训练误差(模型预测在训练集上的Y值误差)丶测试误差(模型预测在测试集上Y值的误差)丶准确率(分对的/全部)丶错误率(1-正确率)
二丶两种学习方式
. l; z3 g- [* G1 R3 D, Y基于规则的学习: 主要是通过基于专家发现的规则,指定规则,只需要新数据带入规则进行判断即可
基于模型的学习: x:特征数据 --> f(函数-模型) --> Y(结果数据),基于模型就可以直接预测分析得到结果数据
三丶术语
2 L/ C$ z9 t3 ?& D& j. ^3.1机器学习分类的几种概念

监督学习: 训练集数据有类别标记
9 U# \- f, W% n% E1 w7 q$ \8 i: R无监督学习:训练集数据没有类别标记
半监督学习: 有类别标记的训练集+无标记的训练集
强化学习: 常见的应用场景包括动态系统以及机器人控制等
监督学习:

分类:预测值是否为连续值,不是连续值的预测的话,是分类
回归:预测值是连续值的话,是回归
) x/ F! |8 X' G非监督学习:
. d  C& C- U  Z) Y6 o' H$ \
聚类:通过相似性度量,组内的相似性是极高的,组内的相异性是极高的,进行分类
降维-通过算法进行降维的话,Z1和Z2的物理含义是不明确的
/ q6 C8 K" y: @8 Q# b2 H6 z– 特征选择: 从原有的特征中选择比较重要的特征—x1,x2,x3==>Z1,Z2
半监督学习:
6 e, y( ~# Z: \: H0 l% z/ {) O
1.基于聚类的假设
–有类别标记的数据+没有类别标记的数据,将有类别标记的数据,去掉标签列,
此时所有的数据均没标签,对全部数据进行聚类,聚类之后,有类别标记的数据和没有类别标记的数据,有可能被分到不同的组或簇中,将所有的,有类别标记的数据,根据机器学习常用的处理方法–投票原则,根据少数服从多数的原则进行表决,将没有带类别标签的数据加上类别标签
4 k) E. B- u) F2.利用所有样本再进行模型训练
8 c3 G. }$ I" s* w+ ]3 I" v  ~强化学习:

( y& G+ H4 s3 q* V解决连续决策的问题丶围棋丶无人驾驶汽车等问题
3.2机器学习三要素
0 A# O6 ?  I7 [, z2 s* o3 v
模型: 决策函数丶条件概率分布
0 G+ n# x1 y" ?6 A) C% h算法: 解析解和最优解(梯度下降法和牛顿法)
策略: (损失函数)评判一个模型的好坏
0 I$ [; Z& H3 N0 a3.3其他
( w3 c8 |' J1 @3 W% Z6 V( [
降维: 将多维数据降成低维度数据,不过降过的维度不能使用具体的物理含义表示
抽样: 有行抽样和列抽样,如果模型发生欠拟合和过拟合,可以使用抽样方法很好的解决
交叉验证: 交叉验证就是将拿到的训练数据，分为训练和验证集。以下图为例：将数据分成4份，其中一份作为验证集。然后经过4次(组)的测试，每次都更换不同的验证集。即得到4组模型的结果，取平均值作为最终结果。又称4折交叉验证
& y+ x% V( L* Y3 N2 n过拟合: 模型对于训练集效果很好,对于测试集效果较差 原因:模型过于复杂
! L  f1 O7 y8 ], N' v欠拟合:模型对于训练集和测试集效果都很差 原因: 模型太过简单
" J2 h  d4 y0 e* q4 ~' v( t9 l) M9 K模型选择的基本原则-奥卡姆剃刀原则:在具有相同泛化误差的模型中,选择较为简单的模型,防止过拟合
特征向量: 将属性或特征,通常使用向量来进行表示
- e, b8 n" ?$ C0 e) B, _& R, Z! H训练集: 数据集划分的一部分,来用于模型或者算法的训练
6 w7 B4 x- e0 p测试集: 数据集划分的一部分,来用于对已经训练好的模型进行测试模型的误差好坏

$ |& ?. a- D9 k' d. X& y
8 b) h8 v9 r9 c( m* ]四丶分类和回归问题
! K' P" I, K, D& V! V" ^3 b. d$ h4.1说明

4 r! R1 f% A2 h如果预测值是连续值对应的问题是回归问题
如果预测值是离散值对应的问题的分类问题
4.2类别型变量处理
, R* b: }  z( M# \/ `比如天气: 晴天丶阴天丶雨天
lable encoder: 标签编码

晴天丶阴天丶雨天
; w9 |- s4 j" J- l8 W0--------1--------2
7 a5 V/ I* F9 w8 c. H2 X0 X
& Q$ L/ x, I  b( R5 @+ Aont-hot encoder: 独热编码(二进制方式)
9 K' J/ i- I* d: \" G+ W
晴天 丶 阴天丶 雨天
; R9 F# L( S& u$ p% N1---------0----------0
) q/ n/ }5 K) c; p7 C* ^8 y0---------1----------0
( ^  r, L: ^' P0---------0----------1
5 G5 K8 [' `# F
0 ]7 M- a% s8 Y. _9 G8 H总结:通常使用label encoder(标签编码)
& |, ?5 I4 N  Y! i7 F) S————————————————
版权声明：本文为CSDN博主「First_____」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
- i1 W/ E, Z' i) Q0 I原文链接：https://blog.csdn.net/First_____/article/details/126717523
- E$ L  ~: J7 ~7 V; q2 v+ U' Q# f
# T. m0 k+ ]2 l  S9 {+ ]: F
- i' Y+ N0 G4 J+ U4 U$ G$ b8 M
6 k8 R$ X- _. x& K; U) q3 ~$ M& b