解密人工智能：线性回归 | 逻辑回归 | SVM

2744557306

1、机器学习算法简介
机器学习算法是一种基于数据和经验的算法，通过对大量数据的学习和分析，自动发现数据中的模式、规律和关联，并利用这些模式和规律来进行预测、分类或优化等任务。机器学习算法的目标是从数据中提取有用的信息和知识，并将其应用于新的未知数据中。

, l$ F+ X) P8 D. R' z3 I
1.1 机器学习算法包含的两个步骤
5 ~! Z; m. O& P& U) ?" \7 F% m7 ~1 ?机器学习算法通常包括两个主要步骤：训练和预测。在训练阶段，算法使用一部分已知数据（训练数据集）来学习模型或函数的参数，以使其能够对未知数据做出准确的预测或分类。在预测阶段，算法将学习到的模型应用于新的数据，通过模型对数据进行预测、分类或其他任务。
) W: I( I* i' L9 ]2 Q2 x
" E- U% n9 X4 W2 p! t0 \: o# t1.2 机器学习算法的分类
4 U. e2 N, z9 C' \, b1 i( p机器学习算法可以是基于统计学原理、优化方法、神经网络等等。根据学习的方式不同，机器学习算法可以分为监督学习、无监督学习和强化学习等几种类型。不同的机器学习算法适用于不同的问题和数据类型，选择合适的算法可以提高机器学习的任务效果。

监督学习算法：监督学习算法需要训练数据集中包含输入和对应的输出（或标签）信息。常用的监督学习算法包括：线性回归、逻辑回归、决策树、支持向量机、朴素贝叶斯、人工神经网络等。

无监督学习算法：无监督学习算法不需要训练数据集中的输出信息，主要用于数据的聚类和降维等问题。常用的无监督学习算法包括：K均值聚类、层次聚类、主成分分析、关联规则挖掘等。
0 a1 \% K. v1 D8 h( h
8 L" K: \) e+ i2 |: }5 T- ?0 y" g强化学习算法：强化学习算法通过与环境进行交互，试图找到最优策略来最大化奖励。常用的强化学习算法包括：Q学习、深度强化学习算法等。
: u6 D! w- i- q1 ]9 l
此外，还有一些常用的机器学习算法和技术，如集成学习、降维方法、深度学习、迁移学习、半监督学习等，它们通过不同的方式和建模方法来解决不同的问题。选择合适的机器学习算法需要考虑问题的性质、数据的特点、算法的可解释性和计算效率等因素。
: b% n5 f/ O9 V' h8 O+ \
2、线性回归算法
线性回归是一种统计方法，用于检查两个连续变量之间的关系：一个自变量和一个因变量。线性回归的目标是通过一组数据点找到最佳拟合线，然后可用于对未来的观察进行预测。


简单线性回归模型的方程为：

$ L; T3 X* I/ |y = b 0 + b 1 ∗ x y = b0 + b1*x
y=b0+b1∗x

其中 y 是因变量，x 是自变量，b0 是 y 截距（直线与 y 轴的交点），b1 是直线的斜率。斜率表示给定 x 变化时 y 的变化。
* N( o+ N$ p) U$ x$ W  h  b
为了确定最佳拟合线，我们使用最小二乘法，该方法找到使预测 y 值与实际 y 值之间的平方差之和最小化的线。线性回归也可以扩展到多个自变量，称为多元线性回归。多元线性回归模型的方程为：y = b 0 + b 1 x 1 + b 2 x 2 + … + b n ∗ x n y = b0 + b1x1 + b2x2 + … + bn*xny=b0+b1x1+b2x2+…+bn∗xn。其中 x1, x2, …, xn 是自变量，b1, b2, …, bn 是相应的系数。
- |1 l% C+ k$ l$ k
; n( Z1 [/ J1 {6 I; r3 `, F* _0 c0 g线性回归可用于简单线性回归和多元线性回归问题。系数 b0 和 b1, …, bn 使用最小二乘法估计。一旦估计了系数，它们就可以用于对因变量进行预测。线性回归可用于对未来进行预测，例如预测股票的价格或将出售的产品的单位数量。然而，线性回归是一种相对简单的方法，可能并不适合所有问题。它假设自变量和因变量之间的关系是线性的，但情况可能并非总是如此。此外，线性回归对异常值高度敏感，这意味着如果存在任何不遵循数据总体趋势的极值，将会显着影响模型的准确性。
" \) P! z* O' R) {9 p9 ?
2 |) R6 Q0 g0 [) D- N2 n总之，线性回归是一种强大且广泛使用的统计方法，可用于检查两个连续变量之间的关系。它是一个简单但功能强大的工具，可用于预测未来。但是，请务必记住，线性回归假设变量之间存在线性关系，并且对异常值敏感，这可能会影响模型的准确性。
3 w5 }! Z) u) N3 E* P: {0 ~, b! _
- V* E0 D$ Q) S# Y$ n0 M2.1 线性回归的假设是什么？
线性：自变量和因变量之间的关系是线性的。
  [, C3 l% z3 o: u4 N9 w
独立性：观察结果彼此独立。
  B9 a, c7 b0 }4 n' k9 s
. x' F2 l% q9 V" q" e( z同方差性：误差项的方差在自变量的所有水平上都是恒定的。

正态性：误差项呈正态分布。
! \4 z1 y; T- P! v% ?# V4 B
无多重共线性：自变量彼此不高度相关。

+ X8 S4 \! b5 H9 F* C+ J, Y. y0 q无自相关：误差项与其自身不自相关。

7 W! r6 \; P$ ]1 M2.2 如何确定线性回归模型的拟合优度？
- b; j( m9 O# O有多种方法可以确定线性回归模型的拟合优度：

R 平方：R 平方是一种统计度量，表示因变量中的方差由模型中的自变量解释的比例。R 平方值为 1 表示模型解释了因变量中的所有方差，值为 0 表示模型没有解释任何方差。

调整 R 平方：调整 R 平方是 R 平方的修改版本，它考虑了模型中自变量的数量。在比较具有不同数量自变量的模型时，它可以更好地指示模型的拟合优度。

" K; q1 h3 I& g' @3 U均方根误差 (RMSE)：RMSE 衡量预测值与实际值之间的差异。RMSE 较低表明模型与数据的拟合效果更好。

平均绝对误差 (MAE)：MAE 测量预测值与实际值之间的平均差异。MAE 越低表明模型与数据的拟合效果越好。

5 Q1 L- i! T4 x6 D  p: u) D7 K' o
1 Y, F2 ^9 X- Z; @
+ V( B9 E$ F, {0 P1 R2.3 如何处理线性回归中的异常值？
- j* Q% u- R/ |线性回归中的异常值可能会对模型的预测产生重大影响，因为它们可能会扭曲回归线。处理线性回归中的异常值有多种方法，包括以下几点：
6 k3 A7 {: f# `! u. t$ D& x2 j
删除异常值：一种选择是在训练模型之前简单地从数据集中删除异常值。然而，这可能会导致重要信息的丢失。
% K* ?( M% l! ]; P- N# O2 J
转换数据：应用转换（例如记录数据日志）有助于减少异常值的影响。

使用稳健回归方法：稳健回归方法（例如 RANSAC 或 Theil-Sen）对异常值的敏感度低于传统线性回归。

+ q- j# F) x) X: U. \使用正则化：正则化可以通过在成本函数中添加惩罚项来帮助防止由异常值引起的过度拟合。

总之，采用什么方法将取决于特定的数据集和分析的目标。
1 K5 x# Q6 J. L8 S- o# L3 w1 Q- d% K
1 |# H, E  m+ B9 {  s3、逻辑回归算法
# o) {% ^3 U9 C+ ~8 Y逻辑回归是一种统计方法，用于根据一个或多个自变量预测二元结果，例如成功或失败。它是机器学习中的一种流行技术，通常用于分类任务，例如确定电子邮件是否是垃圾邮件，或预测客户是否会流失。
9 _/ h# G: @/ f  D/ z; o


逻辑回归模型基于逻辑函数，逻辑函数是一个sigmoid函数，它将输入变量映射到 0 到 1 之间的概率。然后使用该概率对结果进行预测。
9 m; K% |+ q) A  I- d+ G
$ ]9 b4 K5 @* o" ~7 n逻辑回归模型由以下方程表示：

P ( y = 1 ∣ x ) = 1 / ( 1 + e − ( b 0 + b 1 x 1 + b 2 x 2 + … + b n ∗ x n ) ) P(y=1|x) = 1/(1+e^-(b0 + b1x1 + b2x2 + … + bn*xn))
P(y=1∣x)=1/(1+e
9 K$ f+ E$ t( \" S5 r/ ~: E−
(b0+b1x1+b2x2+…+bn∗xn))
  X) [( C( \! ~$ G# g  r$ S5 [. g
3 q8 B' c. k' V/ a其中 P(y=1|x) 是给定输入变量 x 时结果 y 为 1 的概率，b0 是截距，b1, b2, …, bn 是输入变量 x1, x2, … 的系数， xn。通过在数据集上训练模型并使用优化算法（例如梯度下降）来最小化成本函数（通常是对数损失）来确定系数。模型训练完成后，就可以通过输入新数据并计算结果为 1 的概率来进行预测。将结果分类为 1 或 0 的阈值通常设置为 0.5，但这可以根据情况进行调整具体任务以及误报和漏报之间所需的权衡。
9 J- i- a1 h% X, L
3.1 什么是逻辑函数?
逻辑函数，也称为s i g m o i d sigmoidsigmoid函数，是一条 S 形曲线，将任何实数值映射到 0 到 1 之间的值。它的定义为f ( x ) = 1 / ( 1 + e − x ) f(x) = 1 / (1 + e^-x )f(x)=1/(1+e
1 {8 m. C: f# m% R' G−
2 j" q/ S# _) V6 v2 e x)其中 e 是自然对数的底。逻辑函数在逻辑回归中用于对二元结果的概率进行建模。
* f0 N7 t3 I& w( ~1 n3 {
6 e. e. ]5 _% r( k7 S2 X9 e9 i# X

3.2 逻辑回归可以用于多类分类吗？
逻辑回归可用于多类分类，方法是为每个类创建单独的二元逻辑回归模型并选择预测概率最高的类。这被称为一对一或一对一的方法。或者，我们可以使用s o f t m a x softmaxsoftmax回归，它是逻辑回归的推广，可以直接处理多个类。

3.3 如何解释逻辑回归中的系数？
逻辑回归中的系数表示在保持所有其他预测变量不变的情况下，预测变量发生一个单位变化时结果的对数几率的变化。优势比可用于解释系数的大小。优势比大于 1 表示预测变量增加一个单位会增加结果的可能性，而优势比小于 1 表示预测变量增加一个单位会降低结果的可能性。

4、支持向量机（SVM）算法
支持向量机 (SVM) 是一种监督学习算法，可用于分类或回归问题。SVM 背后的主要思想是通过最大化间隔（边界与每个类最近的数据点之间的距离）来找到分隔数据中不同类的边界。这些最接近的数据点称为支持向量。
! o* m( X; [3 n

当数据不可线性分离（这意味着数据不能用直线分离）时，SVM 特别有用。在这些情况下，SVM 可以使用称为核技巧的技术将数据转换为更高维的空间，其中可以找到非线性边界。SVM 中使用的一些常见核函数包括多项式、径向基函数 (RBF) 和s i g m o i d sigmoidsigmoid。

SVM 的主要优点之一是它们在高维空间中非常有效，并且即使在特征数量大于样本数量时也具有良好的性能。此外，SVM 内存效率高，因为它们只需要存储支持向量，而不是整个数据集。另一方面，SVM 对核函数和算法参数的选择很敏感。还需要注意的是，SVM 不适合大型数据集，因为训练时间可能相当长。总之，支持向量机（SVM）是一种强大的监督学习算法，可用于分类和回归问题，特别是当数据不可线性分离时。该算法以其在高维空间中的良好性能以及发现非线性边界的能力而闻名。然而，它对核函数和参数的选择很敏感，也不适合大型数据集。
, \" \/ r0 C6 f
7 c" b& B, w( P" {( ~. @4.1 优点
在高维空间中有效：即使当特征数量大于样本数量时，SVM 也具有良好的性能。

内存效率高：SVM 只需要存储支持向量，而不需要存储整个数据集，因此内存效率高。

2 F( M1 n, N8 u通用性：SVM 可用于分类和回归问题，并且可以使用核技巧处理非线性可分离数据。

2 b, J( i8 s  G4 o/ O对噪声和异常值具有鲁棒性：SVM 对数据中的噪声和异常值具有鲁棒性，因为它们仅依赖于支持向量。

/ n9 y4 }) I) F. P4.2 缺点
+ m) N7 G3 m* o/ h9 p0 f2 Y对核函数和参数的选择敏感：SVM 的性能高度依赖于核函数的选择和算法参数。

不适合大型数据集：对于大型数据集，SVM 的训练时间可能会相当长。

解释结果困难：解释 SVM 的结果可能很困难，特别是在使用非线性核时。
/ c, }6 p1 S- U
不适用于重叠类：当类有明显重叠时，SVM 可能会遇到困难。

总之，SVM 是一种强大且通用的机器学习算法，可用于分类和回归问题，特别是当数据不可线性分离时。然而，它们可能对核函数和参数的选择敏感，不适合大型数据集，并且难以解释结果。
9 n% F. Q6 {6 I1 y4 e# T' g


3 m% F3 M0 T0 [- }