MSE（均方误差）梯度下降算法

2744557306

本文提供的代码实现了MSE（均方误差）梯度下降算法，也被称为Widrow-Hoff规则。以下是代码的大致解释：

1. 初始设置N为100，生成两类随机样本数据，并绘制初始样本分布图。
4 T4 t2 \4 P% A5 Y' [) Q
( S; {4 n1 f1 S+ P2. 将训练样本X复制给增广样本向量Y，并添加一列全为1的偏置列。然后将第二类样本取负值，从而规范化数据。

; A7 i( d" t9 J4 f3. 初始化权向量W0和W为[0 0 0]和[1 1 1]。设置学习率p为1.0，迭代次数k为1，阈值b为0.5，计算W1为W-W0，设置flag为1。
# ^  @3 k" W9 c. G; F1 @
# @: e: A4 a$ }' Z6 e( O  ~5 p& `4. 在迭代中，如果标志flag为1且W1的范数大于10^(-3)，则执行以下操作：
   a. 对于每个样本i，如果W0与Y(i,的内积小于阈值b，则更新权重W以使其逼近Y(i,并计算新的W1。
. F- |* p  {; e; f4 |& [8 }$ Y! a   b. 更新W0为新的W，增加迭代次数k，并将flag设为1。
/ n4 p2 M( o) k$ y2 x8 O) [1 i2 F5 a
6 a% X, g. ]9 l* z* Z, }9 {5. 随机生成一个待判断样本x，并将其转化为增广样本。根据计算得到的权重W和阈值b来判断待判样本属于哪一类，并在图中用标记表示。
, I' U% I- p9 P6 L& G0 l4 Q* c
6. 根据更新后的权重W，计算并绘制判别直线。
$ c3 r. v" b& n4 }5 T' |$ n
- F, k# s' _5 Y* C8 U! [( ?  q总的来说，该代码实现了一个简单的二分类任务，使用MSE梯度下降算法（Widrow-Hoff规则）来训练模型，然后根据训练后的模型对新样本进行分类，并在图中展示分类结果和判别直线。


) F% V( B& u3 [4 Y) b
4 E! }$ l1 L. U4 p+ m