QQ登录

只需要一步,快速开始

 注册地址  找回密码
查看: 1606|回复: 0
打印 上一主题 下一主题

支持向量机(SVM)分类器(matlab实现)

[复制链接]
字体大小: 正常 放大

1175

主题

4

听众

2854

积分

该用户从未签到

跳转到指定楼层
1#
发表于 2023-8-19 16:41 |只看该作者 |倒序浏览
|招呼Ta 关注Ta
支持向量机(Support Vector Machine,SVM)是一种常用的监督学习算法,广泛应用于模式识别、分类和回归分析等领域。SVM 的主要目标是找到一个最优的超平面来对数据进行划分,并实现在非线性情况下的高效分类。
通俗地说,我们可以想象 SVM 是一个将不同类别的数据点分隔开的分割线(二维平面)或超平面(高维空间)。SVM基于训练集中的样本点,通过寻找最优的分割线或超平面来实现分类。这里的最优意味着,将不同类别的样本点分隔得尽可能宽,以提高对新样本的泛化能力。分割线或超平面两侧的数据点被称为支持向量,它们对分类决策起到重要作用。

( J- @  |$ Q- F: O! @! v6 \1 C这段代码是一个简单的支持向量机(SVM)分类器的示例。代码使用了名为 "heart_scale" 的数据集,首先将数据集分为训练集和测试集,然后利用SVM模型对测试集进行分类,并将结果与实际标签进行对比。为了可视化高维数据,代码还使用了多维缩放(MDS)将数据从13维降低到2维。
+ v: Q+ X+ r; l0 f6 `0 j+ Z( t首先,代码读取 "heartscale" 数据集,其中包括标签(heartscalelabel)和特征向量(heartscale_inst)。然后确定训练集和测试集的索引,并将数据分成相应的部分。  E$ l* C! C! c; i; `
接下来,代码使用训练集数据(trainData)和标签(trainLabel)训练SVM模型。然后使用训练好的模型对测试集数据(testData)进行分类,得到预测标签(predictlabel)、准确率(accuracy)和类别概率值(probvalues)。0 B& l6 U" x8 U
代码的下一部分是为每个类别分配颜色。根据数据集标签的值,将其转换为类别索引,然后使用预先定义的颜色列表(colorList)为每个类别确定颜色。
" {8 ~* q7 d1 h( t- s9 y) x通过多维缩放(MDS),代码将原始的13维特征向量降低到2维。首先,通过计算特征向量间的欧氏距离(distanceMatrix),得到距离矩阵。然后,将距离矩阵作为输入,使用MDS将特征向量降低到2维,得到新的坐标(newCoor)。
: K4 S9 y- N' Q& B最后,代码使用散点图展示结果。首先,在整个数据集上绘制散点图,并根据真实类别(colorTrueClass)为每个数据点上色。然后,绘制测试集的散点图,并根据真实类别(colorTrueClassPlot)和预测类别(colorResultClass)分别为数据点上色。最后,绘制训练集的散点图,并根据真实类别(colorTrueClassPlot)为数据点上色。
; k, q" A' s! K2 A$ }% R1 Q# O, N: ~9 w" m
当然,我会逐行解释以下代码的功能和作用。
5 W3 D- n0 J0 Q, z# w2 t( kclear4 _7 [7 F) u9 c  i
clc* r* N) C9 Q( b' b, D8 ^8 L7 o! {
close all
5 e, o: K0 F% Y# q7 x. v' o( g* o+ `- B; B4 h
这些行代码用于清除MATLAB工作区域中的变量,清除命令行窗口上的内容,并关闭所有打开的图形窗口。2 B0 s2 }. j, V% ~' r' i9 @4 ]
[heart_scale_label, heart_scale_inst] = libsvmread('heart_scale');5 Z, d7 H2 f) P) ]  k
[N,D] = size(heart_scale_inst);
( O1 W; x$ v$ G* N( j3 N3 _
& W4 @5 c) n5 }6 d2 A这两行代码读取文件 heart_scale 中的数据并将其分配给变量 heart_scale_label 和 heart_scale_inst。heart_scale_label 是数据的标签,而 heart_scale_inst 是数据的特征或属性。[N,D] = size(heart_scale_inst) 用于获取 heart_scale_inst 的大小,其中 N 是数据点的数量,D 是每个数据点的特征维度。/ |( ~7 E$ e6 P6 b% V
trainIndex = zeros(N,1); trainIndex(1:200) = 1;
* ]% H! B0 h$ N- {% f' ^3 y- F7 {testIndex = zeros(N,1); testIndex(201:N) = 1;
8 I9 M# g5 a( Y8 {1 Q8 a' UtrainData = heart_scale_inst(trainIndex==1,;
# _0 p) k% E. A( O% ntrainLabel = heart_scale_label(trainIndex==1,;3 \3 O# N# {6 {1 @
testData = heart_scale_inst(testIndex==1,;
) G8 J; ?  V5 Y; Z( mtestLabel = heart_scale_label(testIndex==1,;
% a9 K  Q0 n( z. R, k0 Y
' M+ U4 p- J& p2 @2 h' F5 [这部分代码定义了训练集和测试集的索引,并使用这些索引将数据划分为相应的部分。首先,通过创建一个大小为 N 的零向量 trainIndex 和 testIndex,将训练集和测试集的索引位置标记为1。然后,使用这些索引从 heart_scale_inst 和 heart_scale_label 中选择相应的数据点和标签,形成训练集数据 (trainData)、训练集标签 (trainLabel)、测试集数据 (testData) 和测试集标签 (testLabel)。$ B! i' \4 r" C
model = svmtrain(trainLabel, trainData, '-c 1 -g 0.07 -b 1');$ y6 `) p8 G& W( v: W8 X
[predict_label, accuracy, prob_values] = svmpredict(testLabel, testData, model, '-b 1');
5 H) Q. ?9 V7 L- x
# Z( m" M% K8 P4 V3 t, O8 p这部分代码使用支持向量机 (SVM) 进行训练和测试。首先,使用 svmtrain 函数训练一个SVM模型,其中训练集标签 (trainLabel) 和训练集数据 (trainData) 作为输入。额外的参数 -c 1 -g 0.07 -b 1 是SVM的参数设置,其中 -c 是惩罚项系数,-g 是高斯核函数的参数,-b 启用概率输出。训练完成后,得到一个训练好的模型 (model)。) S- i" n+ Y( F, u/ W1 ~" K- j
然后,使用 svmpredict 函数根据 model 对测试集数据 (testData) 进行预测,并将预测标签 (predict_label)、准确率 (accuracy) 和类别概率值 (prob_values) 分别赋值给相应的变量。! r. N5 A  }: W% w% @  L
colorList = prism(100);
# Y# A1 }1 g1 p1 m1 K. e7 mtrueClassIndex = zeros(N,1);
( I$ v9 t" m& \% LtrueClassIndex(heart_scale_label==1) = 1;
. K0 x- a3 R9 Q) H, r* h1 atrueClassIndex(heart_scale_label==-1) = 2;
# W9 t; U3 p& Y  q, v6 \colorTrueClass = colorList(trueClassIndex,;
4 y! T) t2 K5 G# I, t7 {) N, r2 I4 WresultClassIndex = zeros(length(predict_label),1);/ C% U2 l1 I2 O  r& B( E
resultClassIndex(predict_label==1) = 1;
" f! i, z& [6 a7 e8 b8 K# L6 QresultClassIndex(predict_label==-1) = 2;
' M+ u$ n3 w8 p0 t+ }colorResultClass = colorList(resultClassIndex,;
. e" A* l/ D$ S1 l& \$ _# Z9 \% _9 N
这部分代码用于为每个类别分配颜色。通过 prism(100) 函数创建一个颜色映射列表 colorList。然后,根据原始数据的标签 (heart_scale_label),将标签为1的数据点的索引标记为1,标签为-1的数据点的索引标记为2。根据这些索引,从 colorList 中选择相应的颜色,得到真实类别的颜色 (colorTrueClass)。类似地,使用预测标签 (predict_label) 创建结果类别的颜色 (colorResultClass)。/ e; i; ~6 N, A* }! B
distanceMatrix = pdist(heart_scale_inst,'euclidean');: g4 P% D# L, p5 J; ~! v, S1 l* K+ f
newCoor = mdscale(distanceMatrix,2);! _( A! d5 q! p1 Y
6 H7 [2 D9 [, t) u, t  B
这部分代码计算了原始数据点之间的欧氏距离矩阵 (distanceMatrix),并将其作为输入传递给 mdscale 函数。mdscale 函数将高维特征向量 (13D) 降维到2维,并返回新的二维坐标 (newCoor)。/ u! t9 g7 T% s7 q3 `6 _
x = newCoor(:,1);( h, G  b" M2 B3 T9 Z8 Z
y = newCoor(:,2);
5 J4 c/ v) a( [' o7 |patchSize = 30;1 V- U. B( O1 b# ^
colorTrueClassPlot = colorTrueClass;
/ h- Z. Z2 J, w8 B4 Qfigure; scatter(x,y,patchSize,colorTrueClassPlot,'filled');
4 ]4 G# ^# p% H$ ktitle('whole data set');0 s5 z0 j! C, U4 w) x3 ]

2 y& c" I1 y. @7 \这部分代码用于绘制整个数据集的散点图。首先,将新的坐标中的第一列 (x) 和第二列 (y) 分别赋值给变量。然后,根据真实类别的颜色 (colorTrueClassPlot),使用 scatter 函数绘制散点图,并设置散点的大小为 patchSize。最后,通过 title 函数给图像添加标题。
! U7 F4 R: {1 |( X. ix = newCoor(testIndex==1,1);6 L2 K3 A1 x; U! K
y = newCoor(testIndex==1,2);
/ q4 Z* @- k% _patchSize = 80*max(prob_values,[],2);' M6 M( |" S5 j+ v- V
colorTrueClassPlot = colorTrueClass(testIndex==1,;1 S* T6 q6 \! I
figure; hold on;: H( {$ j2 r0 p- g' C( H3 k# D
scatter(x,y,2*patchSize,colorTrueClassPlot,'o','filled');6 {% W3 X9 T9 E% ~
scatter(x,y,patchSize,colorResultClass,'o','filled');1 Y( X: R, k( P+ s$ [2 k
x = newCoor(trainIndex==1,1);
/ R6 a. V1 |2 ~y = newCoor(trainIndex==1,2);
& ~' O) i/ a9 A0 t' Q' x: XpatchSize = 30;2 }1 p7 X! I* Y) z
colorTrueClassPlot = colorTrueClass(trainIndex==1,;# C- ]; ^. U# z! U
scatter(x,y,patchSize,colorTrueClassPlot,'o');
; V8 t; r4 O* [title('classification results');1 N0 {9 A5 C: V0 H: x4 p7 O! M% m
4 Z4 W# T! w: S4 |: C" @6 }6 X
这部分代码用于绘制分类结果的散点图。首先,将测试集的新坐标 (newCoor) 中仅包含测试数据的部分的第一列 (x) 和第二列 (y) 赋值给 x 和 y 变量。然后,根据真实类别的颜色 (colorTrueClassPlot) 使用 scatter 函数绘制测试数据的散点图,设置散点的大小为 patchSize 的2倍,并使用真实类别的颜色填充。接下来,再次使用 scatter 函数绘制测试数据的散点图,散点的大小为 patchSize,颜色根据预测的类别 (colorResultClass) 填充。最后,将训练集数据的散点图绘制在图像上,同样使用真实类别的颜色填充。通过 title 函数给图像添加标题。
# m" p$ I6 D* x8 P+ H% H1 Z希望这些逐行解释能够帮助您理解代码的功能和作用。如果还有其他问题,请随时提问。/ F# v- B1 g9 {: e0 H) }
6 t. u0 l0 f6 f* H- d: V8 r4 @  H
6 b% }* @; j) A" g( y& Y
. x- y0 V) J* Q$ R0 O# f  k* J

SVM.rar

6.37 KB, 下载次数: 0, 下载积分: 体力 -2 点

售价: 3 点体力  [记录]  [购买]

zan
转播转播0 分享淘帖0 分享分享0 收藏收藏0 支持支持0 反对反对0 微信微信
您需要登录后才可以回帖 登录 | 注册地址

qq
收缩
  • 电话咨询

  • 04714969085
fastpost

关于我们| 联系我们| 诚征英才| 对外合作| 产品服务| QQ

手机版|Archiver| |繁體中文 手机客户端  

蒙公网安备 15010502000194号

Powered by Discuz! X2.5   © 2001-2013 数学建模网-数学中国 ( 蒙ICP备14002410号-3 蒙BBS备-0002号 )     论坛法律顾问:王兆丰

GMT+8, 2025-8-6 12:56 , Processed in 0.526530 second(s), 56 queries .

回顶部