QQ登录

只需要一步,快速开始

 注册地址  找回密码
查看: 3352|回复: 0
打印 上一主题 下一主题

[其他资源] K-近邻算法分类和回归

[复制链接]
字体大小: 正常 放大
杨利霞        

5273

主题

82

听众

17万

积分

  • TA的每日心情
    开心
    2021-8-11 17:59
  • 签到天数: 17 天

    [LV.4]偶尔看看III

    网络挑战赛参赛者

    网络挑战赛参赛者

    自我介绍
    本人女,毕业于内蒙古科技大学,担任文职专业,毕业专业英语。

    群组2018美赛大象算法课程

    群组2018美赛护航培训课程

    群组2019年 数学中国站长建

    群组2019年数据分析师课程

    群组2018年大象老师国赛优

    跳转到指定楼层
    1#
    发表于 2022-9-5 15:43 |只看该作者 |倒序浏览
    |招呼Ta 关注Ta
    . F8 Y0 S  b6 k3 p: B
    K-近邻算法分类和回归  W- @8 ^& Y, A! y+ S& P" S
    K近邻算法的主要思想是用离测试集数据点最近的训练集点(称为其邻居)的输出来估计测试集数据点的输出,参数K代表用多少个邻居来估计。超参数K通常设置为奇数来防止平局现象。3 Q% v  k* g! w

    ( i, `! c+ v5 h其中对邻居的判定:我们可以用欧几里得距离来衡量距离来确定其K个邻居。  F4 m$ [( i# |( a: f+ `7 i

    4 u0 S! ~. Q) M, u; gK近邻算法是一种惰性学习和非参数模型。当训练数据数量庞大,同时你对响应变量和解释变量之间的关系所知甚少时,非参数模型会非常有用。KNN 模型只基于一个假设:互相接近的实例拥有类似的响应变量值。非参数模型提供的灵活性并不总是可取的,当训练数据很缺乏或者你对响应变量和解释变量之间的关系有所了解时,对响应变量和解释变量之间关系做假设的模型就很有用。0 I! R6 C8 O8 G/ L; T" i+ i1 b

    . a* ]0 M2 b/ c0 DKNN模型分类:
    1 m: {" ?$ n7 y- n) K下面我们看一个分类的例子和代码实现来了解一下K近邻算法:
    - h7 O: o* j  {2 }1 h+ }' @( z
    . ~1 d+ ^: @9 A+ ]+ r8 \  H3 l( i$ h: v
    : y3 ^1 J3 L' x* z' @4 l
    上表是我们的训练集,下面先对数据进行可视化
    / U+ d; i0 F, T9 K; G* Q# J$ d! }% @- g
    import numpy as np
    * [3 a( ]0 ~3 Y- a* L. lfrom matplotlib import pyplot as plt
    + f0 x& [0 M% A9 |7 c$ l' t- simport sklearn
    + Y) _5 K- j: N* G
    & a, F( }0 i- z, {. i6 U! e, BX_train = np.array([ # 身高体重  d9 F" `# {; ]
        [158, 64],! K3 Z' E; o) }' J" Z1 d6 m
        [170, 86],
    - S/ ^" A1 l5 X* R& I: A( k0 G    [183, 84],/ g7 @  O4 @" g) B: x0 Q( o3 n
        [191, 80],
    ) m, x( F2 c' _5 `2 O    [155, 49],. M+ [, b; R+ P2 A2 K9 v1 g. {
        [163, 59],
    7 H# t! z& ]& Z+ ~. r  g& U. w* n    [180, 67],
    # k6 F' [, I$ v' o2 [$ r    [158, 54],
    ' l' ?$ m0 }$ s9 K( `9 P/ K    [170, 67]])7 t. ~7 O! G+ _& b) B4 ?) A/ z
    y_train = ['male']*4 + ['female']*5 # 性别/ [# q3 ?. j/ T& [% C. A; N
    % @1 I' m  a2 `3 [$ b2 g) d
    #绘制图像/ B  x* J" }8 C
    plt.figure()
    # g9 x: {5 h8 Z8 [plt.title('Human Height and Weights by Sex')
    + p( z6 x) X6 U! ~" dplt.xlabel('Height in cm'); U$ p% G0 m8 j; S7 ]; Z4 a
    plt.ylabel('Weight in kg')
    ) _8 u6 E- t9 E: f% E( q) T/ w. gfor i, x in enumerate(X_train):
    $ M+ n" `% o" D5 z2 b5 a: A    plt.scatter(x[0],x[1],c='k',marker='x' if y_train == 'male' else 'D')1 Y' N) G" n4 k2 g; @6 z9 p
    plt.grid()3 R7 \4 J# h0 K( O6 e, V
    plt.show()4 @6 P+ p$ z9 t3 k, y( N
    ( q0 @* l) ^+ g3 J; i5 a
    结果:
    " o# M9 }- Q8 N, w" \" M  D$ i
    ; T5 r7 W: z' T: g3 ^  ~
      d! u/ l2 b8 p7 B; L- A$ s( c  K8 q
    我们使用欧几里得距离公式来衡量距离:
    . A$ g( m! j) n5 b/ ]$ E5 |
    ( ~6 s' v7 j0 x  K, \  M1 L9 V% `; Y- m6 b
      C: |9 M  f, i2 K% b* g/ W) u
    / a- g+ ?. G0 S( `' l

    : q7 |1 g8 t) }' {  w) k, ] 我们设置参数K=3,来寻找3个距离最近的训练实例1 O5 b% A. f; @! s/ {& H8 q7 D! S
    / ^. M- @# ^2 x  g. n, b
    下面代码实现K近邻算法进行分类:" O8 n6 o/ k$ B3 z

    5 K  [1 |1 h! x2 J. Sx = np.array([[155, 70]])
    $ U8 }9 e) s0 e- Q* t; g! odistances = np.sqrt(np.sum((X_train - x)**2, axis=1)) # 计算距离
    1 B( W: }( b' [* I% \& \; G* a) B3 i( E0 G& E8 I* q
    nearest_neighbor_indices = distances.argsort()[:3] # 找出前三个距离最小的下标
    . x% I- s3 W! n+ G4 k# bnearest_neighbor_genders = np.take(y_train, nearest_neighbor_indices) # 得到下标对应的标签
    0 A! f) }! i" H" N! h1 u* y* f4 H+ K* g9 e) N2 t* x" u- H  s& t
    from collections import Counter
    / k4 G7 c1 F1 G9 xb = Counter(np.take(y_train, distances.argsort()[:3])) #得到三个结果标签中最频繁的标签得到结果female7 L( Q" E" \6 D, A; Q

    8 h/ A. D1 t2 v) {% Dprint(b.most_common(1)[0][0]) # female
    & v8 l" A, U: B2 m因此,从上述代码可以得到K近邻算法进行分类就是找到离样本点最近的K个实例,再取K个实例的标签中出现次数最多的那个作为我们的结果。4 Y* m" ?" P" f$ ^5 O& l
    6 @6 [1 l/ l0 W
    上述K近邻算法在scikit-learn中也有对应的函数:
    & l1 Z; D# e- |$ w2 |) s, j1 Z& Y+ b  s
    from sklearn.preprocessing import LabelBinarizer
    5 l9 c& L, f$ k+ dfrom sklearn.neighbors import KNeighborsClassifier9 {/ f6 C! i! P3 W( H
    % q" F$ z: U4 s; H9 y1 A% p
    lb = LabelBinarizer() # 创建将标签二值数值化的类实例/ W# ?' a8 @  c1 F" u+ S
    y_train_binarized = lb.fit_transform(y_train) # 将标签二值数值化
    , y8 ^9 X+ L! e* `. _) [5 tprint(y_train_binarized)
    # W6 [/ B$ n" f  {" w
    / a1 z5 \: @1 F4 w9 |8 AK = 3
    4 O/ @: @! o! u" C4 Eclf = KNeighborsClassifier(n_neighbors=K) # 创建K近邻分类器实例
    9 g9 e* X0 S# a  G" v+ p* m" I; _clf.fit(X_train, y_train_binarized.reshape(-1, 1)) # 对训练集进行训练
    ; C8 U' Z+ ?) d- fprediction_binarized = clf.predict(np.array([155, 70]).reshape(1,-1))[0] # 对测试样本点进行预测3 G/ q; c# g% }: H0 R2 k
    prediction_label = lb.inverse_transform(prediction_binarized) # 将预测结果从数字转换为标签" N1 A7 H' x* l9 M# [) \. k: [. J
    print(prediction_label) # array(['female'], dtype='<U6')
    0 I9 s6 O4 K4 y- AKNN回归:
    8 H* b; J  t! c2 b- n8 VK近邻算法进行回归和K近邻思想一致,只不过在得到了K个邻居后,分类是取邻居中出现次数最多的那个,而回归是取其他的操作来预测输出值(比如取平均)
    0 v; t( X* S: I. t
    9 ]# s9 Z  f$ r; v$ u% f- L8 t1 |* o对应的代码在scikit-learn中其实也很简单/ @$ [' R4 n4 ]) k; B% v( r6 v: G( X

    : C8 r$ [  i! G, p# _from sklearn.neighbors import KNeighborsRegressor# |" W+ F: c+ c- o2 D. C0 {
    K = 38 V8 [/ L4 R0 K. x& p) F& X( L
    clf = KNeighborsRegressor(n_neighbors=K)2 Y  n+ s3 r. N" @4 b$ j! e
    clf.fit(X_train, y_train)0 G  @0 W+ [% i
    predictions = clf.predict(X_test)+ V2 @$ j3 D8 N* Z
    特征缩放3 q" l2 }; W: O' L4 f) o
    下面我们谈谈一个提升算法精确度的小细节。假设还是上面的数据,我们现在要做回归,给定身高和性别标签来预测体重。如果我们的训练数据集包含一个身高170cm的男性和身高160cm的女性。如果我们的测试集数据为身高为164cm的男性,你觉得其预测结果会接近170cm的男性还是身高160cm的女性呢?我们可能相信测试实例更接近男性实例,因为对预测体重来说,性别差异可能会比 6cm 的身高差距更重要。但是如果我们以毫米为单位表示身高,测试实例更接近于身高1600mm 的女性。如果我们以米为单位表示身高,测试实例更接近于身高 1.7m 的男性。(记住我们以欧几里得距离来衡量)$ Q, L1 Q1 ]3 R& }( l
    / s2 y: G6 P% ]
    因此,我们的特征缩放的作用就出来了(其实就相当于深度学习对数据集预处理中的Normalize)
    ; O' ]% m1 p. Z# h6 q: j( \; |5 f0 ^# E
    将所有实例特征值减去均值来将其居中。其次将每个实例特征值除以特征的标准差对其进行缩放。均值为 0,方差为 1 的数据称为标准化数据。
    ; A  }6 h  l" {- Q6 r: l& C: v$ O7 s————————————————
    * E5 m) |7 _# V+ f+ O5 D- e版权声明:本文为CSDN博主「王大队长」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。  D7 M7 V4 C7 t' v4 ]: t
    原文链接:https://blog.csdn.net/qq_55621259/article/details/126695549' l8 U- |# l( B7 u  d
    : o$ a6 c7 }/ z# c9 [) }; f

    4 p) A6 j, w) d" r1 ?4 D6 b4 G
    zan
    转播转播0 分享淘帖0 分享分享0 收藏收藏0 支持支持0 反对反对0 微信微信
    您需要登录后才可以回帖 登录 | 注册地址

    qq
    收缩
    • 电话咨询

    • 04714969085
    fastpost

    关于我们| 联系我们| 诚征英才| 对外合作| 产品服务| QQ

    手机版|Archiver| |繁體中文 手机客户端  

    蒙公网安备 15010502000194号

    Powered by Discuz! X2.5   © 2001-2013 数学建模网-数学中国 ( 蒙ICP备14002410号-3 蒙BBS备-0002号 )     论坛法律顾问:王兆丰

    GMT+8, 2026-4-12 12:56 , Processed in 0.682514 second(s), 51 queries .

    回顶部