数学建模社区-数学中国

标题: 使用卷积神经网络开发图像分类模型 [打印本页]

---

作者: 1047521767    时间: 2021-10-29 17:31
标题: 使用卷积神经网络开发图像分类模型
                                                   使用卷积神经网络开发图像分类模型
简介
$ o" @- O' ~7 j4 r; l0 U
( M9 P- j+ F/ I/ L" }6 x这篇文章是关于卷积网络、它的工作和组件: 在本文中，我们将使用卷积神经网络执行图像分类，并详细了解所有步骤。因此，如果你对此不熟悉，请继续阅读。
0 u! `9 R5 t2 q, a6 M
, B; `4 S" \8 q! E9 A简而言之，CNN 是一种深度学习算法，也是适用于图像和视频的神经网络类型之一。我们可以从 CNN 中实现各种功能，其中一些是图像分类、图像识别、目标检测、人脸识别等等。
+ i2 G% k9 ]' x) W! U7 _2 \
今天，我们将对CIFAR10 数据集执行图像分类，它是 Tensorflow 库的一部分。它由各种物体的图像组成，如船舶、青蛙、飞机、狗、汽车。该数据集共有 60,000 张彩色图像和 10 个标签。现在让我们进入编码部分。
9 s! S1 c( u( ]7 z( B% [1 z
$ L8 r' L% p3 a8 @+ s" A" ^实施
: b  T$ v# q  k; I+ q# B# z6 [; J
- y, ~9 B( \0 F# importing necessary libraries
import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline
, ]$ k1 e% I" Y7 S. ]# To convert to categorical data
) V  Q/ P6 T( tfrom tensorflow.keras.utils import to_categorical
! ?# A+ @6 U9 Z7 K8 T( z6 k: f#libraries for building model
3 P2 u- ^; [% c' }2 J: C# ofrom tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense, Conv2D, MaxPool2D, Dropout,Flatten
from tensorflow.keras.datasets import cifar10
. x6 @5 V; ~6 E% y4 b* b
% p& V8 N2 G+ Q#loading the data
) u5 I; c) `" r7 j; Y- x(X_train, y_train), (X_test, y_test) = cifar10.load_data()

探索性数据分析
# C+ T; n2 k/ P#shape of the dataset
* i! o/ ?- x5 }' e4 g9 c( D& yprint(X_train.shape)
print(y_train.shape)
print(X_test.shape)
print(y_test.shape)
( T+ o0 F1 ^4 U# [" }3 C" }

我们的训练数据有 50,000 张图像，测试数据有 10,000 张图像，大小为 32*32 和 3 个通道，即 RGB（红、绿、蓝）
#checking the labels
7 [$ u  z/ j8 L, E. A  @np.unique(y_train)
5 P0 F6 J! l* g0 e/ L7 j5 \
$ `; e! ?( G3 w: z8 \3 B( ?
2 \. R5 L+ ?7 Y  t& S9 k#first image of training data
plt.subplot(121)
plt.imshow(X_train[0])
: q3 D0 {! x4 I7 a0 gplt.title("Label : {}".format(y_train[0]))
#first image of test data
plt.subplot(122)
plt.imshow(X_test[0])
  d  L; M& S2 v1 ?; f) Zplt.title("Label : {}".format(y_test[0]));

, j$ `5 y* |  j5 U2 z" t
% \/ m/ L( q  C5 A1 X1 Z#visualizing the first 20 images in the dataset
- ~$ Q  L+ e- b0 n# zfor i in range(20):
% I# J6 q" y: l, z    #subplot
    plt.subplot(5, 5, i+1)
' w- f4 e; C2 E, W8 N& o# L6 @/ V    # plotting pixel data
  ?5 M% A5 B) s4 \6 h    plt.imshow(X_train, cmap=plt.get_cmap('gray'))
, P  ]5 h, n+ v1 H6 h+ ]* @" G8 l# show the figure
4 q- F) m  c( W: Z4 rplt.show()
$ d: E4 L$ t7 S2 D

预处理数据

对于数据预处理，我们只需要在这里执行两个步骤，首先是缩放图像的像素值到0到1之间，然后是将标签从 2D 重塑为 1D

# Scale the data to lie between 0 to 1
; D! E; g2 n8 F1 \: tX_train = X_train/255
( A- S/ v) @" ]( E' P2 C; KX_test = X_test/255
; C& |% P, ]4 P  w0 x3 T2 zprint(X_train)


#reshaping the train and test lables to 1D
y_train = y_train.reshape(-1,)
4 Q+ U3 b. S' {$ L  E6 @% H- q) t3 Oy_test = y_test.reshape(-1,)
' |+ B1 D( k# M' h
我们在上图中可以看到，图像的像素值已经进行了缩放，其数值在 0 到 1 之间，并且标签也进行了重塑。数据已准备好建模，现在让我们构建 CNN 模型。
  P! }5 }* z$ w' \( J6 p% z模型搭建

正如我们之前讨论的，深度学习模型的构建分为 5 个步骤，即定义模型、编译模型、拟合模型、评估模型和进行预测，这也是我们在这里要做的。

6 P: F9 K' f5 ^& i# Q& m6 [0 dmodel=Sequential()
/ T7 _# ^- n) T; p% r#adding the first Convolution layer
model.add(Conv2D(32,(3,3),activation='relu',input_shape=(32,32,3)))
8 U. e  H5 r1 T" h* N#adding Max pooling layer
5 n; y5 ?8 V3 o! I; S+ ?, _model.add(MaxPool2D(2,2))
#adding another Convolution layer
model.add(Conv2D(64,(3,3),activation='relu'))
  K9 f/ k8 J5 x2 W/ Ymodel.add(MaxPool2D(2,2))
model.add(Flatten())
#adding dense layer
model.add(Dense(216,activation='relu'))
#adding output layer
model.add(Dense(10,activation='softmax'))
# b& r2 T2 l- k7 n( W" c" V
1 q/ S+ q7 l5 A; B' P( F- B我们添加了第一个带有 32 个大小为 (3*3) 的过滤器的卷积层，使用的激活函数是 Relu，并为模型提供输入形状。

- C; y! t5 Y5 O$ a1 o接下来添加了大小为 (2*2)的Max Pooling 层。最大池化有助于减少维度。CNN 组件的解释请参考：https://www.analyticsvidhya.com/blog/2021/08/beginners-guide-to-convolutional-neural-network-with-implementation-in-python/
3 m4 K" K: G. q' E
然后我们又添加了一个卷积层， 其中包含 64 个大小为(3*3) 的过滤器 和一个大小为 (2*2)的 最大池化层
$ u% ~6 O9 b3 P8 |$ E2 C7 i
在下一步中，我们将层展平以将它们传递到 Dense 层，并添加了一个包含 216 个神经元的Dense 层。
0 B$ p5 v, M! _1 P
最后，输出层添加了一个 softmax 激活函数，因为我们有 10 个标签。

第 2 步：编译模型
( j( h/ `8 m" ^5 lmodel.compile(optimizer='rmsprop',loss='sparse_categorical_crossentropy',metrics=['accuracy'])
( R) R' a8 H2 b, d1 j
2 k1 i8 v% c, |4 C( ^/ x5 l& U9 ~8 Y3 _第 3 步：拟合模型model.fit(X_train,y_train,epochs=10)

4 Q8 |' z* |! z5 z  {+ _' k
如上图所示，我们的准确率为 89%，损失为 0.31。让我们看看测试数据的准确性。
7 G# j, G. \+ V1 e: l" B第 4 步：评估模型model.evaluate(X_test,y_test)
: z0 U1 S4 n, A  }( f8 S
5 K% C' m% [! ?$ M: @4 y) Y/ T
测试数据的准确率为 69%，与训练数据相比非常低，这意味着我们的模型过度拟合。
第 5 步：进行预测
pred=model.predict(X_test)
; K; k, e) w! d! a2 X#printing the first element from predicted data
: S& A; O8 y) L" p' Q! O  k8 G# Cprint(pred[0])
#printing the index of
print('Index:',np.argmax(pred[0]))

9 g& ]0 R' g% V& |

因此，预测函数给出的是所有10个标签的概率值，概率最高的标签是最终预测。在我们的例子中，我们得到了第三个索引处的标签作为预测。

将预测值与实际值进行比较以查看模型执行的正确程度。

在下图中，我们可以看到预测值与实际值的差异。

y_classes = [np.argmax(element) for element in pred]
print('Predicted_values:',y_classes[:10])
7 `! {5 W9 d" [, E2 o8 Qprint('Actual_values:',y_test[:10])
  ]1 P) D- w" a9 M
6 T6 _7 J: ]9 g$ Q
5 V& T" k+ f) d" v4 P

当我们看到我们的模型过度拟合时，我们可以使用一些额外的步骤来提高模型性能并减少过度拟合，例如向模型添加 Dropouts或执行数据增强，因为过度拟合问题也可能是由于可用数据量较少。

在这里，我将展示我们如何使用 Dropout 来减少过拟合。我将为此定义一个新模型。

model4=Sequential()
2 ?$ I' g, k3 \9 U* g+ U5 d#adding the first Convolution layer
) N" Y/ @9 M/ [- nmodel4.add(Conv2D(32,(3,3),activation='relu',input_shape=(32,32,3)))
#adding Max pooling layer
4 i$ j4 _5 X9 N, \% Emodel4.add(MaxPool2D(2,2))
#adding dropout
7 u( \0 B3 O" a4 V$ ]6 ?model4.add(Dropout(0.2))
#adding another Convolution layer
2 K- i" W/ ]/ ~& b' g# z4 k" Q4 dmodel4.add(Conv2D(64,(3,3),activation='relu'))
3 n% Z5 l/ c! G4 G9 L* Mmodel4.add(MaxPool2D(2,2))
#adding dropout
6 G5 ]7 }0 o8 imodel4.add(Dropout(0.2))
model4.add(Flatten())
3 j' M% I5 b' s: q* j#adding dense layer
" l- l$ K3 Y, y% R% w1 t3 Ymodel4.add(Dense(216,activation='relu'))
( \" l! X6 h2 a- }" W#adding dropout
* }% Y7 I; [' p; {5 Lmodel4.add(Dropout(0.2))
#adding output layer
. t0 V: G: c5 J# `3 B: Vmodel4.add(Dense(10,activation='softmax'))
model4.compile(optimizer='adam',loss='sparse_categorical_crossentropy',metrics=['accuracy'])
model4.fit(X_train,y_train,epochs=10)
6 o6 J' v! n& [. _0 J
. s2 L+ ^+ a) [) h
model4.evaluate(X_test,y_test)
- [. L1 e! f' Y3 ~( q. C  h/ G( Z
, P2 S) h- W( {, E% ]通过这个模型，我们得到了76%的训练准确率（低于第一个模型），但我们得到了72%的测试准确率，这意味着过拟合的问题在一定程度上得到了解决。
8 W4 T( s! i- M# c/ n
$ M' _1 P# q% S& }尾注
这就是我们在 Python 中实现 CNN 的方式。这里使用的数据集是一个简单的数据集，可用于学习目的，但一定要尝试在更大和更复杂的数据集上实现 CNN。这也将有助于发现更多挑战和解决方案。
1 i& Z6 b. ~3 S5 f1 D8 W) N! ~

' \$ `$ y, x1 m

---

欢迎光临 数学建模社区-数学中国 (http://www.madio.net/)

Powered by Discuz! X2.5