数学建模社区-数学中国

标题: 使用卷积神经网络开发图像分类模型 [打印本页]

---

作者: 1047521767    时间: 2021-10-29 17:31
标题: 使用卷积神经网络开发图像分类模型
                                                   使用卷积神经网络开发图像分类模型
简介
2 ^- ~: q6 z) L8 X
这篇文章是关于卷积网络、它的工作和组件: 在本文中，我们将使用卷积神经网络执行图像分类，并详细了解所有步骤。因此，如果你对此不熟悉，请继续阅读。
% l( ?& |# i  n2 Q% v7 x9 A/ C' l
简而言之，CNN 是一种深度学习算法，也是适用于图像和视频的神经网络类型之一。我们可以从 CNN 中实现各种功能，其中一些是图像分类、图像识别、目标检测、人脸识别等等。

今天，我们将对CIFAR10 数据集执行图像分类，它是 Tensorflow 库的一部分。它由各种物体的图像组成，如船舶、青蛙、飞机、狗、汽车。该数据集共有 60,000 张彩色图像和 10 个标签。现在让我们进入编码部分。

* i! A. |8 Z0 g- Z# Y! U7 N8 I实施

# importing necessary libraries
import numpy as np
7 t1 J! l5 [) O. `- A. Z. nimport matplotlib.pyplot as plt
2 k! {6 ?6 E/ b%matplotlib inline
1 p8 ~( A- R4 U& z7 Y# To convert to categorical data
% y* j/ a' x  Lfrom tensorflow.keras.utils import to_categorical
, M! U% j* v; w; E8 J( y#libraries for building model
$ W& m% _! c( `8 H: E+ _/ Gfrom tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense, Conv2D, MaxPool2D, Dropout,Flatten
- v  S6 A. y4 n* E  k& u4 x' rfrom tensorflow.keras.datasets import cifar10

! }: [: _' M: C  u3 R#loading the data
(X_train, y_train), (X_test, y_test) = cifar10.load_data()

0 u$ u8 @$ k3 R; m* k探索性数据分析
#shape of the dataset
print(X_train.shape)
  V2 A' X- y" l3 c# f  {print(y_train.shape)
print(X_test.shape)
print(y_test.shape)
0 s  `0 C+ D: M" d+ R1 s! ~9 B

我们的训练数据有 50,000 张图像，测试数据有 10,000 张图像，大小为 32*32 和 3 个通道，即 RGB（红、绿、蓝）
4 X2 I: x. I; G9 r#checking the labels
np.unique(y_train)
$ W7 `+ a: F( K4 W) V' Q9 d- ]
: v2 `' ?0 Y5 m/ [6 \
#first image of training data
plt.subplot(121)
plt.imshow(X_train[0])
% S+ C. w- R$ l! H( n# A: d/ rplt.title("Label : {}".format(y_train[0]))
#first image of test data
1 a) M; ~  |& c$ S& H: J2 ^. x- Zplt.subplot(122)
plt.imshow(X_test[0])
2 s4 V/ q1 \  E  W4 w/ {7 ]plt.title("Label : {}".format(y_test[0]));
+ Z. f6 s7 n5 a/ J' S3 i1 L* ?

4 Z* U2 m  Q) d4 T0 z, p9 t#visualizing the first 20 images in the dataset
for i in range(20):
    #subplot
    plt.subplot(5, 5, i+1)
; |9 s+ i1 A8 Y) h    # plotting pixel data
    plt.imshow(X_train, cmap=plt.get_cmap('gray'))
# show the figure
2 K- f4 e- o4 f. ^plt.show()

" C) k) |( M8 P. z
9 J( H1 i' ~) a& S预处理数据

对于数据预处理，我们只需要在这里执行两个步骤，首先是缩放图像的像素值到0到1之间，然后是将标签从 2D 重塑为 1D

# Scale the data to lie between 0 to 1
X_train = X_train/255
7 n7 e6 ^, P9 x4 [& r  fX_test = X_test/255
7 [. Z- r! }- {- y! Sprint(X_train)

. w) M) [: _6 ?& q& i
#reshaping the train and test lables to 1D
y_train = y_train.reshape(-1,)
; A2 j% L4 V0 v2 py_test = y_test.reshape(-1,)
/ {, M1 W) s, E$ c) X8 g
我们在上图中可以看到，图像的像素值已经进行了缩放，其数值在 0 到 1 之间，并且标签也进行了重塑。数据已准备好建模，现在让我们构建 CNN 模型。
模型搭建

正如我们之前讨论的，深度学习模型的构建分为 5 个步骤，即定义模型、编译模型、拟合模型、评估模型和进行预测，这也是我们在这里要做的。

# h7 P$ K7 \4 j% K3 G5 A, F1 `model=Sequential()
/ x. S; X# A( C#adding the first Convolution layer
. M- D+ }3 H- r6 q1 Smodel.add(Conv2D(32,(3,3),activation='relu',input_shape=(32,32,3)))
#adding Max pooling layer
5 C0 t1 X! E) G1 z) Hmodel.add(MaxPool2D(2,2))
#adding another Convolution layer
" Q* |: M* k% c. P/ G) j! ]model.add(Conv2D(64,(3,3),activation='relu'))
- g6 [' K0 l7 m$ Vmodel.add(MaxPool2D(2,2))
& T4 s3 P/ u" X: T. [* ~model.add(Flatten())
#adding dense layer
; a' L( I2 {* @1 ]7 o* c; imodel.add(Dense(216,activation='relu'))
#adding output layer
model.add(Dense(10,activation='softmax'))

5 Q) F6 h! B. C6 T我们添加了第一个带有 32 个大小为 (3*3) 的过滤器的卷积层，使用的激活函数是 Relu，并为模型提供输入形状。
. j" c8 t2 b# a
接下来添加了大小为 (2*2)的Max Pooling 层。最大池化有助于减少维度。CNN 组件的解释请参考：https://www.analyticsvidhya.com/blog/2021/08/beginners-guide-to-convolutional-neural-network-with-implementation-in-python/
! n$ j+ q3 |( H  ^6 V/ S- w1 U5 w
& {6 b2 |, j8 l2 w然后我们又添加了一个卷积层， 其中包含 64 个大小为(3*3) 的过滤器 和一个大小为 (2*2)的 最大池化层
( r1 z8 \" e/ C0 f/ b, m
3 w# q) Q: b/ l! M9 ]7 r在下一步中，我们将层展平以将它们传递到 Dense 层，并添加了一个包含 216 个神经元的Dense 层。
6 L. a1 |& d% f5 F& f" J
最后，输出层添加了一个 softmax 激活函数，因为我们有 10 个标签。
- r4 Z  S  b. N; X7 w# ^
, B8 H" X, B( u, P! n第 2 步：编译模型
$ B, u8 V4 Y* J5 Lmodel.compile(optimizer='rmsprop',loss='sparse_categorical_crossentropy',metrics=['accuracy'])
$ I& p# h8 u7 {2 b/ }  G# ^
$ C% }. ]4 m9 i+ i第 3 步：拟合模型model.fit(X_train,y_train,epochs=10)
% F# \, k* z- k

如上图所示，我们的准确率为 89%，损失为 0.31。让我们看看测试数据的准确性。
第 4 步：评估模型model.evaluate(X_test,y_test)

0 M/ Q1 |- }5 q1 e3 S$ g
% J& t. W! v1 S; Q/ |测试数据的准确率为 69%，与训练数据相比非常低，这意味着我们的模型过度拟合。
% i/ a( \8 u8 v第 5 步：进行预测
pred=model.predict(X_test)
0 Q7 P+ q3 O  s7 C/ ~  i#printing the first element from predicted data
- {  i# i4 ]' o) gprint(pred[0])
#printing the index of
% j; K0 k8 ^4 {$ h: H; o3 Tprint('Index:',np.argmax(pred[0]))


. I5 n1 C" e! Q2 H8 t

因此，预测函数给出的是所有10个标签的概率值，概率最高的标签是最终预测。在我们的例子中，我们得到了第三个索引处的标签作为预测。

将预测值与实际值进行比较以查看模型执行的正确程度。

在下图中，我们可以看到预测值与实际值的差异。

y_classes = [np.argmax(element) for element in pred]
print('Predicted_values:',y_classes[:10])
$ C% `, A- u) d- yprint('Actual_values:',y_test[:10])


' d! o/ x& d( U7 h6 L$ Y& m3 o

当我们看到我们的模型过度拟合时，我们可以使用一些额外的步骤来提高模型性能并减少过度拟合，例如向模型添加 Dropouts或执行数据增强，因为过度拟合问题也可能是由于可用数据量较少。

在这里，我将展示我们如何使用 Dropout 来减少过拟合。我将为此定义一个新模型。

$ o, M% g% t, [$ ]$ l6 k' mmodel4=Sequential()
7 @7 q' n/ \! P) u5 L, S. Y#adding the first Convolution layer
model4.add(Conv2D(32,(3,3),activation='relu',input_shape=(32,32,3)))
#adding Max pooling layer
8 U! {, n8 U$ @9 `9 k% Hmodel4.add(MaxPool2D(2,2))
#adding dropout
model4.add(Dropout(0.2))
#adding another Convolution layer
" ^4 R0 i6 N" ~; ]$ Z# |+ u7 s% Umodel4.add(Conv2D(64,(3,3),activation='relu'))
model4.add(MaxPool2D(2,2))
#adding dropout
model4.add(Dropout(0.2))
# g, E5 h4 K! Pmodel4.add(Flatten())
% m/ o! b9 u) y% f#adding dense layer
0 ?# u8 {8 [2 K- U1 mmodel4.add(Dense(216,activation='relu'))
#adding dropout
) Z0 V% q- ]$ ]% Fmodel4.add(Dropout(0.2))
#adding output layer
model4.add(Dense(10,activation='softmax'))
: V* C/ ^& j* i; _% S1 smodel4.compile(optimizer='adam',loss='sparse_categorical_crossentropy',metrics=['accuracy'])
model4.fit(X_train,y_train,epochs=10)
. H# `1 ^  b$ ~  C6 B) H
' s, W' G5 T( ~9 \+ k. G
model4.evaluate(X_test,y_test)
2 a  [* q% I3 l0 g1 K7 i
通过这个模型，我们得到了76%的训练准确率（低于第一个模型），但我们得到了72%的测试准确率，这意味着过拟合的问题在一定程度上得到了解决。
' y3 x) m( O, N5 c
, S8 M- R$ X1 {' X" _$ E尾注
这就是我们在 Python 中实现 CNN 的方式。这里使用的数据集是一个简单的数据集，可用于学习目的，但一定要尝试在更大和更复杂的数据集上实现 CNN。这也将有助于发现更多挑战和解决方案。
% Z  l9 M% F( \% b

---

欢迎光临 数学建模社区-数学中国 (http://www.madio.net/)

Powered by Discuz! X2.5