【论文】PSO优化神经网络算法的研究及其应用

qq_1537237806

传统的神经网络训练算法存在收敛速度慢,易陷入局部最优等缺陷。近年来出现的群智能优化算法如粒子群优化(PSO)算法具有较好的全局收敛性能,可用于训练神经网络参数和结构。许多研究者提出了一些改进的PSO算法,但是仍存在各种不足之处。本文在对现有改进算法进行总结的基础上,着重针对保持PSO算法中种群的多样性、充分挖掘问题对象中蕴含的先验信息并耦合至PSO两方面提出了几种新的改进算法,同时将新算法应用于DNA微阵列数据处理的研究中。论文主要工作包含如下四个方面：1)现有的诸多PSO算法在迭代过程中微粒群的多样性不能很好地保持,针对此问题提出了一种改进的分期变异PSO(SMPSO)算法,用于优化神经网络参数及结构。SMPSO在早期对微粒值进行变异,后期对个体极值和全局极值进行随机扰动,始终将微粒群的多样性保持在合理范围。通过在两类分类数据集上的实验结果表明采用SMPSO训练神经网络比传统算法更加有效,在收敛速度和分类精度上均有提高。2)问题对象中蕴含有大量先验信息,将其提取出来并耦合进神经网络训练算法中可以加快收敛速度,提高模型处理准确性。但是,将先验信息耦合进PSO算法这方面的研究不多,因此,本文首先在函数逼近方面做了一些研究工作。在解决函数逼近问题时,提出了耦合两种先验信息的PSO优化神经网络算法。首先将提取的两种函数特征转化成等价的数学表达式,后耦合进PSO算法中用于训练神经网络。实验结果表明先验信息能使算法快速收敛,提高逼近精度,并且,两类先验信息对于不同函数的逼近效果有一定差异。3)在解决分类问题时,针对样本集大小的情况,分别提出了两种对应的耦合先验信息的PSO优化神经网络算法。第一,利用贝叶斯方法抽取样本的先验信息,耦合进PSO算法,然后用于训练BP神经网络；第二,利用支持向量机(SVM)算法处理小样本的优势,经过一定转化,将先验信息耦合进PSO,后与PLS算法相结合,用于优化径向基(RBF)神经网络参数和结构。实验结果证明了先验信息能缩小初始搜索空间,引导微粒飞行,从而提高算法收敛速度和分类正确率。4)DNA微阵列数据具有高维、小样本等特点,将上述针对小样本的耦合先验信息的PSO优化神经网络算法用于对其分类。经过在多个数据集上的分类测试验证了新算法对于微阵列数据处理有一定优势。
2 R* W+ u4 q4 Z" f/ x* m# e7 t0 q
$ x& c+ z# `5 `# }( ~, b