【数据挖掘算法分享】机器学习平台——回归算法之随机森林

杨利霞

神经网络挖掘模型与logistic回归挖掘模型的不同点有哪些？
逻辑回归有点像线性回归，但是它是当因变量不是数字时使用。比如说因变量是布尔变量（如是/否响应），这时候就需要逻辑回归。它称为回归，但实际上是是根据回归进行分类，它将因变量分类为两个类中的任何一个。

  ~1 h% \& n5 H6 Y  `% S8 s网页链接如上所述，逻辑回归用于预测二进制输出。例如，如果信用卡公司打算建立一个模型来决定是否向客户发放信用卡，它将模拟客户是否需要这张或者能够承担这张信用卡。

5 Z% \6 w( `0 ~! c: P7 s0 L它给出了事件发生概率的对数，以记录未发生事件的概率。最后，它根据任一类的较高概率对变量进行分类。

而神经网络（NeutralNetwork）是通过数学算法来模仿人脑思维的，它是数据挖掘中机器学习的典型代表。

神经网络是人脑的抽象计算模型，我们知道人脑中有数以百亿个神经元（人脑处理信息的微单元），这些神经元之间相互连接，是的人的大脑产生精密的逻辑思维。
9 `( J6 u+ k# t( O" W0 F" @
2 F# o- }- J; h# w- \2 n% Y3 r% Y而数据挖掘中的“神经网络”也是由大量并行分布的人工神经元（微处理单元）组成的，它有通过调整连接强度从经验知识中进行学习的能力，并可以将这些知识进行应用。
, V7 _8 p, F! f& {
  W/ M% s4 p1 u% D) s. s1 U" i神经网络就像是一个爱学习的孩子，您教她的知识她是不会忘记而且会学以致用的。我们把学习集（LearningSet）中的每个输入加到神经网络中，并告诉神经网络输出应该是什么分类。
3 A7 t8 i& V: [8 ?  m6 M
在全部学习集都运行完成之后，神经网络就根据这些例子总结出她自己的想法，到底她是怎么归纳的就是一个黑盒了。
* C7 o9 j- B% p1 H9 _/ D
' D' ^1 }0 W- [5 r2 a2 N2 [! ~之后我们就可以把测试集（TestingSet）中的测试例子用神经网络来分别作测试，如果测试通过（比如80%或90%的正确率），那么神经网络就构建成功了。

我们之后就可以用这个神经网络来判断事务的分类了。具体来说，”神经网络“是一组互相连接的输入/输出单元，其中每个连接都会与一个券种相关联。

在学习阶段，通过调整这些连接的权重，就能够预测输入观测值的正确类标号。因此可以理解为人工神经网络是由大量神经网络元通过丰富完善的连接、抽样、简化和模拟而形成的一种信息处理系统。
$ ^3 @, _" J/ O
谷歌人工智能写作项目：神经网络伪原创
! J' J+ H4 z* P6 ^2 G- v" z


如何选择SVM，逻辑回归和神经网络算法
神经网络的设计要用到遗传算法，遗传算法在神经网络中的应用主要反映在3个方面：网络的学习，网络的结构设计，网络的分析文案狗。1．遗传算法在网络学习中的应用在神经网络中，遗传算法可用于网络的学习。

% x9 ]- _# F) S8 u0 t4 n, t& V% w2 p这时，它在两个方面起作用(1)学习规则的优化用遗传算法对神经网络学习规则实现自动优化，从而提高学习速率。(2)网络权系数的优化用遗传算法的全局优化及隐含并行性的特点提高权系数优化速度。
% ^" _7 X4 w* j+ q' m+ p7 S( M
, C6 I- c9 j0 |' c) C7 }2．遗传算法在网络设计中的应用用遗传算法设计一个优秀的神经网络结构，首先是要解决网络结构的编码问题；然后才能以选择、交叉、变异操作得出最优结构。
8 J/ ^9 j9 d- }
  _. G  W7 d+ E7 v2 y( ]- P% S+ P- P5 m编码方法主要有下列3种：(1)直接编码法这是把神经网络结构直接用二进制串表示，在遗传算法中，“染色体”实质上和神经网络是一种映射关系。通过对“染色体”的优化就实现了对网络的优化。
/ M1 @* w& m6 h6 v5 _
(2)参数化编码法参数化编码采用的编码较为抽象，编码包括网络层数、每层神经元数、各层互连方式等信息。一般对进化后的优化“染色体”进行分析，然后产生网络的结构。
4 s! N5 c; }# I# W2 K
(3)繁衍生长法这种方法不是在“染色体”中直接编码神经网络的结构，而是把一些简单的生长语法规则编码入“染色体”中；然后，由遗传算法对这些生长语法规则不断进行改变，最后生成适合所解的问题的神经网络。

这种方法与自然界生物地生长进化相一致。3．遗传算法在网络分析中的应用遗传算法可用于分析神经网络。神经网络由于有分布存储等特点，一般难以从其拓扑结构直接理解其功能。
# e" V4 }8 x% w  F2 M; Z
" |6 p; J4 @9 W) C遗传算法可对神经网络进行功能分析，性质分析，状态分析。遗传算法虽然可以在多种领域都有实际应用，并且也展示了它潜力和宽广前景；但是，遗传算法还有大量的问题需要研究，目前也还有各种不足。
6 Q: b  G" R# M$ [
6 R1 H- e' N0 v3 m* f) o& I首先，在变量多，取值范围大或无给定范围时，收敛速度下降；其次，可找到最优解附近，但无法精确确定最扰解位置；最后，遗传算法的参数选择尚未有定量方法。

对遗传算法，还需要进一步研究其数学基础理论；还需要在理论上证明它与其它优化技术的优劣及原因；还需研究硬件化的遗传算法；以及遗传算法的通用编程和形式等。

& n& e# e  C- m6 ]% S逻辑回归和SVM的区别是什么？各适用于解决什么问题
. E8 g* I$ U3 _( P0 P# {( p; x& a4 h- |。
9 `7 ]. z. r! @9 N2 g% L& v1 {
两种方法都是常见的分类算法,从目标函数来看,区别在于逻辑回归采用的是logisticalloss,svm采用的是hingeloss.这两个损失函数的目的都是增加对分类影响较大的数据点的权重,减少与分类关系较小的数据点的权重.SVM的处理方法是只考虑supportvectors,也就是和分类最相关的少数点,去学习分类器.而逻辑回归通过非线性映射,大大减小了离分类平面较远的点的权重,相对提升了与分类最相关的数据点的权重.两者的根本目的都是一样的.此外,根据需要,两个方法都可以增加不同的正则化项,如l1,l2等等.所以在很多实验中,两种算法的结果是很接近的.但是逻辑回归相对来说模型更简单,好理解,实现起来,特别是大规模线性分类时比较方便.而SVM的理解和优化相对来说复杂一些.但是SVM的理论基础更加牢固,有一套结构化风险最小化的理论基础,虽然一般使用的人不太会去关注.还有很重要的一点,SVM转化为对偶问题后,分类只需要计算与少数几个支持向量的距离,这个在进行复杂核函数计算时优势很明显,能够大大简化模型和计算svm更多的属于非参数模型,而logisticregression是参数模型,本质不同.其区别就可以参考参数模型和非参模型的区别就好了.logic能做的svm能做,但可能在准确率上有问题,svm能做的logic有的做不了。
) |( q) S! @: N0 |! e
6 z- K8 U  E! q" j# _逻辑回归和深度神经网络：哪个更适合你
2 z: H2 S7 \/ H9 d2 g( l因为逻辑回归可以看成是一个简化的单层神经网络。虽然理论上神经网络具备逼近任意函数的能力，但是实际上很难通过训练让一个单层网络拥有这样的能力。

所以一般神经网络至少2层，随着层数的增加，分类效果也会有一定的上升。
* U( m; k( K; `  e& K0 I* p
神经网络里的逻辑回归，需要人工调试参数吗
————————————————
版权声明：本文为CSDN博主「神经网络技术宅」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/xilao138/article/details/126744456
3 v$ l. \# S% e; Y8 D
1 ?- ?0 `  |2 B1 ?" H; U+ R6 X