/ a, ]* f( i8 r" u; U) G9 \
逻辑回归与线性回归都是一种广义线性模型(generalized linear model,GLM)。具体的说,都是从指数分布族导出的线性模型,线性回归假设Y|X服从高斯分布,逻辑回归假设Y|X服从伯努利分布。 $ o, h; J2 p$ v* c' K$ y0 M( R/ K, K
伯努利分布:伯努利分布又名0-1分布或者两点分布,是一个离散型概率分布。随机变量X只取0和1两个值,比如正面或反面,成功或失败,有缺陷或没有缺陷,病人康复或未康复。为方便起见,记这两个可能的结果为0和1,成功概率为p(0<=p<=1),失败概率为q=1-p。* X5 d# F2 @; r4 _' B9 G
# O' E- U- a1 A% v
高斯分布:高斯分布一般指正态分布。 " q4 G6 K' Q, b) p2 b! ?0 q! H. Z, [5 u8 S! t
因此逻辑回归与线性回归有很多相同之处,去除Sigmoid映射函数的话,逻辑回归算法就是一个线性回归。可以说,逻辑回归是以线性回归为理论支持的,但是逻辑回归通过Sigmoid函数引入了非线性因素,因此可以轻松处理0/1分类问题。 2 T5 H+ w A6 _) ~3 Z