线性回归与逻辑回归

线性回归与逻辑回归1、在描述Logistic回归之前，我们先要讨论下线性回归（linearregression）。线性回归假设特征和结果满足线性关系。那什么是回归呢？回归其实就是对已知公式的未知参数进行估计。如，其中x是参数（特征），用实际已存在的样本估计出θ的值，（θ为参数），令，有。我们得到了h（x），但却不知道h函数能否有效的表示出真实情况，因此需要对h函数进行评估，得到损失函数（costfunction）：为什么要选择J(θ)这样的形式作为损失函数呢？我们用概率的角度分析下：假设预测结果和实际偏差为ε则；一般假设误差ε为均值为0的正态分布，则x，y的概率分布如下：我们期待的是h（x）预测最准，也就是求最大似然函数最大，因此对最大似然估计公式求导，求导结果是由上知，当J(θ)取得最小值的时候就是最佳回归，求解的算法有很多，最小二乘法、梯度下降法等等。梯度下降法是按下面的流程进行的：1）首先对θ赋值，这个值可以是随机的，也可以让θ是一个全零的向量。2）改变θ的值，使得J(θ)按梯度下降的方向进行减少。最终求得为：2、简述完线性回归，再聊下Logistic回归；对数回归本质上是线性回归，只是在特征到结果的映射中加入了一层函数映射，即先把特征线性求和，然后使用函数g(z)将最为假设函数来预测。g(z)可以将连续值映射到0和1上。同样，这里为什么选择g（z）（sigmoid函数）这样的形式呢？同样以概率的角度讨论下：首先要引入一般概率模型；那什么是一般概率模型呢？伯努利分布bernoulli（Φ），高斯分布当改变Φ或者μ的值，伯努利分布和高斯分布就会发生改变，不同的Φ和μ就形成了分布族；这些分布都是指数分布族的特例，如果一个概率分布可以表示成这就是一般概率模型。η：称为特性（自然）参数（naturalparameter）T(y):充分统计量（sufficientstatistic）通常T（y）=y；固定a、b、T，那么就定义了一个概率分布的集合。Logistic回归时采用的是伯努利分布，伯努利分布的概率可以表示成Logistic回归用来分类0/1问题，也就是预测结果属于0或者1的二值分类问题。这里假设满足伯努利分布，也就是：我们可以合并下写成：然后求参数的似然函数：取对数，得到：求导，然后更新θ可以看到Logistic回归与线性回归是类似，只是换成了，而实际上就是经过g(z)映射过来的。Logistic回归本质就是线性回归。