搜索
三、线性模型线性模型分类回归线性模型(linearmodel)试图学得一个通过属性的线性组合来进行预测的函数简单、基本、可理解性好线性回归(linearregression)对进行最小二乘参数估计使得离散属性的处理：若有“序”(order)，则连续化；否则，转化为k维向量令均方误差最小化，有线性回归分别对和求导：令导数为0,得到闭式(closed-form)解：多元(multi-variate)线性回归使得把和吸收入向量形式，数据集表示为多元线性回归同样采用最小二乘法求解，有令，对求导：令其为零可得然而，麻烦来了：涉及矩阵求逆！若若满秩或正定，则不满秩，则可解出多个此时需求助于归纳偏好，或引入正则化(regularization)第6、11章线性模型的变化对于样例若希望线性模型的预测值逼近真实标记，则得到线性回归模型令预测值逼近y的衍生物？若令则得到对数线性回归(log-linearregression)实际是在用逼近y广义(generalized)线性模型一般形式:单调可微的联系函数(linkfunction)令则得到对数线性回归……二分类任务找z和y的联系函数性质不好,需找“替代函数”(surrogatefunction)线性回归模型产生的实值输出期望输出理想的“单位阶跃函数”(unit-stepfunction)常用单调可微、任意阶可导对数几率函数(logisticfunction)简称“对率函数”对率回归以对率函数为联系函数:变为即:几率(odds),反映了x作为正例的相对可能性“对数几率”•无需事先假设数据分布•可得到“类别”的近似概率预测•可直接应用现有数值优化算法求取最优解(logodds,亦称logit)“对数几率回归”(logisticregression)简称“对率回归”注意：它是分类学习算法！求解思路若将y看作类后验概率估计可写为于是，可使用“极大似然法”,则第7章(maximumlikelihoodmethod)给定数据集最大化“对数似然”(log-likelihood)函数令，则可简写为求解思路再令则似然项可重写为于是，最大化似然函数等价为最小化高阶可导连续凸函数，可用经典的数值优化方法如梯度下降法/牛顿法[BoydandVandenberghe,2004]线性模型做“分类”回归广义线性模型；通过“联系函数”例如，对率回归分类如何“直接”做分类？线性判别分析(LinearDiscriminantAnalysis)由于将样例投影到一条直线（低维空间），因此也被视为一种“监督降维”技术降维第10章LDA的目标给定数据集第i类示例的集合第i类示例的均值向量第i类示例的协方差矩阵两类样本的中心在直线上的投影：和两类样本的协方差：和尽可能小尽可能大同类样例的投影点尽可能接近异类样例的投影点尽可能远离于是，最大化LDA的目标类内散度矩阵(within-classscattermatrix)类间散度矩阵(between-classscattermatrix)LDA的目标：最大化广义瑞利商(generalizedRayleighquotient)w成倍缩放不影响J值仅考虑方向实践中通常是进行奇异值分解然后求解思路令，最大化广义瑞利商等价形式为运用拉格朗日乘子法，有的方向恒为，不妨令于是附录Ａ推广到多类假定有N个类全局散度矩阵类内散度矩阵类间散度矩阵特征值所对应的特征向量组成的矩阵多分类LDA有多种实现方法：采用例如，的闭式解是中的任何两个的N-1个最大广义••训练N(N-1)/2个分类器，存储开销和测试时间大训练只用两个类的样例，训练时间短训练N个分类器，存储开销和测试时间小训练用到全部训练样例，训练时间长多分类学习拆解法：将一个多分类任务拆分为若干个二分类任务求解预测性能取决于具体数据分布，多数情况下两者差不多纠错输出码(ECOC)多对多(ManyvsMany,MvM):将若干类作为正类，若干类作为反类一种常见方法：纠错输出码编码：对N个类别做M次划分，每次将一部分类别划为正类，一部分划为反类解码：测试样本交给M个分类器预测(ErrorCorrectingOutputCode)M个二类任务；(原)每类对应一个长为M的编码距离最小的类为最终结果长为M的预测结果编码纠错输出码•ECOC编码对分类器错误有一定容忍和修正能力，编码越长、纠错能力越强•对同等长度的编码，理论上来说，任意两个类别之间的编码距离越远，则纠错能力越强[DietterichandBakiri,1995][Allweinetal.2000]类别不平衡(class-imbalance)不同类别的样本比例相差很大；“小类”往往更重要基本思路：基本策略——“再缩放”(rescaling)：然而，精确估计m-/m+通常很困难！常见类别不平衡学习方法：•过采样(oversampling)例如：SMOTE•欠采样(undersampling)例如：EasyEnsemble•阈值移动(threshold-moving)前往第四站……