线性回归和logistic回归.docx

回归和 logistic 回归（linear regression andlogistic regression）1.线性回归i.i定义X=（2；Al;虬）给定输入向量其中鹿是截距，惭是系数，而变量留可能来自不同的源（定量输入或者定量输，希望预测输出Y线性回归模型为:等），但入的变换，多项式表示，变量之间的交互，例如 是模型在参数上都是线性的1.2参数估计（最小二乘估计）给定一组训练集，每个是第i个数据的特征向量S =（如出,…, j3p）T，现在要估计参数窗用最小二乘估计，通过极小化残差平方和（或RSS）：令参数集0 = ｛为0」段\ 一 •所K-l)(h 或-1｝,则概率可以写为:哄沪以成=曾岛+心二孔1+2>!偈+四）可见,logistic回归本质上是线性回归，只是在特征到结果的映射中加入了一层 函数映射2.2拟合logistic回归常用极大似然拟合logistic回归，N个观测的对数似然是：其中:|”蝴=吨=哗=加郭施-物 1+卒啷6+府）我们讨论2类问题用0/1响应圈来对编码同时令pi3W) = p(w;0)奕3； 1 ―以皿带入mb)，通过化简，对数似然可以写为:N")= 尸｛叫 logpl：。

) + (1 -洗)kg(L-P("4)1=5Z ｛皿膈-】曙(1+"叫)，.z= 10 — }，并假设输入向量图包含常数项1,方便包含截距计其中算2.3参数求解（重加权最小二乘算法）为求解上式，使用Newton-Raphson算法，需要借助二阶导数:a ""=一尸跖跖7『（遇，1 一 p（昭仞）.1—1为方便计算，我们写成矩阵形式设y表示乏值向量，X是恩值的矩阵，Newton-Raphson步骤写成矩阵形式为:为极大化对数似然，求导有：/3ncw = 研d + (X^wxr1 XT(y 一 p)=(XrWX)-1XTW (X/3old + W-T(y _ p)) =(XrWX)^XTWz.其中:z = X/?oW+W-1(y-p)这些方程重复求解，因为每次迭代P都变化，从而W和Z也变化，所以该算法叫做重加权最小二乘算法最小二乘中参数，比上面的式子少了权重W3.总结线性回归求解参数过程常用最小二乘估计logistic回归本质上也是线性回归，只是在特征到结果的映射中加入了一层 函数映射;常用极大似然拟合logistic模型，用重加权最小二乘算法来求解参数， 极大化似然。