R语言多元线性回归特征降维：主成分回归和偏最小二乘案例分析报告附代码数据.doc

Bu一pugs PH10 2Q30 40 50Population70主成分分析(Principal Component Analysis, PCA)一个优秀的模型应该是用尽可能少的特征来涵盖尽可能多的信息对于多元线性回归模型，除了对全部特征进行筛选和 压缩一一这些都是针对原特征本身，那么是否可以把多个特征组合成少数的几个新特征，使模型更加简洁？特别是多个 特征之间往往还存在多重共线性关系主成分分析的核心思想就是降维，把高维空间上的多个特征组合成少数几个无关的主成分，同时包含原数据中大部分的 变异信息举个例子，在二维平面中，如果大部分的点都在一条直线附近，是不是就可以直接用这条直线当作一维坐标 轴来反映原始数据？在三维空间中，如果大部分的点都在一个平面附近，是不是就可以直接用这个平面当作二维平面来 反映原始数据？以上概念中的变异信息就用方差来衡量，第一主成分是高维空间上的一个向量，所有的点沿着这条线波动最大，或者说所 有的点到直线的距离的平方和最小如下图所示，所有的点沿着绿色直线的波动最大，它就代表着第一主成分向量m -S -mcm 一窝-g -主成分分析几何意义有了第一主成分，还可以依次往后选择主成分，各主成分之间是相互正交的向量。

如下左图所示，右图是左图的旋转, 以第一主成分作为x轴，第二主成分作为y轴与之垂直貿一PVPopulationD101013( PrincipEil Companerit【原创】附代码数据 有问题到淘宝找“大数据部落”就可以了第一主成分与第二主成分以上是主成分的几何意义，那么它的数学意义是什么？如何去求解主成分向量?首先，我们定义主成分是原特征的线性组合，即：Zl = + 021^2 +」■十 尹主成分定义第一主成分确定之后，如果是二维空间那么第二主成分就可以通过正交关系直接确定；对于高维空间，一个向量的正交 向量可以有无数个，则在其正交向量中继续优化上式至最大值；之后的主成分依次类推以下以美国的犯罪记录数据为例，对特征进行PCA：> library(ISLR)> apply(USArrests,2,mean) #各变量均值差异很大Murder Assault UrbanPop Rape7.788 170.760 65.540 21.232> apply(USArrests,2,var) #各变量方差差异也很大Murder Assault UrbanPop Rape18.97047 6945.16571 209.51878 87.72916>##必须要对变量进行标准化，否则主成分就由Assault一个变量决定> pr.out = prcomp(USArrests,scale. = T)> names(pr.out)[1] "sdev" "rotation" "center" "scale" "x"> pr.out$center #标准化之后的均值D.FloridaNevadaTy-0.5^Mississippi North CarolinaSouth CarolinaMurder1GeorgiaAlaska AlabamaLnuisia n|■住MichiganNaw Mle^iaoArkansasKentuckyAssaultMaryland _ --MontanaWyomingVirginiasseeRapeCnloradnVirginia VermontSouth DakotaIdahoLQCaliforniaNorth Dak^MaineNew Hampshire Iowa脑甌「眄腑侧澱"曲E血O/09°n P4nns^lvan：l Minn^jcensirOhioWashingtonCcnnscticutUrbanPopPC1主成分分析双坐标图这张图是主成分分析的双坐标图，略复杂。

这里解释一下：这个图是二维的，所以它只展示第一和第二主成分，PCI和 PC2侧的坐标轴（即矩形下方和左方两个）映射的是主成分得分，而上侧和右侧的两个坐标轴（即刻度是红色的）映射的 主成分负荷图中每一个黑色的单词代表一个观测数据，它的位置对应着该观测数据在第一和第二主成分上的得分或负荷 红色的箭头是各个特征在第一和第二主成分上的负荷向量，该向量在右上侧的坐标系下的投影即为主成分负荷从这张图中能看出什么？Assault、Murder、Rape这二个特征在第一主成分负何向量上的权重大致相冋，而UrbanPop的权重较小;UrbanPop在第二主成分负荷向量上的权重较大，而其他三个特征权重较小；三个与犯罪相关的变量位置较近，相关性强；UrbanPop与其他三个变量相关性较弱接下来就看各个主成分所占方差比（即解释数据变异的程度），来确定选择几个主成分> pr.var = pr.out$sdev A2#样本在四个主成分的方差> pr.var【原创】附代码数据有问题到淘宝找“大数据部落”就可以了[1] 2.4802416 0.9897652 0.3565632 0.1734301> pve = pr.var/sum(pr.var) #各主成分的方差解释比例> pve#第一主成分解释了数据62%的方差，第二主成分解释了 24.7%的方差[1] 0.62006039 0.24744129 0.08914080 0.04335752>> plot(pve,xlab="Principal Component",ylab = "Proportion of Variance Explained",ylim = c(0,l),type="b")> plot(cumsum(pve),xlab="Principal Component" ,ylab = "Cumulative Proportion of Variance Explained",ylim = c(0,1),type="b")主成分解释方差比主成分累积解释方差比由图中可见，选择前两个或前三个主成分，已经足以解释数据大部分的变异信息了。

主成分回归(Principal Component Regression, PCR)所谓主成分回归，就是基于以筛选出的主成分作为特征来构建回归模型这里依然以Hitters数据集为例，构建PCR模型library(ISLR)library(pls)Hitters = na.omit(Hitters) x = model.matrix(Salary~.,Hitters)[,-l]y = Hitters$Salaryy.test = y[test]set.seed(2)train = sample(l:nrow(x),nrow(x)/2)test = -trainpcr.fit = pcr(Salary~.,data=Hitters,subset=train,scale=T,validation="CV") # 10 折交叉验证summary(pcr.fit)validationplot(pcr.fit,val.type="MSEP")51015主成分数交叉验证从图中可见7个主成分时，测试集的均方差最小以下以7个主成分开始建立PCR模型> pcr.pred = predict(pcr.fit,x[test,],ncomp = 7)> mean((pcr.pred-y.test)人2)[1] 289676.6> prc.fit = pcr(y~x,scale=T,ncomp=7)> summary(prc.fit)Data: X dimension: 263 19Y dimension: 263 1Fit method: svdpcNumber of components considered: 7TRAINING: % variance explained1 comps 2 comps 3 comps 4 comps 5 comps 6 comps 7 compsX 38.31 60.16 70.84 79.03 84.29 88.63 92.26y 40.63 41.58 42.17 43.22 44.90 46.48 46.697个主成分已经可以概括92.26%的方差，不过这7个主成分都是所有特征线性组合而来，没有进行变量筛选，也没有估 计特征系数，所以可解释性也不好。

偏最小二乘回归(Partial Least Squares Regression, PLSR)PCA是一种无监督式学习，所以PCR中响应变量也没有参与指导主成分的构造，所以PCR有一个弊端：无法保证很好地解 释预测变量的方向同样可以很好地预测响应变量PLSR则是一种监督式的指导PCR的替代方法，它把m个主成分作为新的变量集，在此基础上进行最小二乘回归，所以 响应变量起到了调整各主成分参数的作用S -J5 -R -Papula lionPLS vs PCA如上图所示，实线代表第一 PLS方向，虚线代表第一主成分方向直观地看PLS比PCA拟合得更好，即所有的点到PLS 方向上的MSE更小所以较之PCR，PLSR实质上是以提升一部分方差为代价来减小偏差> set.seed(1)> pls.fit = plsr(Salary~.,data=Hitters,subset=train,scale=T,validation="CV")> summary(pls.fit)Data: X dimension: 131 19Y dimension: 131 1Fit method: kernelplsNumber of components considered: 19VALIDATION: RMSEPCross-validated using 10 random segments.CV(Intercept) 1 comps 2 comps 3 comps478.9 402.2 405.5 408.4adjCV478.9 401.5 403.8 406.24 comps411.9409.55 comps424.2420.56 comps428.0423.812 comps 13 comps7 comps 8 comps 9 comps 10 comps 11 compsCV427.4429.1433.0424.5424.6424.3424.9adjCV423.1424.2427.7420.1420.1419.7420.214 comps15 comps16 comps17 comps18 comps19 compsCV421.3424.6426.1425.1425.4426.8adjCV416.9419.9421.。