做多元线性回归分析的时候，有可能存在多重共线性的情况，为了消除多重共线性对回归模型的影响，通常可以采用主成分回归和偏最小二乘法来提高估计量的稳定性。主成分回归是对数据做一个正交旋转变换，变换后的变量都是正交的。（有时候为了去除量纲的影响，会先做中心化处理）。偏最小二乘回归相当于包含了主成分分析、典型相关分析的思想，分别从自变量与因变量中提取成分T,U（偏最小二乘因子），保证T,U能尽可能多的提取所在变量组的变异信息，同时还得保证两者之间的相关性最大。偏最小二乘回归较主成分回归的优点在于，偏最小二乘回归可以较好的解决样本个数少于变量个数的问题，并且除了考虑自变量矩阵外，还考虑了响应矩阵。
主成分回归（PCR）克服了多元线性回归（MLR）由于输入变量间严重共线性引起的不稳定算法带来的计算误差放大问题。但是PCR的运算速度比MLR慢。并且PCR只概括了自变量的信息而没有考虑因变量最自变量的解释作用，因此在提取主元时可能会丢失一些有用的信息。偏最小二乘（PLS）既考虑了自变量的信息有考虑了因变量对自变量的解释作用，稳定性比较强。
内容全部来源于网络收集，如有侵权，请联系网站删除：QQ：24596024