浙江大学理学院
硕士学位论文
偏最小二乘回归的研究
姓名：宋高阳
申请学位级别：硕士
专业：概率论与数理统计
指导教师：苏中根
20090505
摘
偏最小二乘回归分析（Ｐａｒｔｉａｌ要Ｒｅｇｒｅｓｓｉｏｎ简记为ＰＬｓ）是一种新型的ＬｅａｓｔＳｑｕａｒｅｓ
多元统计分析方法，最早产生于化学领域。ＰＬＳ主要用来解决多元回归分析中的自变量存在多重相关性或变量个数多于样本点数等问题，集多元线性回归分析、主成份分析和典型相关分析的基本功能为一体。在一个算法下，同时实现了回归建模、数据结构简化和两组变量间的相关分析，给多元数据分析带来极大的便利。ＰＬＳ方法已广泛应用于化学计量、工业设计、计量经济学等各个领域。
本文分为三章，结构如下：
第一章介绍了多元回归分析及其最ｄ，－－乘估计，在自变量之间存在严重多重相关性时最ｄ，－－乘估计完全失效。接着，介绍了多元回归的ＰＬＳ方法。ＰＬＳ方法能有效解决多重相关性问题。ＰＬＳ回归方法在处理样本容量小、自变量多的数据方面具有一定优势。在实际问题中，往往是一部分自变量只对某一部分因变量有显著影响，另一部分自变量只对另一些因变量有显著影响，而ＰＬＳ回归方法所选择的主成分中仍包含所有的自变量，最终建立的回归模型是包括所有自变量的全模型，因此一般的ＰＬＳ方法并没有完全解决变量间存在严重多重相关性的问题，特别是在自变量个数多，样本量小的情况下。
针对这种情况，本文第二章提出了对变量进行双重筛选，即改进的ＰＬＳ方法。思想如下：在建立ＰＬＳ回归模型之前先对变量进行筛选，在筛选过程中，自变量和因变量的地位是同等的，既对自变量筛选同时又对因变量筛选。设自变量为ｚｌ，ｚ２，…，ｚｍ，因变量为Ｙ１，Ｙ２，…，蜘，首先引入一个因变量，并对自变量进行筛选，找出对这一因变量影响显著的自变量组｛毛。，ｚ诧，…，Ｘｉ，）（其中．［勋。，ｚ锄…，ｚ霸）∈．【ｚ１，Ｘ２，…，ｚｍ））；然后考虑因变量的筛选，这相当于把ｚ１，ｚ２，…，Ｘ仇和Ｙ１，Ｙ２，…，蜘的地位作一对换，筛选出对前面选出的ｒ个自变量组＇［戤。，ｚ锄…，ｚ讳）影响显著的因变量组｛协。，％，…，协：）（其中．［协。，％，…，勘】．∈｛可１，Ｙ２，…跏））；接着再筛选自变量，找到对这ｚ个因变量影响显著的自变量组。重复这一过程，直到某步当自变量筛选后，没有因变量可删除，同时也没有因变量可引入。假定这一过程得到的因变量组为｛ｙ１，沈，…，纨｝其中ｋ≤Ｐ，自变量组为｛鼢，，ｚ锄…，ｚ“），其中ｒ≤ｍ，对这两组数据按照偏最ｄ＇－－乘回归的建模方法建立回归方程组。从因变量Ｙ１，耽，…，蜘中删除Ｙ１，抛，…，Ｙｋ后，再按照上述变量选择方法筛选因变量和自变量，得到第二组因变量和对应的自变量，如此往复，直到全部因变量都有了与之相应的自变量组和ＰＬＳ回归方程组，计算过程结束。在筛选过程中引入或剔除某一变量的依据是判断该变量对模型中变量的“贡献＂的大小，即要检验该变量对模型
Ⅱ中文摘要中变量的显著性大小。文章提出的检验统计量服从Ｆ分布。本章最后利用改进的ＰＬＳ方法研究Ｙ１９９１—２００７年间影响我国人们生活质量和经济发展的多种因素，得到了较好的分析结果。
本文第三章将改进的ＰＬＳ方法与时间序列ＡＲＭＡ模型结合起来形成了ＰＬＳ时间序列预测模型，解决了ＰＬＳ方法不能预测的问题，并利用该方法研究了１９８５－２００７年间我国农民家庭收入水平及城市化问题。关键词：偏最小二乘回归、逐步回归、多重共线性、主成分、时间序列
Ａｂｓｔｒａｃｔ
ＰａｒｔｉａｌＬｅａｓｔＳｑｕａｒｅｓ
ａｎｄｉｔｉｓｐｒｏｄｕｃｅｄＲｅｇｒｅｓｓｉｏｎ（ＰＬＳ）ｉｓａｎｅｗｍｕｌｉｐｌｅｆｉｅｌｄ．ＰＬＳｉｓ
ａｒｅｓｔａｔｉｓｔｉｃｄａｔａａｎａｌｙｔｉｃａｌｍｅｔｈｏｄ，ｕｓｅｄｔｏｓｏｌｖｅｔｈｅｔｈａｔｖａｒｉａｂｌｅｓ
ｃａｌｌｆｒｏｍｃｈｅｍｉｓｔｒｙｍａｉｎｌｙｍｕｌｔｉｐｌｅｍｏｒｅｒｅ．ｇｒｅｓｓｉｏｎａｎａｌｙｓｉｓｔｈａｔｔｈｅｖａｒｉａｂｌｅｓｉｎｃｏｒｒｅｌａｔｉｏｎｏｒａｒｅｔｈａｎｔｈｅｓａｍｐｌｅｐｏｉｎｔｓ．ＴｈｅｏｕｔｓｔａｎｄｉｎｇｃｈａｒａｃｔｅｒｉｓｔｉｃｏｆＰＬＳｉｓｔｈａｔｉｔｍａｋｅｔｈｅｍｕｌｔｉｐｌｅ
ｌｉｎｅａｒｒｅｇｒｅｓｓｉｏｎａｎａｌｙｓｉｓ，ｔｈｅｐｒｉｎｃｉｐａｌ
ｔｉｏｎａｎａｌｙｓｉｓｃｏｍｂｉｎｅｄ．Ｉｎｔｈｅｓａｍｅｃｏｍｐｏｎｅｎｔｓｃａｎａｎａｌｙｓｉｓａｎｄｔｈｅｃａｎｏｎｉｃａｌｃｏｒｒｅｌａ—ａｒｉｔｈｍｅｔｉｃ，ｉｔｉｍｐｌｅｍｅｎｔｍｏｄｅｌｉｎｇ，ｐｒｅｄｉｇｅｓｔｔｈｅ
ａｔｄａｔａｓｔｒｕｃｔｕｒｅａｎｄａｎａｌｙｚｅｔｈｅｃｏｒｒｅｌａｔｉｏｎｂｅｔｗｅｅｎｔｗｏｇｒｏｐｅｓｏｆｖａｒｉａｂｌｅｓｔｈｅｓａｍｅ
ｔｉｍｅ．Ｉｔｂｒｉｎｇｓｈｕｇｅａｄｖａｎｔａｇｅｔｏｔｈｅｍｕｌｔｉｐｌｅｌｉｎｅａｒｒｅｇｒｅｓｓｉｏｎａｎａｌｙｓｉｓ．
ｉｓｄｉｖｉｄｅｄｉｎｔｏｔｈｒｅｅｃｈａｐｔｅｒｓ，ｔｈｅｓｔｒｕｃｔｕｒｅｓａｓＴｈｅｐａｐｅｒｆｏｌｌｏｗｓ：
Ｔｈｅｆｉｒｓｔｃｈａｐｔｅｒｉｓｄｅｖｏｔｅｄｔｏｔｈｅｍｕｌｔｉｐｌｅｒｅｇｒｅｓｓｉｏｎａｎａｌｙｓｉｓａｎｄｌｅａｓｔｓｑｕａｒｅｓｅｓｔｉｍａｔｉｏｎ．Ｗｈｅｎｔｈｅｒｅｉｓｍｕｌｔｉｐｌｅｃｏｒｒｅｌａｔｉｏｎｉｎｖａｒｉａｂｌｅｓ，ｔｈｅｌｅａｓｔｓｑｕａｒｅｓｅｓｔｉｍａｔｉｏｎ
ｃｏｒｒｅ－ｄｏｅｓｎｏｔｗｏｒｋ．Ｔｈｅｎ，ｔｈｅＰＬＳｍｅｔｈｏｄｉｓｉｎｔｒｏｄｕｃｅｄ．ＴｈｅＰＬＳｍｅｔｈｏｄｉｓｅｆｆｅｃｔｉｖｅｉｎ
ｌａｆｉｏｎｐｒｏｂｌｅｍ．Ｂｕｔｉｎｇｅｎｅｒａｌ，ｔｈｅｆｉｎａｌＰＬＳｍｏｄｅｌｉｎｃｌｕｄｅａｌｌｉｎｄｅｐｅｎｄｅｎｔｖａｒｉａｂｌｅｓ．Ｉｎ
ａｈａｓｐｒａｃｔｉｃａｌｐｒｏｂｌｅｍｓ，ａｐａｒｔｏｆｔｈｅｉｎｄｅｐｅｎｄｅｎｔｖａｒｉａｂｌｅｓａｒｅｏｆｔｅｎ
ｅｎｃｅｉｎｏｎｌｙａｐａｒｔｏｆｄｅｐｅｎｄｅｎｔｖａｒｉａｂｌｅｓ．Ａｎｄｓｉｇｎｉｆｉｃａｎｔｉｎｆｌｕ－ａｎｏｔｈｅｒｐａｒｔｏｆｔｈｅｉｎｄｅｐｅｎｄｅｎｔｖａｒｉ’ａｂｌｅｓｉｍｐａｃｔｏｔｈｅｒｄｅｐｅｎｄｅｎｔｖａｒｉａｂｌｅｓ．ＴｈｕｓｔｈｅｏｒｄｉｎａｒｙＰＬＳｄｏｅｓｎｏｔｓｏｌｖｅｔｈｅｐｒｏｂ＿ｌｅｍｅｓｐｅｃｉａｌｌｙｉｎｔｈｅ
ｓａｍｐｌｅｐｏｉｎｔｓ．ｃａｓｅｔｈａｔｔｈｅｎｕｍｂｅｒｏｆｖａｒｉａｂｌｅｓａｒｅｍｏｒｅｔｈａｎｔｈｅｎｕｍｂｅｒｏｆ
Ｔｏａｄｄｒｅｓｓｔｈｉｓｓｉｔｕａｔｉｏｎ，ｔｈｅｐａｐｅｒｐｕｔｓｆｏｒｗａｒｄｔｈｅｆｉｒｓｔｃｈａｐｔｅｒｏｆ
ｖａｒｉａｂｌｅｓｓｅｌｅｃｔｉｏｎ，ｔｈａｔｔｈｅＰＬＳｆｏｒｉｓ，ｔｈｅｉｍｐｒｏｖｅｄＰＬＳｍｅｔｈｏｄ．Ａｎｄｔｈｅｔｈｉｎｋｉｎｇｉｓａｓｆｏｌｌｏｗｓ：Ｉｎ
ａｒｅｔｈｅｓｅｌｅｃｔｉｏｎｐｒｏｃｅｓｓ，ｔｈｅｉｎｄｅｐｅｎｄｅｎｔｖａｒｉａｂｌｅｓａｎｄｔｈｅｄｅｐｅｎｄｅｎｔｖａｒｉａｂｌｅｔｈｅ
ｓａｍｅｓｔａｔｕｓ．Ｂａｓｅｄａｒｇｕｍｅｎｔｆｏｒｔｈｅｉｎｄｅｐｅｎｄｅｎｔｖａｒｉａｂｌｅｓａｒｅ
ｄｅｐｅｎｄｅｎｔｖａｒｉａｂｌｅｓａｒｅ２；１，ｘ２，…，ｘｍ，ａｎｄｔｈｅｄｅｐｅｎｄｅｎｔｖａｒｉａｂｌｅｉｓＹ１，ｙ２，…，铷．Ａｆｔｅｒｔｈｅｉｎｔｒｏｄｕｃｔｉｏｎｏｆａ
ｔｈｅｓｅｌｅｃｔｉｎｇｏｆｉｎｄｅｐｅｎｄｅｎｔｖａｒｉａｂｌｅｓｔｏｆｉｎｄ
ｏｎｔｈｅｉｎｄｅｐｅｎｄｅｎｔｖａｒｉａｂｌｅｓｗｈｉｃｈｈａｖｅｔｈｅｓｔｒｏｎｇｅｓｔｉｍｐａｃｔｉｎｇｔｈｅｄｅｐｅｎｄｅｎｔｖａｒｉａｂｌｅｓ｛ｘｉｌ，ｚｔ２，…，ｚｏ｝（ｗｈｉｃｈ｛ｘｉｌｚｔ２，…，Ｘｉ，）∈
ｔｈｅｐａｐｅｒｃｏｎｓｉｄｅｒｓ｛ｚ１，；Ｔ２，…，ｚｍ））；Ａｎｄｔｈｅｎ
ａｂｌｅｓ．Ｔｈｉｓｉｓｅｑｕｉｖａｌｅｎｔｔｏ
ｔｈｅｔｈｅｓｅｌｅｃｔｉｏｎｏｆｔｈｅｄｅｐｅｎｄｅｎｔｖａｒｉ。ｃｈａｎｇｅｔｈｅｓｔａｔｕｓｏｆｔｈｅｘｌ，Ｘ２，…，ｘｍａｎｄｙｌ，Ｙ２，…，Ｙｐ．Ｓｉｍｉｌａｒｌｙ，ｐａｐｅｒｓｅｌｅｃｔｓｔｈｅｄｅｐｅｎｄｅｎｔｖａｒｉａｂｌｅｓｔｅｐｂｙｓｔｅｐ．Ｓｅｔｉｎｇ．［协１，％，・．．，％｝（ｗｈｉｃｈ｛ｙＪｌ，％，
ｏｒｄｅｒｔｏｉｄｅｎｔｉｆｙｔｈｅｆｒｏｎｔｏｆｔｈｅｒｖａｒｉａｂｌｅｓ｛ｚｔｌ，Ｘｉ２，…，ｚ“）ｌｌＩ…，％ｌ｝∈＇【可１，Ｙ２，…珈）），ｉｎ
Ⅳ！ｎ…ｍ－！！！！！！！＝！！！！！！！！！！！！！！！！！！！！！！＝！！！！！！！！！！！！！！！！！！！！＝！！！！！！！！！！！！！詈！！！！！！！！！！！！！！！！！！！！＝！！！！！！！！！！！！！！！！！！！！！！英文摘要ｗｈｉｃｈｉｎｆｌｕｅｎｃｅｔｈｅｄｅｐｅｎｄｅｎｔｖａｒｉａｂｌｅｇｒｏｕｐｓｔｒｏｎｇｌｙ，ａｎｄｔｈｅｎｓｅｌｅｃｔｓｔｈｅｉｎｄｅｐｅｎ－ｄｅｎｔｖａｒｉａｂｌｅｓａｇａｉｎ．Ｔｈｉｓｐｒｏｃｅｓｓｓｔｏｐｓｗｈｅｎｔｈｅｒｅｉｓ
ｄｅｌｅｔｅｄ，ａｎｄａｔｎｏｄｅｐｅｎｄｅｎｔｖａｒｉａｂｌｅｓｃａｎｃａｎｂｅｔｈｅｓａｍｅｔｉｍｅｔｈｅｒｅｉｓｎｏｄｅｐｅｎｄｅｎｔｖａｒｉａｂｌｅｓｂｅｉｎｔｒｏｄｕｃｅｄ．Ｔｈｉｓｐｒｏｃｅｓｓｈａｓｂｅｅｎａｓｓｕｍｅｄｔｈａｔｔｈｅｄｅｐｅｎｄｅｎｔｖａｒｉａｂｌｅｓｆｏｒｔｈｅｄｅｐｅｎｄｅｎｔｖａｒｉａｂｌｅｓａｒｅ｛ｙｌ，沈，…，Ｙｋ｝，ｗｈｉｃｈｋ≤Ｐ，ｉｎｄｅｐｅｎｄｅｎｔ
ｍ．ｙ１，沈，…，ＹｋａｒｅｖａｒｉａｂｌｅｓａｒｅＸｉｌ，ｚｉ２，…Ｘｉ，｝，ｗｈｉｃｈｒ≤ｔｈｅｎｒｅｐｅａｔｓｔｈｅａｂｏｖｅｄｅｌｅｔｅｄｆｒｏｍｔｈｅｄｅｐｅｎｄｅｎｔｖａｒｉａｂｌｅｓ，ａｎｄ
ｓｔｅｐｓ．Ｔｈｅｓｅｃｏｎｄｇｒｏｕｐｏｆｄｅｐｅｎｄｅｎｔｖａｒｉａｂｌｅｓａｎｄｔｈｅ
ｓｔｅｐｉｓｂａｃｋｉｎｄｅｐｅｎｄｅｎｔｖａｒｉａｂｌｅｓｇｅｔ．Ｔｈｉｓａａｎｄｆｏｒｔｈ，ｕｎｔｉｌｔｈａｔａｌｌｔｈｅｄｅｐｅｎｄｅｎｔｖａｒｉａｂｌｅｓｈａｖｅｃｏｒｒｅｓｐｏｎｄｉｎｇｇｒｏｕｐｏｆｉｎｄｅｐｅｎｄｅｎｔｖａｒｉａｂｌｅｓ．Ａｓｓｕｍｅｔｈａｔａｆｔｅｒｓｃｒｅｅｎｉｎｇ，ｔｈｅｐｒｏｃｅｓｓｃａｎｄｉｖｉｄｅ
ｏｆｔｈｅｉｒＰＬＳｒｅｇｒｅｓｓｉｏｎｅｑｕａｔｉｏｎ
ｔｏｓｔｕｄｙｔｈｅｖａｒｉａｂｌｅｓｉｎｔｏ￡ｇｒｏｕｐｓ，ａｎｄｔｈｅｅｓｔａｂｌｉｓｈｍｅｎｔｕｓｅｓｇｅｔ．Ｆｉｎａｌｌｙ，ｔｈｅｐａｐｅｒｔｈｅｉｍｐｒｏｖｅｄＰＬＳ
ａｍｅｔｈｏｄｔｈｅｑｕａｌｉｔｙｏｆｌｉｆｅａａｎｄｒｅ－ｅｃｏｎｏｍｉｃｄｅｖｅｌｏｐｍｅｎｔｉｎ
ｓｕｌｔｓ．ｖａｒｉｅｔｙｏｆｆａｃｔｏｒｓｉｎｔｈｅｙｅａｒｓ１９９１—２００７，ｈａｖｉｎｇｂｅｔｔｅｒ
Ｉｎｔｈｅｌａｓｔｃｈａｐｔｅｒ，ｔｈｅｐａｐｅｒｃｏｍｂｉｎｅｓｔｈｅｉｍｐｒｏｖｅｄ
ＣａｎＰＬＳｍｅｔｈｏｄａｎｄｔｉｍｅｓｅｒｉｅｓｍｏｄｅｌｓＡＲＭＡ，ａｓｓｏｌｖｅｓｔｈｅｐｒｏｂｌｅｍｔｈａｔＰＬＳ
ｐｅｒｔａｋｅｓｎｏｔｂｅｐｒｅｄｉｃｔｅｄ．ＡｎｄｔｈｅｎｔｈｅＰａ—Ｃｈｉｎａａｎｄａｄｖａｎｔａｇｅｏｆｔｈｅｍｅｔｈｏｄｓｔｕｄｙ
１９８５—２００７．ｈｏｕｓｅｈｏｌｄｉｎｃｏｍｅｏｆｆａｒｍｅｒｓｉｎｕｒｂａｎｉｚａｔｉｏｎｉｎｔｈｅｙｅａｒ
ＫｅｙＷｏｒｄｓ：ｐａｒｔｉａｌｌｅａｓｔｓｑｕａｒｅｓｒｅｇｒｅｓｓｉｏｎａｎａｌｙｓｉｓ，ｓｔｅｐｗｉｓｅｒｅｇｒｅｓｓｉｏｎａｎａｌｙ－ｓｉｓ，ｍｕｌｔｉｃｏｌｌｉｎｅａｒｉｔｙ，ｐｒｉｎｃｉｐａｌｃｏｍｐｏｎｅｎｔ，ｔｉｍｅｓｅｒｉｅｓ
浙江大学研究生学位论文独创性声明
本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得逝逛太堂或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。
学位论文作者签名：聿ｌ与阳签字日期：沙田年ｊ月达日
学位论文版权使用授权书
浙堑太堂有权保留并向国家有关部门或机
构送交本论文的复印件和磁盘，允许论文被查阅和借阅。本人授权逝婆太堂本学位论文作者完全了解可以将学位论文的全部或部分内容编入有关数据库进行检索和传播，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。
（保密的学位论文在解密后适用本授权书）
学位论文作者签名：婿高Ｐ日导师签名：
签字日期：诎‘７年ｙ月谚日签字日期：年月日
致谢
本文是在导师苏中根教授的悉心指导下完成的。苏老师严谨的治学态度和一丝不苟的工作作风使我受益匪浅，在苏老师的指导下，不仅在专业知识方面有所进步，而且对自己的各方面的素质，包括学习，生活，品质，都有一定地提高。在此，向张老师表示衷心的感谢！
此外，在两年的求学过程中也得到了林正炎教授，张立新教授，张帼奋副教授，张奕副教授，王秀云副教授，赵敏智老师，张荣茂老师等老师的关心和指导，在此致以诚挚的谢意！同时，对数学系的各位老师和系工作人员的帮助表示感谢！
同时，我要感谢两年来一起学习和生活的同学们，感谢他们在学习和生活上所给予的帮助，让我度过了快乐的研究生生活。最后，祝愿浙江大学，祝愿浙江大学数学系的明天会更加辉煌！
第１章
§１．１引言多元回归分析及其最小二乘估计
回归分析方法是多元统计分析【ｌＯｌ的各种方法中应用最广泛的一种，它是处理多个变量间相互依赖关系的一种数理统计方法。变量间的相互依赖关系在实际问题中是大量存在的，回归分析是研究这种相互依赖关系的有效数学方法之一。
回归分析方法是在众多相关的变量中，根据实际问题的要求，考查其中一个或几个变量与其余变量的依赖关系。如果只要考查某一个变量（通常称为响应变量、因变量或指标）与其余多个变量（通常称为自变量或因素）的相互依赖关系，称为多元回归问题。如果要同时考查阶因变量与ｍ个自变量的相互依赖关系，称为多因变量的多元回归问题。
在实际问题中，经常要同时考察这种多因变量的多元回归问题，如环境科学研究中，在同一时间地点，抽取了大气样品，测得多种污染气体，如ＣＯ，Ｓ０２等的浓度。大气样品中多种污染气体组成一个多维的随机向量，作为因变量。而大气中各污染气体的含量又与污染源的排放以及气象因子（风向、风速、湿度等）有关，这就是一个多个因变量与多个自变量的回归问题。在实际问题中，这种考察多个因变量与多个自变量的依赖关系的闯题是大量存在的。
以下介绍多元线性回归模型参数的最小二乘估计。
设有ｍ个自变量：ｘ１，ｚ２，…，ｘｍ，价因变量：Ｙｌ，Ｙ２，…，铷，假设它们之间有线性关系。现有ｎ组自变量与因变量的实测数据（ｚｍｚ圮，…，ｚ咖；轨１，纨２，…，％）（ｔ＝１，２，…，ｎ），数据阵分别用Ｘ，ｙ表示：
ＸｌｌＸ１２Ｘｌｍ
Ｘ２ｍ
．ＹｌｌＹ２１Ｙｔ２ｙｌｍＸ＝Ｘ２１Ｘ２２Ｙ＝沈２耽ｍＺｎｌＸｎ２ＸｎｍＹｍＹｎ２Ｙｎｍ
设竹组数据满足如下关系式
％＝硒＋胁Ｊｚｔｌ＋…＋ｐｍｊｘｔｍ＋ｇ巧
（ｔ＝１，２，…，ｎ；ｊ＝１，２，…，ｐ）．
１
２第１章引言记
阮１
臼＝／３１１触ｐ１２
●硒卢ｌｐ答些（风，忍，…，伟），
：
风１风２
ＥＩＩ￡１２●
Ｅ＝￡２１６２２●缈功彬劫
●●●笪
６ｎｌ￡们●洲叩％；‰％；‰
Ｙ＝（１扎；ｘ）ｚ＋Ｅ＝Ｃ卢＋Ｅ
其中Ｃ为礼×（ｍ＋１）矩阵；且假定￡（ｔ）＝（Ｅｉｌ，ｇｉ２，…，￡咖）馋＝１，２，…，扎）是相互独立的，其均值向量为ｏ，协方差阵相等，均为∑。进一步可假定￡（ｏ一姊（０，∑）（ｉ＝１，２，…，几）．
定义１．１称模型
｛■麓篙＋㈣Ｅ＝ＣＺ，＋…Ｅ㈤，ｉ
乘估计可表示为【８】：相互独立Ｉ￡（￡）一％（ｏ，∑）（＝，，…，几）相互独立１２（１．１）是多因变量的多元线性回归模型，其中ｙ和Ｅ是随机阵，ｐ＝（助），∑＝（％）是未知参数矩阵，Ｘ是己知矩阵，Ｃ＝（１ｎ；Ｘ）Ｊ｜．ｒａｎｋ（Ｃ）＝ｍ＋１。把参数矩阵ｐ分为两块：ｂ（０１为１×施阵，Ｂ为ｍ×Ｐ矩阵。那么参数矩阵ｐ的最小二
声：…邓仞弋，ｙ
由分块求逆公式知（假定＿ｒａｎｋ（Ｃ）＝ｍ＋１）：
∥盯１＝陋篓Ｈ－１丢二嚣ｎ≥］，
其中
Ｌｘｘ＝Ｘ７（１ｎ一寺１ｎ１：）ｘ，贾２寺ｘ７１ｎ＝（圣ｌ，…，牙ｍ）７・
记１
Ｐ＝砉ｙ７１ｎ＝（９１，…，鲂）７，
Ｌｙｙ２ｙ７（ｋ－．５ｎｌｎｌ：）ｙ＝】厂７（Ｉｎ一寺Ｊ）Ｋ。～
．ｎｎ
Ｌｘｙ＝ｘ７（Ｉｎ一砉Ｊ）ｙ＝Ｘ７Ｙ—ｎＸＹ７＝Ｌｏｘ，
Ｉ３
塑垩盔兰塑圭堂位论茎一一
启＝一疋ｔ㈡誉’ｊ贾，Ｌ叉ｋ戈，ｎＰ，一五ｙＬ叉ｋｘ，ｙ一三叉ｋ２（ｎＦ７）＋ＬｉｋＸ７Ｙ
ＩＰ－ｆｉＹＬｘｌｘＬＬｘｌｘＬｘｙ肼］
即
Ｙ＝１竹由以上求得的∥的最小二乘估计声答（＆）（州．。）×ｐ，即得ｐ个因变量的回归方程：巧＝砌＋伪ｊｚｌ＋…＋局巧ｚｍ◇＝１，２，…，ｐ）Ｘ）
扎＾６柳斗Ｉ．印曼２㈣．Ｂ．Ｂ２●
＝１。ｐ７＋（Ｉｎ一｛ｇ）ｘｂ
实际值ｌ厂与预报值矿之差ｙ—ｐ称为残差。可以用它构造误差向量￡（曲的协方差阵∑的估计量。残差
ｙ—ｐ＝】，一ｌｎｐ，一（Ｉ珏一±Ｊ）Ｘ台
＝（Ｉ作＿ｌ孕ｊ）ｙ一（Ｉｎ二丢了）ｘＬ矗Ｌｘｙ之（Ｉｎ一寺Ｊ）（ｙ—ｘＬ矗Ｌｘｙ）
或
ｙ一矿＝Ｙ一∞
＝（Ｉｎ—ｃ（ｃ７Ｃ）－１ｃ７）ｙ
＝（Ｉｎ一日）ｙ
令Ｑ＝（ｙ～ｐ）７（ｙ—ｐ）为ｐ×施阵，称为残差阵。且Ｑ有以下计算公式：
（ｙ一矿）７（ｙ一夕）
Ｌｙｙ——ＬＹｘＬｘＩｘＬｘｙ（１．２）
Ｙ７（Ｉｎ—Ｈ）Ｙ
４第１章引言
常取∑的估计为宅＝南Ｑ．∑＝——二—・．
引理１ｒ８，在模型ｃ１．１，下，记届＝［翟’］二，Ｌ王ｋ＝ｃｚ巧，，而
／３（１）
雪＝（助）ｍ×ｐｄ＝ｅｆ（夙，…，犀）笪
厥。）
设ｎ＞ｍ＋１，ｒａｎｋ（Ｃ）＝ｒａｎｋ（１。！Ｘ）＝ｍ＋１，则
（１）ｐ遵从矩阵正态分布；
（２）Ｑ一％（扎一ｍ一１，Ｅ）；
（３）ｐ与Ｑ相互独立；
（４）觑￡）一％（俄１），ＰＥ）（ｉ－－１－１，２，…，ｍ）。
§１．２多元回归的偏最小二乘估计
偏最小二乘回归方法最先产生于化学领域。在化学研究中，经常需要利用一些可以控制（或容易测量）的变量（解释变量）去解释、控制或预测另外一些变量（反应变量），常用的统计建模方法是１．１节所叙述的多元线性回归的最小二乘估计。然而，只有当解释变量满足【１５］：（１）变量数目较少（２）无多重共线性（３）各解释变量与反应变量之间的关系易于解释时，多元回归的最小二乘估计才具有某些理论特性：比如最佳线性无偏估计（ＢＬＵＥ），才能较好地拟合数据，并能对结果给予比较合理的解释，若数据不能完全满足以上三个条件，则多元线性回归的最小二乘估计就会失效。
为处理违背以上三个条件的数据，统计学家对一般最小二乘估计进行了多种改进。为了克服多重共线性影响，发展了一系列有偏估计方法：岭估计，压缩估计，主成份估计及特征根估计等，或运用逐步回归等方法去掉一部分解释变量。但对于样本数较少，甚至少于解释变量的情况，以上方法均不适用【１３１，而且这些方法仍然存在着各种各样的问题和不足：要么解释性不够好，要么模型拟合精度不够高，要么预测精度不够理想等等。
对此，早期一些欧洲经济计量学家发展起一种新的统计方法即偏最小二乘（ＰａｒｔｉａｌＬｅａｓｔＳｑｕａｒｅｓ，缩写ＰＬＳ）回归。偏最小二乘回归方法是一般最小二乘回归的一种拓展，能够克服最小二乘回归分析方法的一些不足，但而当时偏最小二乘回归在统计理论上还有很多的问题没有完全解决，在应用领域也没有取得大的进展。所以没有引起统
浙江大学硕士学位论文５计学界和应用领域研究人员的足够重视。直到上世纪８０年代，计量化学研究者将偏最小二乘回归成功地运用到计量化学中，而后工业设计工作者应用该方法同样获得巨大成功，才引起了各方面极大的关注。由此偏最小二乘回归的理论和算法研究取得了极大的发展，而且其应用也迅速扩展到了其他领域，如管理科学，教育评测学，药理学等学科。到上世纪８０年代末至９０年代初，非线性迭代偏最小二乘（ＮＩＰＬＳ）形成多种算法的变种，最早由ＨｅｍａｎＷｏｌｄ提出的ＮＩＰＬＳ算法发展出迭代法，特征根法，奇异值分解法等多种算法，这些算法极大地丰富了偏最小二乘算法。此后随着对偏最小二乘回归理论、算法的进一步深入研究，ＤｅＪｏｎｇＺＪ：１９９３年提出了一种与ＮＩＰＬＳ完全不同的算法，即简单的偏展小二乘（Ｓａｎｍｐｌｅ
乘回归的基本步骤和思想。ＰａｒｔｉａｌＬｅａｓｔＳｑｕａｒｅｓＲｅｇｒｅｓｓｉｏｎ），同样实现了偏最小二
１９９６年１０月，在法国高等商业教育组织机构ＨＦＣＣＩＳＬ托ＥＲＥｓＴＡ的组织和赞助下，关于偏最小二乘回归方法、理论和应用研究的第一次国际学术专题研讨会在巴黎召开，来自世界各地的著名的偏最小二乘专家分析和介绍了他们各自的关于ＰＬＳ方法的最新进展及研究成果，以及在计量化学、工业设计、和金融分析等领域的应用。这次会议促进了偏最小二乘回归理论和算法的进一步深入发展。
§１．２．１偏最，Ｊ、－－乘回归的思想和算法
偏最小二乘回归分析是多元线性回归分析、主成分分析和典型相关分析的有机结合，其建模原理也建立在这三种分析方法之上。
在主成分分析中，对于一组自变量的多维数据组ｚ，为了找到能较好地概括原数据信息的综合变量，可在ｚ中提取第一主成分日，使Ｆｌ中所包含的原数据变异信息达到最大，即：
Ｖａｒ（日）一？ｔ口ａｘ
在典型相关分析中，为从整体上研究自变量数据组Ｘ和因变量数据组ｙ之间的相关关系，分别在Ｘ和ｙ中提取典型成分蜀和Ｇｌ，在使原变量数据均是标准化的条件下使它们满足
ｍａｘｒ（Ｆ１，Ｇ１）
ｓ．ｔ．ＦｌＲ＝１
Ｇ１Ｇ１＝１
上式中的参数具体化之后，可通过拉格朗日算法求解。在能够达到相关度最大的综合变量Ｒ和Ｇ１之间，如果存在明显的相关关系，则认为Ｘ和ｙ之间也存在相关关系，即
６第１章引言可采用偏最小二乘回归方法。
下面介绍偏最小二乘回归分析的建模思想。
设有ｐ个因变量．［ｙ１，Ｙ２，…，蜘）和ｍ个自变量｛Ｘｌ，Ｘ２，…，ｚ。）。为了研究因变量与自变量的统计关系，观察了礼个样本点，由此构成了自变量与因变量的数据表Ｘ＝｛ｚｌ，Ｘ２，…，ｚ。）。×。和ｙ＝．［ｙｌ，Ｙ２，…，跏）ｎ×ｐ。分别在ｘ和ｙ中提取成份ｔｌ和Ｕｌ（且１］ｔｔ是ｚ１，ｚ２，…，ｚ。的线性组合，Ｕｌ是Ｙ１，Ｙ２，…，蜘的线性组合），在提取这两个成分时，为了回归分析的需要，有下列两个要求：
・ｔｌ和Ｕ。尽可能大的携带它们各自数据表中的变异信息；
・ｔ１和Ｕ１的相关程度最大。
这两个要求表明：ｔｌ和Ｕ１尽可能好的代表原始数据Ｘ和ｙ，同时自变量的成分￡１对因变量的成分让，具有最强的解释能力。
在第一个ｔ１和Ｕ１被提取后，偏最ｄ、－－＂乘回归分别实施Ｘ对ｔ１的回归和ｙ对ｔｌ的回归。若此时回归方程已经达到满意精度，则算法停止；否则，将利用Ｘ被ｔ。解释后的残余信息以及ｙ被ｔ１解释后的残余信息提取第二对成分。如此反复，直到能达到一个较满意的精度为止。若最终对ｘ共提取了ｚ个成分ｔ１，ｔ２，…，ｔｚ（１≤ｍ），对因变量Ｙ１，Ｙ２，…，铷中任一变量ｙｋ（ｋ＝１，２，…，ｐ），偏最小二乘回归将施行Ｙｋ对ｔ１，ｔ２，…，ｔｌ的回归，而由于ｔ１，ｔ２，…，ｔｌ都是ｚｌ，ｚ２，…，ｚｍ的线性组合，最终可以表示成玑对原始变量Ｘ的回归方程。
§１．２．２偏最小二乘回归的建模步骤
为数学推导方便，先将数据做标准化。Ｘ经过标准化处理后的数据矩阵记为Ｅｏ＝（岛１，岛２，…，‰）ｎ×ｍ，ｙ经标准化处理后的数据矩阵记为Ｆｏ＝（Ｆ０１，Ｆ０２，…，嘞）ｎｘ即ｌ｜ｕ。０＝１。记Ｕ。为Ｒ的第一个成分，ｕ１＝ＦｏＣｌ，Ｃｌ是Ｒ的第一个轴，而且ＩｌｃｌｌＩ＝１。ｐ。第一步，记ｔ１为岛的第一个成分，ｔ１＝Ｅｏｕｌ，ｕ１是Ｅｏ的第一个轴，它是单位向量，
如果ｔ１，ｕ，能分别比较好的代表Ｘ和ｙ中的变异信息，根据主成分分析原理，则有
Ｖａｒ（ｔ１）＿ｍａｘ
Ｖａｒ（ｕ１）一Ｔｒｔａｘ
另一方面，由于建模的需要，要求ｔ１对Ｕ。有最大的解释能力，由典型相关分析可知，ｔｌ与Ｕ１的相关系数应该达到最大值，即ｒ（ｈ，ｕ１）一ｍａｘ
浙江大学硕士学位论文
因此，综上可知，在偏最小二乘回归分析中，要求ｔ１与ｉｔｌ的协方差达到最大，即７Ｃｏｖ（ｔｌ，ｕ１）＝弓／—Ｖａｒ（ｔ１）Ｖ—ａｒ（ｕ１）ｒ（ｔ１，仳１）一ｍ口ｚ
均“正规数学表述是求解下列优化问题，即２｛ｎ‰耻Ｃ
ｓ哺
、●．、、●－，１吼柏ｑ司１
因此，将在Ｊ１．ＪｉＪ１２＝１和ｌｉｅｌＩｌ２＝１的约束条件下，求＜岛ｕ１，Ｆｏｃｌ＞的最大值。
由拉格朗日法得到第一个轴ｕ。和Ｃ１后，即可得到成分
‘ｔ１＝岛ｕｌ
仳１２ＦｏＣｌ
ｕ・是对应于矩阵晶昂昂岛最大特征值的单位特征向量，而ｃｌ是对应于矩阵昂岛晶昂最大特征值的单位特征向量。
然后，分别求解晶和晶对ｔ１和仳ｌ的三个回归方程
Ｅｏ＝ｔ１科＋Ｅ１
Ｆｏ＝札１“＋目
Ｆｏ＝ｔｌｒ；＋日
式子中，回归系数向量为
ｎ＝
啦＝
ｎ＝１—２１—２塑姊婴娜Ｌ一２
而Ｅ１，目，只分别为三个回归方程的残差矩阵。
第二步，用残差矩阵Ｅ１和日取代岛和晶，求第二个轴ｕ２和ｃ２以及第二个成分ｔ２和ｕ２，则有
ｔ２＝Ｅｌｗ２
ｕ２２Ｆ１ｃ２
ｕ２是对应于矩阵耳日ｑ局最大特征值的单位特征向量，而ｃ２是对应于矩阵耳局耳Ｆ１最大特征值的单位特征向量。接着计算回归系数
沈５而
您５商耳ｔ２
８第１章引言所以，得到回归方程
Ｅ１＝ｔ２鹤＋Ｅ２
Ｆｌ＝￡２ｒ：＋易
如此反复计算下去，如果Ｘ的秩是Ａ，则有
Ｅｏ＝ｔｉＰ＇１＋…＋ｔｎ／Ａ＋既
Ｆｏ＝ｔｌｒｉ＋…＋ｔＡｒ’Ａ＋ＦＡ
由于￡１，…“均可表示成岛１，…，‰的线性组合。因此，昂还可还原为玩＝昂七关于《＝％的回归方程，也即
坑＝ａｋｌＸ：＋…＋ａｋｐｘ；＋ＦＡｋ，七＝１，２，…，ｇ
ｎ七是残差矩阵ｆ＿的第尼列。
又由（１．３）
嫉：—Ｙｋ－ＦＥ（ｙｋ）（七：１，２，…，ｇ）
ｚ净—ｘｉ１－Ｅ＿（ｘｉ）（ｉ：１，２，…，ｐ）
（１．４）其Ｅ（ｙｋ），Ｅ（鼢）分别是玑和筑的样本均值；Ｓ南和Ｓ幺分别是鲰和鼢的样本均方差。回归方程还可写成原始变量的偏最小二乘回归方程：讥＝陬纨）一∑Ｐ。航簧Ｅ（列】＋％石Ｓｙｋ山，一ｒ…十∞坳瓦５＇ｙｋ昂ｉ＝１“ｚｔ。。ｌ。唧
§１．２．３交叉有效性原则
交叉有效性原则【５】用来确定抽取成分的个数。一般情况下，偏最小二乘回归分析并不需要选取存在的所有ｍ个成分来建立回归方程，而像主成分分析一样，只选用前ｈ个成分，即可得到预测能力较好的回归模型。交叉有效性原则便是其中一种。记玑为原始数据，ｔ１，ｔ２，…，‰是在偏最小二乘回归中提取的成分，觑是利用全部样本点并提取ｔｌ，ｔ２，…，ｔｈ个成分进行回归建模后第ｉ个样本点的拟合值。玩㈠）是在建模时删去第ｉ个样本点，取ｔ１，ｔ２，…，如个成分回归建模之后第ｉ个样本点的拟合值。记
Ｉ‰＝∑（玑一饥）２
ｉ＝ｌｎ
．｛ＰＲＥＳＳｈ＝∑（玑一鲰（∥Ｉ
【Ｑ２＝１一ｉＰＲＥＳＳｈ（１・５）
堑垩盔堂翌主堂堡丝塞二——————，。，，。。。，。，。。，。。。。。———————』
则当ＱＺ≥ｏ．０９７５聍Ｊ，引进新成分ｔ＾会对模型预测能力有明显改善作用。这即是交叉有效性原则。
第２章改进的偏最小二乘回归
§２．１有关引理
下面首先不加证明地介绍一些在本章要用到的定理或结论（参见【８】）。
引理２设ｘ（口）一％（ｏ，∑）（Ｑ＝１…扎）相互独立，则样本离差阵Ａ服从威沙特分布，即
Ａ＝∑（ＸＱ）一．定）（五ａ）一．髫）７一％（几一１，∑）
威沙特分布是卡方分布的推广。
Ｈｏｔｅｌｌｉｎｇ严分布的定义及性质
定义１设ｘ一坼（ｏ，∑），随机阵Ⅳ一％（ｎ，∑）（∑＞０，ｎ≥ｐ），Ｋｘ与ｗ相互独立，则称统计量严＝佗Ｘ，Ⅳ＿１Ｘ为Ｈｏｔｅｌｌｉｎｇ严统计量，其分布为服从ｎ个自由度的Ｐ分布，记为
Ｔ２一Ｔ２（ｐ，ｎ）
其中％（ｎ，∑）是威沙特分布。
引理３严与Ｆ分布的关系：设铲一铲ｐ，ｎ），则
扎口掣Ｔ２。Ｆ（ｐ，礼一ｐ－４－１）
Ａ＝揣
Ａ—Ａｐ，ｎｌ，ｎ２）定义２设ｘ一％（ｏ，∑），则称协方差阵的行列式Ｉ∑ｌ为ｘ的广义方差。若五。）（Ｑ＝１，…，礼）为ｐ元总体ｘ的随机样本，Ａ为样本离差阵，则称弓ＡＩ或Ｉｉ与ＡＩ为样本广义方差。定义３设Ａ１一％（礼ｌ，∑），Ａ２一％（扎２，∑）（∑＞０，ｎｌ≥ｐ），且么ｌ和Ａ２独立，则称广义方差阵之比为威尔克斯统计量或Ａ统计量，其分布称为威尔克斯分布，记为
在实际应用中，常把Ａ统计量转化为严统计量，进而转化为Ｆ统计量，然后可以利用Ｆ统计量来解决统计分析中有关检验的问题。
引理４当礼２＝１时，设佗１＝礼＞Ｐ，则
Ａｐ，死，１）雪———■—一．１＋————广－＝—一１－４－三Ｔ２（ｐ，礼）１０
浙江大学硕士学位论文
或１１
型严＝型半兰Ｆ∞，ｎ－ｐ＋１）ｎｐ
这就引出了变量选择问题。吼川＝礼措．‘＿ＰＡ§２．２偏最小二乘回归分析的变量选择问题从偏最小二乘回归的计算结果可以看到，最终得到的偏最小二乘回归方程是一个全模型，即最终的回归方程包括了所有的自变量，但是在实际问题中，并不是所有自变量都需要包括在最终的模型中的，人们只想看到对因变量影响最显著的自变量在模型中，
偏最小二乘回归的一个重要方面就是变量的选择问题。通常，变量选择方法【？】包括ＡＩＣ准则、最终预报误差准则、贝叶斯信息准则、迭代对数准则、多元校正系数准则（Ｒ２）、修正的多元校正系数准则（Ｒ２）、损失函数的总体Ｆ检验以及Ｇ准则等。
Ａ鼢惦ｒＨｏｓｋｕｌｄｓｓｏｎ【４】提出分组变量选择方法及正交变量选择方法，并利用具体数据分析说明了这两种选择方法适合于大样本数据且计算更为简单些。
ＮｉｃｋｅｙＪ．Ｍｅｓｓｉｋ，ＪｏｈｎＨ．Ｋａｌｉｖａｓ和ＰａｔｒｉｃｋＭ．Ｌａｎｇｆ５】提出了几种不同的变量选择方法：ＰＬＳ－ＦＯＲＷＡＲＥ法、ＰＬＳ－ＢＯＯＴＳＴＲＡＰ法、８Ｑ法和ｖ】Ｐ法等；并利用实验数据说明了ＰＬＳ－ＦＯＲＷＡＲＤ法和Ｐ峪ＢＯＯＴＳＴＲＡＰ法从模型拟合的角度来说更好，而ＢＱ法和ＶＩＰ法更适合于模型预测等情况。
ＢａｉｂｉｎｇＬｉ，ＪｕｌｉａｎＭｏｒｒｉｓ和ＥｌａｉｎｅＢＭａｒｔｉｎ【３】通过模拟模型对这些不同方法进行了综合比较。得出的结论是：ＡＩＣ准则更适用于小样本情况，而多元校正系数准则（Ｒ２）、修正的多元校正系数准则（冗：）适用于大样本情况。
接着Ｊｅａｎ－ＰｉｅｒｒｅＧａｕｃｈｉ和ＰｉｅｒｒｅＣｈａｇｎｏｎ【１】提出了ＦＭＲ法、ＢＭＲ法、ＳＭＲ法、ＳＲ法、ＷＡＲＣＩ法、ＶＡＲＣ２法、ＢＣＯＲ法、ＣｏＥＦ法、ＲＣＯＥＦ法、ＢＱ法、ＳＲ－ＢＱ法、ＢＳＤＥＰ法、ＪＡＣＫ法、ＧＡ法、ＳＡ￡Ａ法等将近２０种的变量选择方法。得出ＧＡ法可以得到较低维的自变量和较高的Ｑ丕。。（交叉有效性）。但是其最大的缺点是：当自变量的维数较高时，计算量要比其他方法大的多，所以此方法只适合于自变量维数低于３０的情况。而ＳＭＲ法则是传统的变量选择方法，但是当自变量存在高度相关时，由于矩阵ｘＴｘ是奇异的，这种法不再适用。但在所有这些变量的选择方法中，没有一种方法是一致地优于其他方法的。
§２．３改进的偏最小二乘回归分析思想在实际问题中，往往是～部分自变量只对某一部分因变量有显著影响，而另一部分
１２第２章改进的偏最小二乘回归自变量只对另一些因变量有显著影响。因此本部分的主要目的是给出一种改进的多元数据分析方法，即改进的偏最ｔＪ、－＂乘回归方法。改进的偏最小二乘回归方法既能按自变量对因变量的关系对因变量分组，又能使每个自变量对各组因变量的作用反映出来，因此改进的多因变量偏最小二乘回归方法能很好地处理这类实际问题，并得到合理的结果。
改进的偏最小二乘回归思想如下：第一步，设自变量为Ｘ，，Ｘ２，…，Ｘ仇，因变量是Ｙ１，Ｙ２，…，蜘，首先引入一个因变量，并对自变量进行筛选，找出对这一因变量影响显著的自变量组｛以。，Ｘｉ。，…，Ｘｉ，）（其中｛戤。，觑。，…，ｚ“］－冬｛Ｘｌ，Ｘ２，…，％））；然后考虑因变量的筛选，这相当于把ｚｌ，Ｘ２，…，Ｘ仇和Ｙ１，Ｙ２，…，蜘的地位作一对换。找出对前面选出的ｒ个自变量组．［鼢。，ｚ锄…，Ｘｉ，）影响显著的因变量组｛协。，Ｙｊ。，…，协。）（其中．［协。，％，…，勘）∈｛可１，ｙ２，…蜘））；接着再筛选自变量，找出对这ｚ个因变量影响显著的自变量组。重复这一过程，直到某步当自变量筛选后，没有因变量可删除，同时也没有因变量可引入。假定这一过程得到的因变量组为｛可ｌ，耽，…，纨）其中七≤Ｐ，自变量组为｛如，，Ｘ锄…，ｚ“】－，其中ｒ≤ｍ，对这两组数据按照偏最小二乘回归的建模方法建立回归方程组。从因变量Ｙｌ，Ｙ２，…，孙中删除Ｙ１，Ｙ２，…，Ｙｋ后，再按照上述变量选择方法筛选因变量和自变量，得到第二组因变量和对应的自变量，如此往复，直到全部因变量都有了与之相应的自变量组，计算过程结束。假设经过变量筛选后，可将因变量分成ｔ组。
不妨设第一组因变量集合为Ｙ１，Ｙ２，…，纨，自变量集合为ｚ１，Ｘ２，…，Ｘ，。按照偏最小二乘回归的步骤建立秒ｌ，抛，…，躲关于Ｘｌ，Ｘ２，…，Ｘ，的偏最小二乘回归方程：
Ｙｌ＝文，０＋文．
Ｙ２＝庞。０＋侥．＋＋＋侥．，．Ｘｒ＋仍．ｒＸｒ
Ｙｋ＝｜３ｋ，０＋｛１３ｋ．＋＋伉．，Ｘｒ
接着再建立余下的ｔ一１组偏最小二乘回归方组，最终将得Ｎｔ组不同的偏最ｄ、－－－乘回归方程组。
自变量被选入或剔除模型的依据是该自变量对模型中的因变量的影响程度的大，ｈａｐ“贡献＂大小。因此，变量选择的第一步是计算自变量对因变量“贡献’’。
§２．４筛选过程所需统计量的计算
§２．４．１自变量筛选所需统计量的计算
考查某个自变量觋晰因变量的“贡献”是否够大，即检验兢对Ｐ个因变量的影响是否显著，因此计算“贡献＂的问题即归结到参数显著性检验的Ｉ；－Ｊ题了。若以对ｐ个因
浙江大学硕士学位论文１３变量的影响不显著，那么在模型（１．１）中鼢的回归系数ｐ（｛）＝Ｏｖ，此问题即要检验假设硪‘’：厥｛）＝Ｇ（ｉ＝１，２，…，ｍ）。
首先讨论某个自变量‰对可１’．．．，Ｙｐ“贡献’’的如何表达。根据引１１里１Ｒｐ可得检验－／０ｉ）的统计量。由引理１知
ｆｌ（ｉ）＝％一％（ｋｏ，产∑），
记局＝而１厶，则在卯下
忍％一％（ｏ，∑）．
由引理１及残差阵Ｑ的计算公式（１．２）知
Ｑ＝Ｌｙｙ—Ｌｙｘ二矗Ｌｘｙ一％∞一ｍ一１，∑）
且Ｑ与反ｉ）相互独立。由定义１知，统计量
铲＝（ｎ—ｍ一１）（局反ｔ））７Ｑ一１（Ｅ届（；））
＝（ｎ—ｍ一１）厉：。）Ｑ一１反ｔ）／∥
根据引理３可得统计量Ｆ：一≮Ｔｔ掣ｒ２
【一ｍ一１）ｐ一严０，ｎ—ｍ一１）（在硝’成立时）
一亿一ｍ—ｐ徘）Ｑ－１反ｉ）
Ｐ（２．１）∥
所以有如下定义：Ｋ为‰对ｐ个因变量可ｌ，…，％的“贡献＂。由上式可以看出，若前’成立时，则声（ｉ）≈０ｐ。于是表达式Ⅵ：挚应较小，。一Ｆ∞，佗一ｍ—Ｐ）（在硪２）成立时）
定义４在模型（１．１）中，自变量妃耕因变量的“贡献”Ｋ定义为：
配：亟旦二塑Ｚ∞
其中反ｔ）是俄ｔ）的最小二乘估计，Ｑ是残差阵，∥是矩阵己矗的元素，Ｌｘｘ：Ｘ，（１ｎ一磊１１。１：）ｘ。给定显著性水平Ｑ，由样本观测值计算Ｋ及五＝竺掣Ｋ。由式子（２．１）知五。Ｆ０，礼一ｍ—ｐ）。计算显著性概率值（碓）＝Ｐ（Ｆ≥五）。若ｐ≤Ｑ，则否定穰曲，表
１４第２章改进的偏最小二乘回归
善ｙ＝ｃｌｎ；ｘ，，［翟］＋咒岛＋Ｅ
且ｍ１＋ｍ２亏ｍ。，。２．２，Ｉ￡（｛）～％（ｏ，∑）（ｉ＝１，２，…，钆）相互独立令Ｃ＝（１ｎ；Ｘ）＝（１几；墨；恐），ｘｌ为死×仇１给定矩阵，咒为礼×ｍｌ给定矩阵，
记Ｂ＝［三］，其中Ｂｔ为ｍｔ×ｐ参数矩阵，岛为ｍ２×ｐ参数矩阵ｃｍ・＋ｍ２＝ｍ，，且ｒａｎｋ（Ｃ）＝ｒａｎｋ（１ｎ！Ｘｌ；拖）＝仇＋１，检验假设Ｈｏ：Ｂ２＝０。即要检验一部分自变量Ｘｒｎｌ＋１，…，ｚ。是否耕因变量有显著性影响。假设ｍ２＝１即恐＝ｚ。是ｎ维向量
（钆１，让２，…，‰）型乱且ｚ。相应的佗次观测值为
这时ｍ＋１个自变量与阶因变量的扎次观测值满足下列模型：
６（ｏ）
Ｙ＝（Ｃ！牡）Ｂｌ
６（ｔ‘）＋Ｅ些Ｇ∥（仳）＋Ｅ，ｒ口ｎ忍（瓯）＝ｍ＋２，（２．３）
Ｉ￡（｛）一Ⅳｐ（ｏ，∑）（ｉ＝１，２，…，佗）相互独立
用６（ｏ），雪１，Ｑ表示在模型（２．２）下参数∥的最小二乘估计及残差矩阵，用６（ｏ）（让），台ｌ＠），６（ｕ）及Ｑ（ｕ）表示在模型（２．３）下参数ｐ（ｕ）的最ｄ，－－－乘估计及残差矩阵。
在模型（２．２）下，记
０１＝（１ｎ；Ｘ１），Ｃ＝（１。；墨；恐）＝（Ｃ１；恐），
由式子（１．２）知残差阵
ｆｙ＝ｃ１．ｉ
Ｉ￡（｛）一ＮＡｏ，∑）（ｉ＝１，２，…，礼）相互独立Ｘ１）［翟］＋Ｅ，。２．４，
浙江大学硕士学位论文
其相应的残差阵为
Ｑｔ＝Ｙ，（Ｉｎ—Ｇ（ｑｃｌ）一１ｑ）ｙ＝Ｙ，（Ｉｎ一所）×
其中凰＝Ｃｌ（ＣｉＣｌ）－１ｑ）。
首先计算Ｑ１～Ｑ的表达式，因为Ｃ＝（ａ；．磁），记
Ｄ＝墨（Ｉｎ—Ｈ１）．磁，
故有【８】
（ｃ７Ｃ）－１
‘ｑｃ一，）ｋ－＇ｃＩ恐Ｉ。＿１（弼ａ（ｑＧ）－－一Ｉｍ２）．曩甜＝愕０～。０］
因此
Ｑ＝ｙ７卜一ｃＧ；恐，ｃ∥ｃ，‘１［乏］］ｙ
＝Ｙ”ｎ—ｏ（ｑＧ）－１ｑ）ｙ—Ｙ，（Ｉｎ—Ｇ（ａ，Ｇ）一１ｑ）Ｘ２Ｄ一１Ｘ；（Ｉ。
一ａ（ｑＧ）。ｑ）Ｋ
即得
Ｑｌ—Ｑ＝ｙ７（ｋ—Ｈ１）Ｘ２Ｄ－１嚣１（Ｉ。一ａ（ｑａ）一１ｑ）ｙ
另一方面
ｐ＝（Ｃ７Ｃ）＿１Ｃ７Ｙ
ｍｌ＋１
ｌ（ｑＧ）－１ｑ）ｙ一（ｑａ）－１ｑ）Ｘ２Ｄ－１弼（Ｉｎ—Ｈ１）Ｙ
ｌＤ．１弼（Ｉ礼一Ｈ１）ｙｍ２于是岛＝Ｄ一１巡（Ｉ＂一ａ（ｑａ）一＇ｃｏＹ。
所以
Ｑ１一Ｑ＝Ｙ’（Ｉｎ—Ｈ１）Ｘ２Ｄ＿１嚣１（Ｌ—ｃ，（ｃｆｃｌ）一１ｑ）】厂
＝岛Ｄ岛＝岛墨（Ｉｎ一日１）恐龟
引理５【８】在模型１．１下，有
（１）Ｑ一％（ｎ—ｍ一１，∑）；１５（２．５）
１６第２章改进的偏最小二乘回归
（２）在模型２．４下（即凰成立时），ＱＩ—Ｑ一％（概，∑）；
（３）Ｑ与Ｑ１一Ｑ相互独立。
检验凰的似然比统计量【８】为
“入：—ｍａｘＬ（／—７（１），Ｅ）：—ＩＱｌｌｎ—ｌ－＂ｉ２：鲤：ｆ型：）ｈｉ２
等价与＾＝＝一：＝：～＝——————————●一＝ｌ一ｕ＝而‰＝雨硒ＩＱＩｍａ＜ｘＬ（ｎ，∑）ｌＱ／，２Ｉ—ｎ／２ｌＱＩ—ｎ／２、ＩＱ－Ｉ－（Ｑｌ—Ｑ）Ｉ’
ｉ
在凰成立时，Ｑ１一Ｑ＝岛Ｄ岛一％（ｍ２，∑），３Ｌｔ天ｔＱ一％（佗一ｍ一１，∑），且Ｑ与Ｑ１一Ｑ相互独立，由定义３知
Ｕ—Ａ∞，几一ｍ一１，ｍ２）．
可以看出，当日０成立时，则Ｕ值应近似等于１；若Ｕ值太小，则可否定假设凰。对于给定的显著性水平ａ，由样本数据计算Ｕ值为Ｕ，利用检验统计量Ｕ的分布，计算显著性概率值（雄）＝Ｐ（Ｕ≤让）。当Ｐ＜ｏｚ时，否定凰，即认为ｍ２个自变量Ｘｍｌ＋１，…，ｚ。耕因变量的作用显著；当Ｐ≥Ｏｌ时，凰成立，即可认为ｍ２个自变量ｚｍ，＋ｌ，…，ｚｍ渤个因变量的作用不显著。
特别地，当ｍ２＝１时，恐＝Ｘｕ是几维向量，Ｄ＝ｚ：‘（Ｉ。一皿ｘｕ是数值，记为ｄ，而岛＝占｛。１为１×旆阵，所以
ｕ：旦！：
ＩＱ＋６（。）ｄ６，ｕ）｜
由分块求行列式的公式可得：
Ｉ￡１一磐｝：阱喀‰ＩＩ‰Ｑ
因此Ｐ“…。＝ＩＱｌｌｌ＋ｄ６，乱）Ｑ＿１６（ｕ）Ｉ，
１＋幽：Ⅱ）Ｑ一１‰ｕ：———。二一
另一方面，当ｍ２＝１时，由引理４知：ｒ２．６）、’当日。成立时，则ｃ厂值近似等于１，Ｋｕ）＝ｄ研ｕ）Ｑ一１占（Ⅱ）定义为变量ｚ缸对ｐ个因变量的作用。
Ａ（ｐ，／＇ｔ—ｍ一１，１）＝———１——二———～１＋＝—ｊＴ２（ｐ，ｎ—ｍ一１）佗一ｍ—ｌ（２．７）
浙江大学硕士学位论文
比较（２．６）（２．７）式得１７
严ｐ，仡一ｍ一１）＝（几～ｍ一１）ｄ《。）Ｑ。６（让）＝（ｎ—ｍ一１）．Ｌ笋
ｅｐｕ统计量可转化为严统计量，再由引理３知（２．８）
Ｆ＝≮篙等≯严咖一ｍ－１）一盹ｎ—ｍ刊，
即
Ｆｌ＝Ｆ＝
所以统计量局即是检验自变量ｚｕ能否引入模型的统计量。一一：＝一一，ｖ，’ｌ。，）．７Ｉ一，，＾一ＴＪｌ．型Ｐ型型Ｕ＝坚Ｐ型盏一砘ｎ—ｍ刊．１一Ｋ‘州一“纠
下面的引理来自文献【９】，是证明下面的定理１所需要的。
引理６【８】在模型（２．２）和（２．３）下参数阵的最小二乘估计及残差阵之间有如下关系：
ｆ６（仳）＝ｄ－１（ＬⅡｙ—Ｌ。ｘＬｘｌｘＬｘｙ），
（２．９）｛掣２笔Ｌｘ—ｌｘＬ．ｘ，＊ｂ（曲，．ｌｂ（０）（ｕ）＝】，７一Ｘ７Ｂ（ｕ）一ｆｉｂ（ｕ），
【Ｑ（ｕ）＝Ｑ一曲（让）’６（姐），
其中
１１１
Ｐ＝三】，７１ｎ，贾＝三Ｘ７１ｎ，面＝三乱７１。
Ｌ。ｕ＝扎７（Ｉ。一丢Ｊ）仳，Ｌｕｘ＝ｕ＇（Ｉｎ一三Ｊ）Ｘ＝Ｌ＇ｘ札
Ｌ∥２∥（Ｉｎ一寺Ｊ）ｙ＝西ｕ，ｄ＝Ｌｕｕ—Ｌ，，ｘＬＩｘｘＬｘⅡ・
定理１在模型（２．３）Ｔ自变量ｚ。对！，ｌ，…，跏的“贡献’’Ｋ可以改写成：
Ｋ：型ｌ（ｒ）二ｏｒ（翁ｒ）、』－ｌ／坠（ｒ）！（ｕ：ｌ，２，…，ｍ）
其中
叱＝ｚ：‘［厶一ｃ（∥ｃ）－１Ｃ７】ｚⅡ＝ｂ—Ｉ。，ｘＬ矗Ｉｘｕ＝ｆ黝，
证明：由引理６可知６（ｕ）＝ｄ一１（Ｌｕｙ—ＬｕｘＬ矗己ｘｙ），带入定义４中Ｋ的公式即可得学ｃ札……川也靠１（ｚｕｙ一１．ｘＬｘｌｘＬｘｙ）Ｑ一１（ｚｙ。一ＩｘｕＬ矗Ｌｘｙ）既１
１８第２章改进的偏最小二乘回归
假设ｚ。是已选入的变量，由消去变换的性质知
Ｉ（０一，＝一２诧
因此，同理可以推出检验自变量ｚ。能否从模型中剔除的统计量为：
岛＝坚芦（一Ｋ）
综合以上分析可以得到如下定理２。
定理２自变量筛选过程中，设模型中已引入ｍ－个自变量，ｐ１个因变量。判断能否引入自变量ｚ。的统计量为日＝半盏一弛ｎ—ｍ＿ｐ）ｐ１ｌ一‰
判断是否剔除模型中自变量ｚ。的统计量为易：竺塑（一Ｋ）．Ｐｌ
§２．４．２因变量筛选所需统计量计算
考虑因变量筛选时，可把ｚ１，ｚ２，…，ｚｍ和可１，Ｙ２，…，蜘的地位交换一下，即把ｍ个变量ｚ１，ｚ２，…，。仇作为ｍ维随机向量，来考察它与可１，Ｙ２，…，珈的之间的依赖关系。
假设变量ｚ１，ｚ２，…，‰，与变量ｙ１，Ｙ２，…，洳，的咒次观察数据满足下列模型：
｛％×ｍ・＝ｃｌｎ；ｙ，【翟Ｊ。，＋用，×ｍ，＋Ｅ，Ｉ￡（｛）一Ⅳｍ。（ｏ，∑ｘ）
ｙＨ
Ｙ２１ｙ１２Ｙ２２。２．１。，（ｉ＝１，２，…，礼）相互独立记ＹｌｐｌＹ２ｐｌ萝ｌＪｙ＝％，协。：
●０＝Ｐｌ＋１，…，ｐ）．
∥ｈｌ！，ｈ２‰ｌ％
｛ＥＸ∽ｎｘ。，ｎⅣ＝ｋ。（。ｌ。ｎ，∑ｉｘ，Ｇ’：；鬯）２］．：ｉ×焉，纂独立（２．１１）
塑兰盔学硕士学位论文１９其中多（ｉ）为从ｙ中删除第ｉ列数据后的数据阵，虽（ｚ）为从Ｂ中删除第ｉ行参数６（１）后的参数矩阵。检验犰能否从方程中剔除即检验硝’：６（｛）＝０１×ｍ。。由似然比原理选统计量【８】：其中Ｑ◇１）表示包邰１个因变量时模型（２．１０）的残差阵，由式子（２．８）可知ｕ＝揣＝砭页云＿二了厂＃宅等宅‰一Ａ（ｍｌ，ｎ－ｐｌ－１，１），
Ｔ２（ｍｌ，ｎ—Ｐｌ一１）＝（ｎ－Ｐｌ－１）丁１－Ｕ
（ｎ—Ｐ，一１）瓯）Ｑ一１∽）％
讹＝蕊（ｉ）Ｑ一１∞１）反ｆ），
Ｆ＝死一ｍｌ—Ｐｌ。’。’—’。’。—１’—’’—一一＝１一Ｕ
ｍｌＵ—’————————・・＿扎一仇Ｉ—ｐｌｍｌ－＿一
—Ｆ（ｍｌ，ｎ—ｍｌ—Ｐ１）
考虑引入变量协Ｕ＝ｐ１＋１，…，ｐ）后模型（２．９）变为
ｆ％×仇ｔ＝ｑ竹；ｙ；珊，［兰Ｌ＋。，×ｍ。＋Ｅ，
一＝———————：——————————：刍—一＝铲ｄｊ占｛ｊ）Ｑ一１（ｐ１）６｛ｆ）————＿乱ｆ
１一Ｐｌ一２１一心６０）Ｑ一１ｐ１）６０）一１一％’＿一
Ｆ＝（佗一ｐ１～２）一ｍ１＋１严
ｍ１．
佗一ｐ１一ｍｌ一１１一Ｐｌ一２
ｕｆ
ｍ１１～％
Ｆ（ｍｌ，佗一ｍ１一ｐｌ一１）记（２．１２）则称“ｉ为变量玑对变量ｚ１，ｚ２，…，Ｘｍｌ的贡献，所以检验统计量利用Ｆ统计量可检验假设硝’。（２．１３）
２０第２章改进的偏最小二乘回归利用Ｆ统计量可检验假设日Ｉ＃’。
因变量的引入与剔除步骤与自变量的引入与剔除步骤完全相同。由以上分析得到如下定理３。
定理３因变量筛选过程中，设模型中已引入ｍ１个自变量ｐ１个因变量，判断是否引入因变量的统计量为
Ｒ：竺竺Ｌ旦地ｍｌ
—Ｆ（ｍｌ，礼一？７２１一Ｐ１）
判断是否剔除模型中因变量的统计量为忍＝坚掣盏ｍ１
Ｘｌｍ
Ｚ２ｍｙｌｌＹ２１ｌ一乱ｉ—Ｆ（ｍｌ，ｎ—ｍｌ～ｐ１—１）其中呦是因变量协对模型中自变量的“贡献’’，计算公式为（２．１２）。§２．５改进的偏最，Ｊ、－－乘回归分析步骤设有价因变量与ｍ个自变量，观测数据阵为ＸｌｌＸ２１Ｘ１２Ｘ２２Ｙ１２Ｙ２２●●●ｐ●●●
Ｘ＝．Ｙ＝蛳脚
；ｐ
ＸｎｌＸｎ２ＸｎｍＹｎｌ鼽２●●●％
ｐ
§２．５．１准备工作
考虑是否需要对原始数据进行标准化。由于变量毛（ｉ＝１，２，…ｍ）和ｙｊ（ｊ＝１，２，…ｐ）所取单位不同及取值范围不同，为减少量纲的影响及减少计算误差，可对数据进行标准化。此处采用标准差标准化，即令
舡莆（渊，２＇…，ｍ；ｔ－＝Ⅵ，…，咄
其中毛＝寺∑Ｘｔｉ，８ｉ（ｚ）＝死ｕ。令
蝣２错（歹＝１＇２，…，ｐ归１，２，…，ｎ）
浙江大学硕士学位论文２１其中易＝丢喜…∽＝
（２）计算ｍ＋Ｐ阶矩阵Ｌ，假设中心化后的数据阵为贾和矿，记Ｌ＝Ｌ（ｏ），则
俨）＝［雾嚣］却∽纠∞＝［凌Ｌ（Ｏ）Ｊ二
为（ｍ＋Ｐ）×（ｍ＋ｐ）矩阵。若数据已做标准化变换，则矩阵Ｌ（ｏ）就是ｍ＋价变量的相关矩阵。
假设筛选自变量时引入和剔除变量的显著性水平分别记为ａｘ们Ｏｔｘ州，筛选因变量时引入和剔除变量的显著性水平分别记为ａｙ阳口ｙ砌。
§２．５．２变量筛选过程
第一步：取Ｙｌ作为协。，矩阵Ｌ（ｏ）为当前矩阵。转入第ｋ＋１步的（３），考虑引入自变量。若没有任何白变量可引入，说明可ｌ与所有的自变量无关。
假设已计算－ｆｋ步，入选的自变量有ｍ１个（不妨设为ｚ１，ｚ２，…，ｚ。，），因变量郁１个（不妨设为Ｙ１，Ｙ２，…，Ｙｐ，），当前矩阵为Ｌ（…・），每引入（或剔除）一个因变量轳允，即对当前矩阵相应块作高斯消去变换，结果矩阵作为新的当前矩阵为三（ｍ－＋１）。
第ｋ＋１步：筛选自变量
（１）计算各个白变量对ｐ１个因变量的“贡献’’
ｖｊ＝ｄｂ（ｊ）Ｑ＿１０１）６，力（Ｊ＝１，…，ｍ）．
（２）考虑能否剔除自变量。对已入选的自变量ｚｉ，选出对Ｙ１，Ｙ２，…，蜘，贡献最小的变量，记为ｚ硒，并计算Ｘｉｏ的Ｆ统计量踟值。都≥ａｘ口ｕ。，则剔除变量ｚ如，并对当前矩阵Ｌ（ｍ１）作高斯消去变换得矩阵Ｌ（ｍ－＋１）＝％陋（７）】，且以Ｌ（ｍ－＋１）作为当前矩阵，转向第ｋ＋１步，继续考虑自变量的筛选；否则，不能剔除该变量，转入第七＋１步的（３）考虑能否引入新的因变量。
（３）考虑能否引入新的自变量。对于未入选的自变量，选出相应的“贡献”最大的变量，记：为Ｘｊｏ，并计算ｘｊ。的Ｆ统计量励值。都≤Ｄｘ舻则引入变量Ｘ如，并对当前矩阵Ｌ（ｍ－）作高斯消去变换得矩阵三（ｍ１－Ｉ－１）＝瓦陋（ｒ）］，且以Ｌ（ｍｌ＋１）作为当前矩阵，并继续考虑自变量的筛选。否则，该变量不能被引入，自变量的筛选过程结束。第ｋ＋２步：筛选因变量。
第２章改进的偏最小二乘回归
（１）计算各个因变量对ｍ１个自变量的“贡献”
吻＝蕊（ｆ）Ｑ．１（ｍ１）昧）
（２）考虑能否剔除因变量。对已经入选的因变量协，选出对ｚ１，ｚ２，…，‰。贡献最小的变量，记为Ｙｉ。。计算Ｙｉ。的Ｆ统计量及施。若ｐ≤ＯｌＹｏｕｔ，不能剔除变量，转入ｋ＋２步的（３）考虑可否引入新因变量。否则，剔除变量‰，并对当前矩阵作高斯消去变换得矩阵Ｌ（”ｔ＋１）＝五。陋《ｒ）】，且以￡（ｍ・＋１）作为当前矩阵，然后重复ｋ＋２步，继续考虑因变量的筛选。
当Ｐ１＝１时，考虑能否剔除的步骤跳过，直接考虑能否引入新因变量。
（３）考虑能否引入新因变量。对未入选的变量，选出对ｚｌ，ｚ２，…，ｚ仇，贡献最大的变量，记为‰。计算耽。的Ｆ统计量及难。若ｐ≥Ｏｆ．ｙ卵‰不能被引入，因变量的筛选过程结束；接着重复第ｋ＋１步，考虑自变量的筛选。如果自变量既没有可剔除的，又没有可引入的，则筛选过程结束，转入计算本组回归模型的结果。否则，若因变量Ｙｉｏ可以被引入，则对当前矩阵Ｌ（ｍ，）的相应块作消去变换，并作为当前矩阵。然后重复ｋ＋２步，继续考虑对的自变量筛选。
可以看出，在以上给出的逐步筛选过程中，自变量和因变量的地位时同等的，每当在引入一个因变量后，对自变量进行筛选，找出对这一因变量影响显著的自变量组鼢。，ｚｉ。，…，轨，；之后考虑因变量的筛选，这相当于把ｚｌ，ｚ２，…，‰和Ｙ１，Ｙ２，…，鳓的地位作一交换。类似地，用逐步筛选的方法筛选因变量，设珊，，％，…，％为对ｒ个自变量忍，，ｚ幻…，ｚ“影响显著的变量组，接着再筛选自变量，找出对Ｚ个因变量影响显著的自变量组，这一过程直至某步当自变量筛选后，既没有因变量可剔除，也没有因变量可引入，则逐步筛选过程结束。
§２．５．３计算该组偏最＇ｂ－乘回归方程
假设最终入选的因变量为可１，Ｙ２，…，珈，，自变量为ｚ１，Ｘ２，…，ｚｍ，。按照偏最小二乘回归的步骤计算该组回归方程。原始观测数据阵已标准化处理，故要还原到原变量的回归方程组。
§２．５．４计算下一组偏最小二乘回归方程
从原始数据阵中删去已入选的因变量的数据，重复以上２．５．２和２．５．３两小节中的步骤，考虑Ｐ—Ｐ１个因变量与仇个自变量的筛选与计算，即可求得第二组，第三
浙江大学硕士学位论文
组，…第ｔ组的偏最ｄ、－－＂乘回归方程组。到此ｐ个因变量和矾个自变量的改进的偏最小二乘回归过程全部结束。
§２．６实例分析
本实例研究了影响人民生活质量和经济发展的因素【１２】。样本数据取自《中国统计年鉴》（１９９１－２００７），共１５个变量，分别为：Ｘ１原煤产量（亿吨），ｚ２石油产量（万吨），Ｘ３纱产量（万吨），ｚ４机械纸及纸板产量（万吨），Ｘ５汽油产量（万吨），ｚ６农用氮磷钾化肥产量（万吨），Ｘ７水泥产量（万吨），Ｘ８城市居民家庭人均可支配收入（元），Ｘ９粮食播种面积占总播种面积的比重，Ｘ１０乡村人口占总人１：３的比重，可１粮食产量（万吨），Ｙ２居民消费水平（元），ｙ３Ｔ业生产总值（亿元），ｙ４发电量（亿千瓦小时），／／５全社会固定资产投资（亿元）。
按照改进的偏最小二乘回归的步骤，利用ｍａｔｌａｂ编程计算，可将自变量和因变量结果分成三组：
第一组：建２ｆ＿ｙ１和ｚ９的偏最小二乘回归方程：
雪１＝３１６９７．１８９—２１３００．１８ｘｏ
第二组：分别建立沈和弱关于Ｘ３，ｚ４，Ｘ８的偏最小二乘回归方程：
蟊＝２２７．１６—０．２０ｘ３—０．１５Ｘ４＋０．６２ｘ８
９３＝－９０３０．４２＋７．７３ｘ３＋０．４２Ｘ４＋６．８８ｘ８
第三组：分别建立纨和骗关于Ｘ３，Ｘ４，Ｘ５，Ｘ７，Ｘ１０的偏最小二乘回归方程：
９４＝１１５２．２４＋１．８９ｘ３＋０．５２ｘ４０．３９ｘ５＋０．１６ｘ７—２１．４６ｘｌｏ
彘＝一１１６５９４．６９＋１２．３４ｘ３＋２．６４ｘ４—１．２０ｘ７＋１．０５ｘ７＋１１５３．７３Ｘｌｏ
由计算结果看出，可。粮食产量与ｚ９粮食播种面积占总播种面积的比重成反比，如果再考虑到农业科技的推动，这个表达式是合理的。说明随着农业科技的进步，虽然粮食播种面积的比重降低了，但是粮食总产量却逐年增加。耽居民消费水平与ｙ３Ｉ业生产总值的主要影响因素是ｚ３纱产量、Ｘ４机械纸及纸板产量和踟城市居民家庭人均可支配收入；Ｙ４发电量与蜘全社会固定资产投资的主要影响因素是ｚ３纱产量、ｚ４机械纸及纸板产量、Ｘ５汽油产量、Ｘ７水泥产量和ｚｌｏ乡村人口占总人口的比重。为了对比，根据偏最小二乘回归分析的建模步骤，建立ｙ（ｙｌ，…，驺）关于Ｘ＠１，…，
２４第２章改进的偏最小二乘回归ｚｌｏ）的全模型偏最小二乘回归方程，结果如下：
雪１＝－１１５６０８～５８１．９５０３ｘｌ４－３．７５６５ｘ２４－０．４３４０ｘｓ４－１．２２３４ｘａ４－０．５０８７ｘ５
４－０．８６４６ｘ６—０．６９７８ｘ７４－１．０２１８ｘ８＋５２１４０ｘ９４－９６９．７７４３Ｘｔｏ
扔＝－４９８７．４７５８—２６．０８６９ｘｌ４－０．７４８１ｘ２—０．５６６７ｘ３—０．３２４６ｘ４—０．９６５５ｘ５
—０．２９０１ｘ６０．０１５９ｘ７４－０．１１０８ｘ８４－２２７９．４１４１ｘ９＋１．９５１９Ｘｌｏ
眈＝－５５１７３４－１８４．７６７４ｘｌ一０．７４０９ｘ２４－Ｏ．０５２５ｘａ一０．７５１８ｘ４—０．４３８５ｘ５
—０．７９０９ｘ６＋０．３５６９ｘ７＋５．７０２０ｘ８４－２０３１８９ｘ９—１３６５．４１８９ＸＬＯ
９４＝１８６００＋１６１．９８０８ｘｌ一１．０５１３ｘ２４－０．０３５１ｘｓ一０．３４７７ｘ４４－０．２８５５ｘ５
＋０．１６０９Ｘ６４－Ｏ．７１２３ｘ７４－０．２１７５ｘ８４－５４７４８ｘ９—５７９．５０４９ｘｌｏ
如＝４２２９８４－１１５３．２６２１ｘｌ一１２．８６７３ｘ２４－４．７４６１ｘｓ一２．７８８７ｘ４＋２．３６８９ｘ５
４－２．６６３６ｘ６４－０．５７４４ｘ７４－８．７７３９ｘ８＋４５７０４３ｘ９—３４３２．３４０２ｘｌｏ
由以上计算结果可以看出，由改进的偏最小回归计算的结果更简明，各组模型中只
含有跟自身变化关系最密切的自变量。同时可以Ｅｈｍａｔｌａｂ计算知各因变量的偏最小二乘回归的预测偏差平方和总是大于改进的偏最小二乘回归的预测偏差平方和。所以，在预测精度上，改进的偏最小二乘回归也具有一定的优越性，而且模型更简洁有效。模型中含有对因变量影响最大的自变量，对于实际问题中的预测控制等都是很好的方法。因此从预测角度来说改进偏最小二乘逐步回归方法要优于一般的偏最小二乘回归方法。
§２．６．１结论
改进的偏最小二乘回归思想其实来源于最小二乘线性回归的逐步回归思想。在最小
二乘回归分析中，对于自变量的逐步筛选过程，是在考察自变量对全部因变量的贡献大小，但是如果某一个变量ｚｉ只对因变量％影响显著，对其余变量作用不显著时，对Ｘｉ作显著性检验，很可能Ｘ；不能引入回归方程。在最终得到的回归方程中，有的回归方程可能不是“最优＂的，如在可ｊ的回归方程中，重要变量孔就没有被引入。正是基于这种逐步筛选的思想本节引入了改进的偏最小二乘回归方法，在变量筛选过程中既能以因变量和自变量的关系来将因变量进行分组，又能使每个自变量对各组因变量的影响都能反映出来。因此最终得到的回归方程的预测能力和模型拟合能力要优于普通的偏最ｄ、－－－乘回归方程。
第３章改进的偏最小二乘回归模型与ＡＲＭＡ模型
的结合
§３．２时间序列模型
在经济分析和科学研究中，通常要对某一个或一组变量Ｙｔ进行观察及测量，将在一系列时刻ｔ１，ｔ２，…，ｋ得到的离散数字组成的序列Ｙ１，Ｙ２，…，‰称为时间序列，而在一般的情况下，犰是与其前面的观测数据有一定关系的，时间序列分析就是根据得到的时间序列数据，利用曲线拟合和参数估计等方法来建立数学模型的理论和方法。
平稳的时间序列模型可分为三种类型【１４】：自回归模型（ＡＲ模型）、滑动平均模型（ＭＡ模型）和自回归滑动平均模型（ＡＲＭＡ模型）。ＡＲＭＡ模型是平稳时间序列模型的普遍形式。ＡＲ和ＭＡ模型是它的特殊情况。对于ＡＲＭＡ模型，在进行参数估计之前，需要进行模型的识别。识别模型的基本任务是找出模型的具体特征，最主要的是确定模型的阶，即ＡＲＭＡ０，ｑ）中的Ｐ和ｇ，识别的基本方法是利用时间序列样本的自相关函数和偏自相关函数。
对于非平稳的时间序列现，首先需要判断时间序列的特性，如趋势性、突变性及周期性等。若该序列存在某种特性，需要剔除该特性，使非平稳序列平稳化。对经过平稳化处理后得到的新序列可以按照平稳序列的模型进行建模，模型的阶数可以根据ＡＩＣ准则来确定。
下面介绍一般的时间序列建模方法【１４】：
一、对序列的平稳性，正态性及周期性等进行检验；
二、用适当的方法处理原始数据序列（如差分、转换），使数据达到建模的要求；
三、计算数据序列的自相关函数和偏自相关函数，确定模型的阶次；
步骤一通常所用的方法是运用差分方法将时间序列转换成平稳序列；步骤二包括判断最佳模型时所用的尝试方法，此时工作的工作量比较大，一般通过对相关图及偏相关图的分析来确定模型和模型阶数；最后一步相对比较容易，一般采用最小二乘拟合估计或极大似然估计方法。建模过程比较复杂，～定程度上需要猜测和经验，这样才能做出预测性比较好的模型。
本文实例中的序列具有时间趋势项，都有明显上升或下降的趋势。所以对这些序列采取以下步骤【６】：
一、将利用差分法对序列进行平稳化处理，剔除时间趋势项；
二、对提取的残差序列进行分析，建立时间序列模型。这一过程通过分析ＥｈＳＡＳ程２５
第３章改进的偏最小二乘回归模型－与ＡＲＭＡ模型的结合
序输出的自相关和偏自相关图确定模型及模型阶数；
三、对原序列进行方程检验，形成预测模型并预测；
四、利用改进的偏最小二乘回归建立预测模型。
《１）Ａ咒（Ｐ）模型
在时间序列中，描述时间序列ｙｔ自身某一时刻和前Ｐ个时刻之间相互关系的模型是自回归模型，其形式为：
玑＝≯ｌＹｔ一１＋≯２Ｙｔ一２＋…＋如纨一ｐ＋岛
式中≯－，西２，…，妒ｐ是模型的参数，ｇｔ是白噪声序列，它反映了其他随机因素的干扰。该模型表明，当前值Ｙｔ是其自身过去观测值Ｙｔ一１，Ｙｔ一２，…，Ｙｔ—ｐ的线性组合，通常称为自回归模型，简称Ａ冗模型。缩写ＡＲ（ｐ）表示ｐ阶自回归模型。
（２）ＭＡ（ｑ）模型
如果将Ｙｔ看成是各期随机干扰即白噪声序列的线性组合，即可建立滑动平均模型，
其一般形式为：
Ｙｔ＝艮＋ｐｌ岛一１＋０２９ｔ一２＋…＋％￡ｔ一口
这个模型表明，每个时间序列都是过去ｑ个周期随机扰动项的加权平均，因而称为移动平均模型，简称ＭＡ模型。缩写ＭＡ（ｑ）表示ｑ阶滑动平均模型。
（３）ＡＲＭＡ（ｐ，ｑ）模型
在进行时间序列分析而组建预测预报模型时，往往希望模型具有更强的代表性，即既包括ｐ阶自回归。又包括ｑ阶滑动平均的混合模型。这样的模型称为自回归一滑动平均模型，缩写为ＡＲＭＡ（ｐ，ｑ），有如下表达式：
矽ｌｙｔ一１＋≯２玑一２＋…＋≯ｐ轨一ｐ＋鼠＝氏＋ｐｌ氏一１＋如岛一２＋…＋％岛一ｇ
上式左边是模型的自回归部分，ｐ为自回归阶次，（咖１，咖２，…，如）称为自回归系数；右边是模型的移动平均部分，ｑ是滑动平均阶次，（ｇｌ，９２，…，￡。）称为滑动平均系数。可以看出，ＡＲ（ｐ）模型军ｉ１ＭＡ（ｑ）模型只不过是ＡＲＭＡ（ｐ，ｇ）模型分别对应于ｑ＝Ｏｔ（ｆｌｐ＝ｏ的特例。
§３．３建立改进的偏最小二乘回归的时间序列预测模型
１．样本数据的选取
样本数据来自《中国统计年鉴》（１９８５—２００７）２３年的数据，从中选取五个变量：因变量Ｙｌ为农民家庭平均每人纯收入（元），耽为粮食产量（万吨），Ｘｌ农村家庭食品消
浙江大学硕士学位论文２７费支出占总支出的比例，ｚ２为乡村人口占总人口的比例，ｚ３为粮食播种面积占总播种面积的比例。
２．多重相关性诊断
利用方差膨胀因子对各自变量进行诊断，检查其间是否存在多重共线性。自变量巧的方差膨胀因子记为ＶＩＦｊ，可以ＦｈＳＡＳ中的ｐｒｏｃｒｅｇ过程【１２１］求得各自变量的ＶＩＦ，所有自变量中最大的ｙ，Ｒ通常被用来作为变量多重相关性的指标。如果最大的ｙ，Ｒ超过１０，表示多重相关性将严重影响最小二乘的估计值，即自变量之间存在高度相关现象，诊断结果为：
ｙ，只＝８．５９，ＶＩＦ２＝１７．４２，ＶＩ忍＝８．３６，
故（ｙ，Ｆ）ｎ一＝１７．４２＞１０，因此自变量之间存在多重相关性。
３．建立传统的最小二乘回归模型
利用ＳＡＳ中的Ｐｒｏｃｒｅｇ过程得到最小二乘回归模型：
雪１＝９２８１．６８＋５１１８．０４Ｘｌ一４６２５．３０ｘ２＋５８８２．４６ｘ３
雪２＝４２２４３＋９７１６９Ｘｌ一１２７８５０ｘ２＋５３８３１ｘ３
由上式可以看出，可，（农民家庭平均每人纯收入）与ｚ１（农村家庭食品消费支出占总支出的比例）成正比，而实际情况是，随着经济发展，科技水平进步，农民生活水平提高，农民家庭平均每人纯收入提高，农民用于食品消费的支出所占的比例有所下降，而在其他方面的支出，如教育，娱乐，的支出大大增加。模拟结果显然不符合实际情况，这说明白变量之间存在多重相关性，不能用传统的最＆－－乘法建立回归模型，否则，会导致自变量对因变量的贡献程度无法解释，与实际情况相违背。
４．建立偏最小二乘回归模型
现将因变量序列玑Ｇ＝１，…，２３）和自变量序列ｚｏ（ｉ＝１，…，２３；ｊ＝１，…，４）进行标准化处理，得到自变量和因变量的标准序列昂与岛，采用第一章叙述的一般的偏最小二乘回归步骤，并利用交叉有效性原则，通过提取两个成分ｔ１，ｔ２，得到标准化偏最小二乘回归预测模型：
Ｆｏ＝０．３９８Ｅｏｌ一０．３３８Ｅ０２—０．４０８Ｅｏａ．
将数据还原，最后得到原变量的偏最小二乘回归方程：
雪ｌ＝９２８１．６８＋５１１８．０４Ｘｌ一２２２１８．０９ｘ２＋６７２４．５０ｘａ仍＝４２２４３．３５＋９７１６８．６９ｘｌ一１２７８９４．５９Ｘ２＋５３８３１．３６ｘ３
第３章改进的偏最小二乘回归模型－９ＡＲＭＡ模型的结合
从上式可以看出，并对比对最ｄ＇－－乘回归建立模型的分析可知，由一般的偏最小二乘回归建立的模型与实际情况不完全相符。
５．建立改进的偏最小二乘回归的预测模型
根据第二章提出的改进的偏最小二乘回归分析，对该实例建立改进的偏最ｄ、－－＂乘回
归预测模型。首先进行变量筛选，筛选的结果是因变量只有一组，进入模型的自变量是ｚ２，ｚ３，分别建５：／：ｙ１，Ｙ２关于ｚ２，ｚ３的偏最小二乘回归模型。结果如下：
雪１＝９７６０．０６—１８２１４．７７２２＋６０２０．７６ｘｚ
１７２＝－０．９１ｘ２＋０．３９ｘ３
利用改进的偏最小二乘回归分析首先对变量进行筛选，剔除了对因变量“贡献”小
的自变量ｚ１，再对剩余变量建立合理的偏最小二乘回归模型。从结果可以看出，随着经济发展，社会进步，农民生活水平的提高，人均收入逐年增加，城市化进程的加速，乡村人口所占的比例也越来越小。随着科技的进步，虽然粮食播种面积占总播种面积的比例有所下降，但是粮食产量反而增加，进一步验证了农业科技的巨大贡献。而且，改进的偏最小二乘回归建立的模型更简洁。
§３．４ＡＲＭＡ模型预测各时间序列因子
对３．３节建立的改进偏最小二乘回归方程组里的各自变量因子进行时间序列分析。从
原始数据可以看出，本例的因子含有趋势项，有逐年增加或减小的趋势，应该先剔除趋势项，进行平稳化后再进行时间序列分析，进行ＡＲＭＡ模型预测，阶数由ＡＩＣ准则确定，最后将预测的平稳序列再加上趋势项得到各因子未来年份的预测值。由ＳＡＳ输出结果分析可知，ｚｌ是ＡＲＭＡ（２，１，ｏ）模型，预测模型如下：
Ｘｔ＝－０．０６１４＋０．２９８ｘｔ一３一Ｏ．４９５ｘｔ一４＋ｅｔ
Ｘ２是ＡＲＭＡ（１，１，１）模型，预测模型如下：
觑＝０．３５８＋０．７５２ｘｔ—ｌ十ｅｔ＋２．１６０ｅｔ一１
Ｘ３的残差是ＡＲＭＡ（１，１，２）模型，预测模型如下：
Ｘｔ＝０．１２０—０．５５１ｘ￡一１＋０．４６３ｅｔ—ｌ＋３．１７９ｅｔ一２
根据各自变量的预测模型，计算出各自变量未来年份的预测值，并将计算结果代入３．３节中改进的偏最小二乘回归方程组，即得到未来工业总产值的预测值：
浙江大学硕士学位论文
２００８
４３２５．１５
４２７．７５２００９４８５９．２１６４１．５２２０１０４４２２．４１６３７８１．２２２０１１５３０４．２０９１８２２．３１２０１２５０９０．３３７７９３１．２９ｙｙｌ软
从预测结果看出，农民家庭平均每人纯收入与粮食产量都有明显的逐年增大趋势。
§３．５结果分析
有以上各步的计算结果可知：随着经济的发展，农民生活水平的提高，食品消费占
总消费支出的比重越来越低。随着城市化进程的加剧，乡村人口占总人口的比例有所下降，从事第一产业的人员减少。但是，在农业科技的推动，粮食产量却大幅增加，农民平均每人每年的纯收入逐年增加。这说明，随着社会的发展，城市扩张，城市人口不断地增加，人民的生活水平也相应地提高了。
参考文献
【１】Ｊｅａｎ－ＰｉｅｒｒｅＧａｕｃｈｉ，ＰｉｅｒｒｅＣｈａｇｎｏｎ．Ｃｍｏｐａｒｉｓｏｎｏｆｓｅｌｅｃｔｉｏｎｍｅｔｈｏｄｓｏｆｅｘｐｌａｎａ・
ｔｏｒｙｖａｒｉａｂｌｅｓｉｎｐｌｓｒｅｇｒｅｓｓｉｏｎｗｉｔｈａｐｐｌｉｃａｔｉｏｎｔｏｍａｎｕｆａｃｔｕｒｉｏｎｇｐｒｏｃｅｓｓｄａｔａ．／／／，ｃｈｅｍｏｍｅｔｒｉｃｓａｎｄｉｎｔｅｌｌｉｇｅｎｔｌａｂｏｒａｔｏｒｙｓｙｓｔｅｍｓ５８（２００１），１７１—１９３．
【２】２ＭａｇｎｅＡｌｄｒｉｎ．Ｌｅｎｇｔｈｍｏｄｉｆｉｅｄｒｅｄｇｅｒｅｇｒｅｓｓｉｏｎ，［Ｊ］，ＣｏｍｐｕｔｉｏｎａｌＳｔａｔｉｓｔｉｃｓＤａｔａ
Ａｎａｌｙｓｉｓ２５（１９９７），３７７—３９８．
【３】ＢａｉｌｉｎｇＬｉＪｕｌｉａｎ
【４】４Ｍｏｒｒｉｓ，ＥｌａｉｎｅＢ．Ｍａｒｔｉｎ．Ｍｏｄｅｌｓｅｌｅｃｔｉｏｎｆｏｒｐａｒ玉－ｉａｌｌｅａｓｔｓｑｕａｒｅｓ．肌＠绷。ｍ咖勰口玎ｄ触ｄｚ堙．肌砌的ｍ幻叫垆纪优昭，垂鸯蕊ｉ）霹§静ＡｇｎａｒＨｏｓｋｕｌｄｓｓｏｎ．ＶａｒｉａｂｌｅａｎｄｓｕｂｓｅｔｓｅｌｅｃｔｉｏｎｉｎＰＬＳｒｅｇｒｅｓ－
ｓｉｏ础１１，Ｃｈｅｍｏｍｅｔｒｉｃｓａｎｄｉｎｔｅｌｌｉｇｅｎｔｌａｂｏｒａｔｏｒｙｓｙｓｔｅｍｓ，５５（２００１），２３—３８．
ｆａｃｔｏｒｆｏｒｐａｒｔｉａｌｌｅａｓｔ【５】ＮｉｃｋｅｙＪ．Ｍｅｓｓｉｃｋ，ＪｏｈｎＨ．Ｋａｌｉｖａｓ，ＰａｔｒｉｃｋＭ．Ｌａｎｇ．Ｓｅｌｅｃｔｉｏｎ
ｓｑｕａｒｅｓ，１］ｌＭｉｃｒｏｃｈｅｍｉｃａｌ．Ｊｏｕｒｎａｌ，５５（１９９７）ｆ２００－２０７．
【６】何书元．应用时间序列分析ｆＭＪ，北京，北京大学出版社（２００３）．
【７】王惠文．偏最小二乘回归方法及其应．ｆＭＪ，北京，国防工业出版社，（１９９９）．
【８】高惠璇，应用多元统计分析．ｆ｜Ｍ＿７，北京，北京大学出版社，（２００５），１３０—１７１．
【９】９李天生等，用双重筛选逐步回归法对广西钦州县松毛虫发生进行分析与预测，ｆ玎．林业
科学，３（１９８５），２４７－２５１．
１０】方开泰，实用多元统计分析，ＩＭＩ上海，华东师范大学出版社（１９８９）．
１２１】高慧璇，ＳＡＳ系统一ＳＡＳ／ＳＴＡＴ软件使用手册，［Ｍ１北京，中国统计出版社（１９９７）．１２】冯力天，中国人口生活质量再研究，册高等教育出版社，（１９９６）．
１３】张恒喜，郭基联，朱家元，虞健飞小样本多元数据分析方法及应用，ｆＭＪ西安，西北工业大
学出版社（２００２）．
１４】Ｇｅｏｒｇｅ
１５】ＷｏｌｄＥ．ＰＢｏｘａｎｄＧｗｉｌｙｍＭ．Ｊｅｎｋｉｎｓ，ＴｉｍｅＳｅｒｉｅｓＡｎａｌｙｓｉｓ：Ｆｏｒｅｃａｓｔｉｎｇａｎｄｃｏｎ－ｔｒｏｌ，ｆ『Ｊ中国统计出版社，（１９９７）．Ｓ，ＲｕｈｅＡ，ＷｏｌｄＨ，ＤｕｎｎＷＪ．１１１ｅｃｏｌｌｉｎｅａｒｉｔｙｐｒｏｂｌｅｍｉｎｌｉｎｅａｒｒｅｇｒｅｓｓｉｏｎ，ｔｈｅ
Ｓｔａｔｉｓｔｉｃｓｐａｒｔｉａｌｌｅａｓｔｓｑｕａｒｅｓ（ＰＬＳ）ａｐｐｒｏａｃｈｔｏｇｅｎｅｒａｌｉｚｅｄｉｎｖｅｒｓｅｓｍｒ】ｏｕｒｎａｌｏｆ
Ｃｏｍｐｕｔａｔｉｏｎ，５（１９８４），７３５．７４３．
偏最小二乘回归的研究
作者：
学位授予单位：宋高阳浙江大学理学院
本文读者也读过(3条)
1. 丁磊 偏最小二乘回归算法改进及应用[学位论文]2007
2. 孙彩云 偏最小二乘回归模型的改进研究[学位论文]2009
3. 谢小韦 多元线性模型中偏最小二乘回归的分析研究[学位论文]2008
本文链接：http://d.g.wanfangdata.com.cn/Thesis_Y1639397.aspx
浙江大学理学院
硕士学位论文
偏最小二乘回归的研究
姓名：宋高阳
申请学位级别：硕士
专业：概率论与数理统计
指导教师：苏中根
20090505
摘
偏最小二乘回归分析（Ｐａｒｔｉａｌ要Ｒｅｇｒｅｓｓｉｏｎ简记为ＰＬｓ）是一种新型的ＬｅａｓｔＳｑｕａｒｅｓ
多元统计分析方法，最早产生于化学领域。ＰＬＳ主要用来解决多元回归分析中的自变量存在多重相关性或变量个数多于样本点数等问题，集多元线性回归分析、主成份分析和典型相关分析的基本功能为一体。在一个算法下，同时实现了回归建模、数据结构简化和两组变量间的相关分析，给多元数据分析带来极大的便利。ＰＬＳ方法已广泛应用于化学计量、工业设计、计量经济学等各个领域。
本文分为三章，结构如下：
第一章介绍了多元回归分析及其最ｄ，－－乘估计，在自变量之间存在严重多重相关性时最ｄ，－－乘估计完全失效。接着，介绍了多元回归的ＰＬＳ方法。ＰＬＳ方法能有效解决多重相关性问题。ＰＬＳ回归方法在处理样本容量小、自变量多的数据方面具有一定优势。在实际问题中，往往是一部分自变量只对某一部分因变量有显著影响，另一部分自变量只对另一些因变量有显著影响，而ＰＬＳ回归方法所选择的主成分中仍包含所有的自变量，最终建立的回归模型是包括所有自变量的全模型，因此一般的ＰＬＳ方法并没有完全解决变量间存在严重多重相关性的问题，特别是在自变量个数多，样本量小的情况下。
针对这种情况，本文第二章提出了对变量进行双重筛选，即改进的ＰＬＳ方法。思想如下：在建立ＰＬＳ回归模型之前先对变量进行筛选，在筛选过程中，自变量和因变量的地位是同等的，既对自变量筛选同时又对因变量筛选。设自变量为ｚｌ，ｚ２，…，ｚｍ，因变量为Ｙ１，Ｙ２，…，蜘，首先引入一个因变量，并对自变量进行筛选，找出对这一因变量影响显著的自变量组｛毛。，ｚ诧，…，Ｘｉ，）（其中．［勋。，ｚ锄…，ｚ霸）∈．【ｚ１，Ｘ２，…，ｚｍ））；然后考虑因变量的筛选，这相当于把ｚ１，ｚ２，…，Ｘ仇和Ｙ１，Ｙ２，…，蜘的地位作一对换，筛选出对前面选出的ｒ个自变量组＇［戤。，ｚ锄…，ｚ讳）影响显著的因变量组｛协。，％，…，协：）（其中．［协。，％，…，勘】．∈｛可１，Ｙ２，…跏））；接着再筛选自变量，找到对这ｚ个因变量影响显著的自变量组。重复这一过程，直到某步当自变量筛选后，没有因变量可删除，同时也没有因变量可引入。假定这一过程得到的因变量组为｛ｙ１，沈，…，纨｝其中ｋ≤Ｐ，自变量组为｛鼢，，ｚ锄…，ｚ“），其中ｒ≤ｍ，对这两组数据按照偏最ｄ＇－－乘回归的建模方法建立回归方程组。从因变量Ｙ１，耽，…，蜘中删除Ｙ１，抛，…，Ｙｋ后，再按照上述变量选择方法筛选因变量和自变量，得到第二组因变量和对应的自变量，如此往复，直到全部因变量都有了与之相应的自变量组和ＰＬＳ回归方程组，计算过程结束。在筛选过程中引入或剔除某一变量的依据是判断该变量对模型中变量的“贡献＂的大小，即要检验该变量对模型
Ⅱ中文摘要中变量的显著性大小。文章提出的检验统计量服从Ｆ分布。本章最后利用改进的ＰＬＳ方法研究Ｙ１９９１—２００７年间影响我国人们生活质量和经济发展的多种因素，得到了较好的分析结果。
本文第三章将改进的ＰＬＳ方法与时间序列ＡＲＭＡ模型结合起来形成了ＰＬＳ时间序列预测模型，解决了ＰＬＳ方法不能预测的问题，并利用该方法研究了１９８５－２００７年间我国农民家庭收入水平及城市化问题。关键词：偏最小二乘回归、逐步回归、多重共线性、主成分、时间序列
Ａｂｓｔｒａｃｔ
ＰａｒｔｉａｌＬｅａｓｔＳｑｕａｒｅｓ
ａｎｄｉｔｉｓｐｒｏｄｕｃｅｄＲｅｇｒｅｓｓｉｏｎ（ＰＬＳ）ｉｓａｎｅｗｍｕｌｉｐｌｅｆｉｅｌｄ．ＰＬＳｉｓ
ａｒｅｓｔａｔｉｓｔｉｃｄａｔａａｎａｌｙｔｉｃａｌｍｅｔｈｏｄ，ｕｓｅｄｔｏｓｏｌｖｅｔｈｅｔｈａｔｖａｒｉａｂｌｅｓ
ｃａｌｌｆｒｏｍｃｈｅｍｉｓｔｒｙｍａｉｎｌｙｍｕｌｔｉｐｌｅｍｏｒｅｒｅ．ｇｒｅｓｓｉｏｎａｎａｌｙｓｉｓｔｈａｔｔｈｅｖａｒｉａｂｌｅｓｉｎｃｏｒｒｅｌａｔｉｏｎｏｒａｒｅｔｈａｎｔｈｅｓａｍｐｌｅｐｏｉｎｔｓ．ＴｈｅｏｕｔｓｔａｎｄｉｎｇｃｈａｒａｃｔｅｒｉｓｔｉｃｏｆＰＬＳｉｓｔｈａｔｉｔｍａｋｅｔｈｅｍｕｌｔｉｐｌｅ
ｌｉｎｅａｒｒｅｇｒｅｓｓｉｏｎａｎａｌｙｓｉｓ，ｔｈｅｐｒｉｎｃｉｐａｌ
ｔｉｏｎａｎａｌｙｓｉｓｃｏｍｂｉｎｅｄ．Ｉｎｔｈｅｓａｍｅｃｏｍｐｏｎｅｎｔｓｃａｎａｎａｌｙｓｉｓａｎｄｔｈｅｃａｎｏｎｉｃａｌｃｏｒｒｅｌａ—ａｒｉｔｈｍｅｔｉｃ，ｉｔｉｍｐｌｅｍｅｎｔｍｏｄｅｌｉｎｇ，ｐｒｅｄｉｇｅｓｔｔｈｅ
ａｔｄａｔａｓｔｒｕｃｔｕｒｅａｎｄａｎａｌｙｚｅｔｈｅｃｏｒｒｅｌａｔｉｏｎｂｅｔｗｅｅｎｔｗｏｇｒｏｐｅｓｏｆｖａｒｉａｂｌｅｓｔｈｅｓａｍｅ
ｔｉｍｅ．Ｉｔｂｒｉｎｇｓｈｕｇｅａｄｖａｎｔａｇｅｔｏｔｈｅｍｕｌｔｉｐｌｅｌｉｎｅａｒｒｅｇｒｅｓｓｉｏｎａｎａｌｙｓｉｓ．
ｉｓｄｉｖｉｄｅｄｉｎｔｏｔｈｒｅｅｃｈａｐｔｅｒｓ，ｔｈｅｓｔｒｕｃｔｕｒｅｓａｓＴｈｅｐａｐｅｒｆｏｌｌｏｗｓ：
Ｔｈｅｆｉｒｓｔｃｈａｐｔｅｒｉｓｄｅｖｏｔｅｄｔｏｔｈｅｍｕｌｔｉｐｌｅｒｅｇｒｅｓｓｉｏｎａｎａｌｙｓｉｓａｎｄｌｅａｓｔｓｑｕａｒｅｓｅｓｔｉｍａｔｉｏｎ．Ｗｈｅｎｔｈｅｒｅｉｓｍｕｌｔｉｐｌｅｃｏｒｒｅｌａｔｉｏｎｉｎｖａｒｉａｂｌｅｓ，ｔｈｅｌｅａｓｔｓｑｕａｒｅｓｅｓｔｉｍａｔｉｏｎ
ｃｏｒｒｅ－ｄｏｅｓｎｏｔｗｏｒｋ．Ｔｈｅｎ，ｔｈｅＰＬＳｍｅｔｈｏｄｉｓｉｎｔｒｏｄｕｃｅｄ．ＴｈｅＰＬＳｍｅｔｈｏｄｉｓｅｆｆｅｃｔｉｖｅｉｎ
ｌａｆｉｏｎｐｒｏｂｌｅｍ．Ｂｕｔｉｎｇｅｎｅｒａｌ，ｔｈｅｆｉｎａｌＰＬＳｍｏｄｅｌｉｎｃｌｕｄｅａｌｌｉｎｄｅｐｅｎｄｅｎｔｖａｒｉａｂｌｅｓ．Ｉｎ
ａｈａｓｐｒａｃｔｉｃａｌｐｒｏｂｌｅｍｓ，ａｐａｒｔｏｆｔｈｅｉｎｄｅｐｅｎｄｅｎｔｖａｒｉａｂｌｅｓａｒｅｏｆｔｅｎ
ｅｎｃｅｉｎｏｎｌｙａｐａｒｔｏｆｄｅｐｅｎｄｅｎｔｖａｒｉａｂｌｅｓ．Ａｎｄｓｉｇｎｉｆｉｃａｎｔｉｎｆｌｕ－ａｎｏｔｈｅｒｐａｒｔｏｆｔｈｅｉｎｄｅｐｅｎｄｅｎｔｖａｒｉ’ａｂｌｅｓｉｍｐａｃｔｏｔｈｅｒｄｅｐｅｎｄｅｎｔｖａｒｉａｂｌｅｓ．ＴｈｕｓｔｈｅｏｒｄｉｎａｒｙＰＬＳｄｏｅｓｎｏｔｓｏｌｖｅｔｈｅｐｒｏｂ＿ｌｅｍｅｓｐｅｃｉａｌｌｙｉｎｔｈｅ
ｓａｍｐｌｅｐｏｉｎｔｓ．ｃａｓｅｔｈａｔｔｈｅｎｕｍｂｅｒｏｆｖａｒｉａｂｌｅｓａｒｅｍｏｒｅｔｈａｎｔｈｅｎｕｍｂｅｒｏｆ
Ｔｏａｄｄｒｅｓｓｔｈｉｓｓｉｔｕａｔｉｏｎ，ｔｈｅｐａｐｅｒｐｕｔｓｆｏｒｗａｒｄｔｈｅｆｉｒｓｔｃｈａｐｔｅｒｏｆ
ｖａｒｉａｂｌｅｓｓｅｌｅｃｔｉｏｎ，ｔｈａｔｔｈｅＰＬＳｆｏｒｉｓ，ｔｈｅｉｍｐｒｏｖｅｄＰＬＳｍｅｔｈｏｄ．Ａｎｄｔｈｅｔｈｉｎｋｉｎｇｉｓａｓｆｏｌｌｏｗｓ：Ｉｎ
ａｒｅｔｈｅｓｅｌｅｃｔｉｏｎｐｒｏｃｅｓｓ，ｔｈｅｉｎｄｅｐｅｎｄｅｎｔｖａｒｉａｂｌｅｓａｎｄｔｈｅｄｅｐｅｎｄｅｎｔｖａｒｉａｂｌｅｔｈｅ
ｓａｍｅｓｔａｔｕｓ．Ｂａｓｅｄａｒｇｕｍｅｎｔｆｏｒｔｈｅｉｎｄｅｐｅｎｄｅｎｔｖａｒｉａｂｌｅｓａｒｅ
ｄｅｐｅｎｄｅｎｔｖａｒｉａｂｌｅｓａｒｅ２；１，ｘ２，…，ｘｍ，ａｎｄｔｈｅｄｅｐｅｎｄｅｎｔｖａｒｉａｂｌｅｉｓＹ１，ｙ２，…，铷．Ａｆｔｅｒｔｈｅｉｎｔｒｏｄｕｃｔｉｏｎｏｆａ
ｔｈｅｓｅｌｅｃｔｉｎｇｏｆｉｎｄｅｐｅｎｄｅｎｔｖａｒｉａｂｌｅｓｔｏｆｉｎｄ
ｏｎｔｈｅｉｎｄｅｐｅｎｄｅｎｔｖａｒｉａｂｌｅｓｗｈｉｃｈｈａｖｅｔｈｅｓｔｒｏｎｇｅｓｔｉｍｐａｃｔｉｎｇｔｈｅｄｅｐｅｎｄｅｎｔｖａｒｉａｂｌｅｓ｛ｘｉｌ，ｚｔ２，…，ｚｏ｝（ｗｈｉｃｈ｛ｘｉｌｚｔ２，…，Ｘｉ，）∈
ｔｈｅｐａｐｅｒｃｏｎｓｉｄｅｒｓ｛ｚ１，；Ｔ２，…，ｚｍ））；Ａｎｄｔｈｅｎ
ａｂｌｅｓ．Ｔｈｉｓｉｓｅｑｕｉｖａｌｅｎｔｔｏ
ｔｈｅｔｈｅｓｅｌｅｃｔｉｏｎｏｆｔｈｅｄｅｐｅｎｄｅｎｔｖａｒｉ。ｃｈａｎｇｅｔｈｅｓｔａｔｕｓｏｆｔｈｅｘｌ，Ｘ２，…，ｘｍａｎｄｙｌ，Ｙ２，…，Ｙｐ．Ｓｉｍｉｌａｒｌｙ，ｐａｐｅｒｓｅｌｅｃｔｓｔｈｅｄｅｐｅｎｄｅｎｔｖａｒｉａｂｌｅｓｔｅｐｂｙｓｔｅｐ．Ｓｅｔｉｎｇ．［协１，％，・．．，％｝（ｗｈｉｃｈ｛ｙＪｌ，％，
ｏｒｄｅｒｔｏｉｄｅｎｔｉｆｙｔｈｅｆｒｏｎｔｏｆｔｈｅｒｖａｒｉａｂｌｅｓ｛ｚｔｌ，Ｘｉ２，…，ｚ“）ｌｌＩ…，％ｌ｝∈＇【可１，Ｙ２，…珈）），ｉｎ
Ⅳ！ｎ…ｍ－！！！！！！！＝！！！！！！！！！！！！！！！！！！！！！！＝！！！！！！！！！！！！！！！！！！！！＝！！！！！！！！！！！！！詈！！！！！！！！！！！！！！！！！！！！＝！！！！！！！！！！！！！！！！！！！！！！英文摘要ｗｈｉｃｈｉｎｆｌｕｅｎｃｅｔｈｅｄｅｐｅｎｄｅｎｔｖａｒｉａｂｌｅｇｒｏｕｐｓｔｒｏｎｇｌｙ，ａｎｄｔｈｅｎｓｅｌｅｃｔｓｔｈｅｉｎｄｅｐｅｎ－ｄｅｎｔｖａｒｉａｂｌｅｓａｇａｉｎ．Ｔｈｉｓｐｒｏｃｅｓｓｓｔｏｐｓｗｈｅｎｔｈｅｒｅｉｓ
ｄｅｌｅｔｅｄ，ａｎｄａｔｎｏｄｅｐｅｎｄｅｎｔｖａｒｉａｂｌｅｓｃａｎｃａｎｂｅｔｈｅｓａｍｅｔｉｍｅｔｈｅｒｅｉｓｎｏｄｅｐｅｎｄｅｎｔｖａｒｉａｂｌｅｓｂｅｉｎｔｒｏｄｕｃｅｄ．Ｔｈｉｓｐｒｏｃｅｓｓｈａｓｂｅｅｎａｓｓｕｍｅｄｔｈａｔｔｈｅｄｅｐｅｎｄｅｎｔｖａｒｉａｂｌｅｓｆｏｒｔｈｅｄｅｐｅｎｄｅｎｔｖａｒｉａｂｌｅｓａｒｅ｛ｙｌ，沈，…，Ｙｋ｝，ｗｈｉｃｈｋ≤Ｐ，ｉｎｄｅｐｅｎｄｅｎｔ
ｍ．ｙ１，沈，…，ＹｋａｒｅｖａｒｉａｂｌｅｓａｒｅＸｉｌ，ｚｉ２，…Ｘｉ，｝，ｗｈｉｃｈｒ≤ｔｈｅｎｒｅｐｅａｔｓｔｈｅａｂｏｖｅｄｅｌｅｔｅｄｆｒｏｍｔｈｅｄｅｐｅｎｄｅｎｔｖａｒｉａｂｌｅｓ，ａｎｄ
ｓｔｅｐｓ．Ｔｈｅｓｅｃｏｎｄｇｒｏｕｐｏｆｄｅｐｅｎｄｅｎｔｖａｒｉａｂｌｅｓａｎｄｔｈｅ
ｓｔｅｐｉｓｂａｃｋｉｎｄｅｐｅｎｄｅｎｔｖａｒｉａｂｌｅｓｇｅｔ．Ｔｈｉｓａａｎｄｆｏｒｔｈ，ｕｎｔｉｌｔｈａｔａｌｌｔｈｅｄｅｐｅｎｄｅｎｔｖａｒｉａｂｌｅｓｈａｖｅｃｏｒｒｅｓｐｏｎｄｉｎｇｇｒｏｕｐｏｆｉｎｄｅｐｅｎｄｅｎｔｖａｒｉａｂｌｅｓ．Ａｓｓｕｍｅｔｈａｔａｆｔｅｒｓｃｒｅｅｎｉｎｇ，ｔｈｅｐｒｏｃｅｓｓｃａｎｄｉｖｉｄｅ
ｏｆｔｈｅｉｒＰＬＳｒｅｇｒｅｓｓｉｏｎｅｑｕａｔｉｏｎ
ｔｏｓｔｕｄｙｔｈｅｖａｒｉａｂｌｅｓｉｎｔｏ￡ｇｒｏｕｐｓ，ａｎｄｔｈｅｅｓｔａｂｌｉｓｈｍｅｎｔｕｓｅｓｇｅｔ．Ｆｉｎａｌｌｙ，ｔｈｅｐａｐｅｒｔｈｅｉｍｐｒｏｖｅｄＰＬＳ
ａｍｅｔｈｏｄｔｈｅｑｕａｌｉｔｙｏｆｌｉｆｅａａｎｄｒｅ－ｅｃｏｎｏｍｉｃｄｅｖｅｌｏｐｍｅｎｔｉｎ
ｓｕｌｔｓ．ｖａｒｉｅｔｙｏｆｆａｃｔｏｒｓｉｎｔｈｅｙｅａｒｓ１９９１—２００７，ｈａｖｉｎｇｂｅｔｔｅｒ
Ｉｎｔｈｅｌａｓｔｃｈａｐｔｅｒ，ｔｈｅｐａｐｅｒｃｏｍｂｉｎｅｓｔｈｅｉｍｐｒｏｖｅｄ
ＣａｎＰＬＳｍｅｔｈｏｄａｎｄｔｉｍｅｓｅｒｉｅｓｍｏｄｅｌｓＡＲＭＡ，ａｓｓｏｌｖｅｓｔｈｅｐｒｏｂｌｅｍｔｈａｔＰＬＳ
ｐｅｒｔａｋｅｓｎｏｔｂｅｐｒｅｄｉｃｔｅｄ．ＡｎｄｔｈｅｎｔｈｅＰａ—Ｃｈｉｎａａｎｄａｄｖａｎｔａｇｅｏｆｔｈｅｍｅｔｈｏｄｓｔｕｄｙ
１９８５—２００７．ｈｏｕｓｅｈｏｌｄｉｎｃｏｍｅｏｆｆａｒｍｅｒｓｉｎｕｒｂａｎｉｚａｔｉｏｎｉｎｔｈｅｙｅａｒ
ＫｅｙＷｏｒｄｓ：ｐａｒｔｉａｌｌｅａｓｔｓｑｕａｒｅｓｒｅｇｒｅｓｓｉｏｎａｎａｌｙｓｉｓ，ｓｔｅｐｗｉｓｅｒｅｇｒｅｓｓｉｏｎａｎａｌｙ－ｓｉｓ，ｍｕｌｔｉｃｏｌｌｉｎｅａｒｉｔｙ，ｐｒｉｎｃｉｐａｌｃｏｍｐｏｎｅｎｔ，ｔｉｍｅｓｅｒｉｅｓ
浙江大学研究生学位论文独创性声明
本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得逝逛太堂或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。
学位论文作者签名：聿ｌ与阳签字日期：沙田年ｊ月达日
学位论文版权使用授权书
浙堑太堂有权保留并向国家有关部门或机
构送交本论文的复印件和磁盘，允许论文被查阅和借阅。本人授权逝婆太堂本学位论文作者完全了解可以将学位论文的全部或部分内容编入有关数据库进行检索和传播，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。
（保密的学位论文在解密后适用本授权书）
学位论文作者签名：婿高Ｐ日导师签名：
签字日期：诎‘７年ｙ月谚日签字日期：年月日
致谢
本文是在导师苏中根教授的悉心指导下完成的。苏老师严谨的治学态度和一丝不苟的工作作风使我受益匪浅，在苏老师的指导下，不仅在专业知识方面有所进步，而且对自己的各方面的素质，包括学习，生活，品质，都有一定地提高。在此，向张老师表示衷心的感谢！
此外，在两年的求学过程中也得到了林正炎教授，张立新教授，张帼奋副教授，张奕副教授，王秀云副教授，赵敏智老师，张荣茂老师等老师的关心和指导，在此致以诚挚的谢意！同时，对数学系的各位老师和系工作人员的帮助表示感谢！
同时，我要感谢两年来一起学习和生活的同学们，感谢他们在学习和生活上所给予的帮助，让我度过了快乐的研究生生活。最后，祝愿浙江大学，祝愿浙江大学数学系的明天会更加辉煌！
第１章
§１．１引言多元回归分析及其最小二乘估计
回归分析方法是多元统计分析【ｌＯｌ的各种方法中应用最广泛的一种，它是处理多个变量间相互依赖关系的一种数理统计方法。变量间的相互依赖关系在实际问题中是大量存在的，回归分析是研究这种相互依赖关系的有效数学方法之一。
回归分析方法是在众多相关的变量中，根据实际问题的要求，考查其中一个或几个变量与其余变量的依赖关系。如果只要考查某一个变量（通常称为响应变量、因变量或指标）与其余多个变量（通常称为自变量或因素）的相互依赖关系，称为多元回归问题。如果要同时考查阶因变量与ｍ个自变量的相互依赖关系，称为多因变量的多元回归问题。
在实际问题中，经常要同时考察这种多因变量的多元回归问题，如环境科学研究中，在同一时间地点，抽取了大气样品，测得多种污染气体，如ＣＯ，Ｓ０２等的浓度。大气样品中多种污染气体组成一个多维的随机向量，作为因变量。而大气中各污染气体的含量又与污染源的排放以及气象因子（风向、风速、湿度等）有关，这就是一个多个因变量与多个自变量的回归问题。在实际问题中，这种考察多个因变量与多个自变量的依赖关系的闯题是大量存在的。
以下介绍多元线性回归模型参数的最小二乘估计。
设有ｍ个自变量：ｘ１，ｚ２，…，ｘｍ，价因变量：Ｙｌ，Ｙ２，…，铷，假设它们之间有线性关系。现有ｎ组自变量与因变量的实测数据（ｚｍｚ圮，…，ｚ咖；轨１，纨２，…，％）（ｔ＝１，２，…，ｎ），数据阵分别用Ｘ，ｙ表示：
ＸｌｌＸ１２Ｘｌｍ
Ｘ２ｍ
．ＹｌｌＹ２１Ｙｔ２ｙｌｍＸ＝Ｘ２１Ｘ２２Ｙ＝沈２耽ｍＺｎｌＸｎ２ＸｎｍＹｍＹｎ２Ｙｎｍ
设竹组数据满足如下关系式
％＝硒＋胁Ｊｚｔｌ＋…＋ｐｍｊｘｔｍ＋ｇ巧
（ｔ＝１，２，…，ｎ；ｊ＝１，２，…，ｐ）．
１
２第１章引言记
阮１
臼＝／３１１触ｐ１２
●硒卢ｌｐ答些（风，忍，…，伟），
：
风１风２
ＥＩＩ￡１２●
Ｅ＝￡２１６２２●缈功彬劫
●●●笪
６ｎｌ￡们●洲叩％；‰％；‰
Ｙ＝（１扎；ｘ）ｚ＋Ｅ＝Ｃ卢＋Ｅ
其中Ｃ为礼×（ｍ＋１）矩阵；且假定￡（ｔ）＝（Ｅｉｌ，ｇｉ２，…，￡咖）馋＝１，２，…，扎）是相互独立的，其均值向量为ｏ，协方差阵相等，均为∑。进一步可假定￡（ｏ一姊（０，∑）（ｉ＝１，２，…，几）．
定义１．１称模型
｛■麓篙＋㈣Ｅ＝ＣＺ，＋…Ｅ㈤，ｉ
乘估计可表示为【８】：相互独立Ｉ￡（￡）一％（ｏ，∑）（＝，，…，几）相互独立１２（１．１）是多因变量的多元线性回归模型，其中ｙ和Ｅ是随机阵，ｐ＝（助），∑＝（％）是未知参数矩阵，Ｘ是己知矩阵，Ｃ＝（１ｎ；Ｘ）Ｊ｜．ｒａｎｋ（Ｃ）＝ｍ＋１。把参数矩阵ｐ分为两块：ｂ（０１为１×施阵，Ｂ为ｍ×Ｐ矩阵。那么参数矩阵ｐ的最小二
声：…邓仞弋，ｙ
由分块求逆公式知（假定＿ｒａｎｋ（Ｃ）＝ｍ＋１）：
∥盯１＝陋篓Ｈ－１丢二嚣ｎ≥］，
其中
Ｌｘｘ＝Ｘ７（１ｎ一寺１ｎ１：）ｘ，贾２寺ｘ７１ｎ＝（圣ｌ，…，牙ｍ）７・
记１
Ｐ＝砉ｙ７１ｎ＝（９１，…，鲂）７，
Ｌｙｙ２ｙ７（ｋ－．５ｎｌｎｌ：）ｙ＝】厂７（Ｉｎ一寺Ｊ）Ｋ。～
．ｎｎ
Ｌｘｙ＝ｘ７（Ｉｎ一砉Ｊ）ｙ＝Ｘ７Ｙ—ｎＸＹ７＝Ｌｏｘ，
Ｉ３
塑垩盔兰塑圭堂位论茎一一
启＝一疋ｔ㈡誉’ｊ贾，Ｌ叉ｋ戈，ｎＰ，一五ｙＬ叉ｋｘ，ｙ一三叉ｋ２（ｎＦ７）＋ＬｉｋＸ７Ｙ
ＩＰ－ｆｉＹＬｘｌｘＬＬｘｌｘＬｘｙ肼］
即
Ｙ＝１竹由以上求得的∥的最小二乘估计声答（＆）（州．。）×ｐ，即得ｐ个因变量的回归方程：巧＝砌＋伪ｊｚｌ＋…＋局巧ｚｍ◇＝１，２，…，ｐ）Ｘ）
扎＾６柳斗Ｉ．印曼２㈣．Ｂ．Ｂ２●
＝１。ｐ７＋（Ｉｎ一｛ｇ）ｘｂ
实际值ｌ厂与预报值矿之差ｙ—ｐ称为残差。可以用它构造误差向量￡（曲的协方差阵∑的估计量。残差
ｙ—ｐ＝】，一ｌｎｐ，一（Ｉ珏一±Ｊ）Ｘ台
＝（Ｉ作＿ｌ孕ｊ）ｙ一（Ｉｎ二丢了）ｘＬ矗Ｌｘｙ之（Ｉｎ一寺Ｊ）（ｙ—ｘＬ矗Ｌｘｙ）
或
ｙ一矿＝Ｙ一∞
＝（Ｉｎ—ｃ（ｃ７Ｃ）－１ｃ７）ｙ
＝（Ｉｎ一日）ｙ
令Ｑ＝（ｙ～ｐ）７（ｙ—ｐ）为ｐ×施阵，称为残差阵。且Ｑ有以下计算公式：
（ｙ一矿）７（ｙ一夕）
Ｌｙｙ——ＬＹｘＬｘＩｘＬｘｙ（１．２）
Ｙ７（Ｉｎ—Ｈ）Ｙ
４第１章引言
常取∑的估计为宅＝南Ｑ．∑＝——二—・．
引理１ｒ８，在模型ｃ１．１，下，记届＝［翟’］二，Ｌ王ｋ＝ｃｚ巧，，而
／３（１）
雪＝（助）ｍ×ｐｄ＝ｅｆ（夙，…，犀）笪
厥。）
设ｎ＞ｍ＋１，ｒａｎｋ（Ｃ）＝ｒａｎｋ（１。！Ｘ）＝ｍ＋１，则
（１）ｐ遵从矩阵正态分布；
（２）Ｑ一％（扎一ｍ一１，Ｅ）；
（３）ｐ与Ｑ相互独立；
（４）觑￡）一％（俄１），ＰＥ）（ｉ－－１－１，２，…，ｍ）。
§１．２多元回归的偏最小二乘估计
偏最小二乘回归方法最先产生于化学领域。在化学研究中，经常需要利用一些可以控制（或容易测量）的变量（解释变量）去解释、控制或预测另外一些变量（反应变量），常用的统计建模方法是１．１节所叙述的多元线性回归的最小二乘估计。然而，只有当解释变量满足【１５］：（１）变量数目较少（２）无多重共线性（３）各解释变量与反应变量之间的关系易于解释时，多元回归的最小二乘估计才具有某些理论特性：比如最佳线性无偏估计（ＢＬＵＥ），才能较好地拟合数据，并能对结果给予比较合理的解释，若数据不能完全满足以上三个条件，则多元线性回归的最小二乘估计就会失效。
为处理违背以上三个条件的数据，统计学家对一般最小二乘估计进行了多种改进。为了克服多重共线性影响，发展了一系列有偏估计方法：岭估计，压缩估计，主成份估计及特征根估计等，或运用逐步回归等方法去掉一部分解释变量。但对于样本数较少，甚至少于解释变量的情况，以上方法均不适用【１３１，而且这些方法仍然存在着各种各样的问题和不足：要么解释性不够好，要么模型拟合精度不够高，要么预测精度不够理想等等。
对此，早期一些欧洲经济计量学家发展起一种新的统计方法即偏最小二乘（ＰａｒｔｉａｌＬｅａｓｔＳｑｕａｒｅｓ，缩写ＰＬＳ）回归。偏最小二乘回归方法是一般最小二乘回归的一种拓展，能够克服最小二乘回归分析方法的一些不足，但而当时偏最小二乘回归在统计理论上还有很多的问题没有完全解决，在应用领域也没有取得大的进展。所以没有引起统
浙江大学硕士学位论文５计学界和应用领域研究人员的足够重视。直到上世纪８０年代，计量化学研究者将偏最小二乘回归成功地运用到计量化学中，而后工业设计工作者应用该方法同样获得巨大成功，才引起了各方面极大的关注。由此偏最小二乘回归的理论和算法研究取得了极大的发展，而且其应用也迅速扩展到了其他领域，如管理科学，教育评测学，药理学等学科。到上世纪８０年代末至９０年代初，非线性迭代偏最小二乘（ＮＩＰＬＳ）形成多种算法的变种，最早由ＨｅｍａｎＷｏｌｄ提出的ＮＩＰＬＳ算法发展出迭代法，特征根法，奇异值分解法等多种算法，这些算法极大地丰富了偏最小二乘算法。此后随着对偏最小二乘回归理论、算法的进一步深入研究，ＤｅＪｏｎｇＺＪ：１９９３年提出了一种与ＮＩＰＬＳ完全不同的算法，即简单的偏展小二乘（Ｓａｎｍｐｌｅ
乘回归的基本步骤和思想。ＰａｒｔｉａｌＬｅａｓｔＳｑｕａｒｅｓＲｅｇｒｅｓｓｉｏｎ），同样实现了偏最小二
１９９６年１０月，在法国高等商业教育组织机构ＨＦＣＣＩＳＬ托ＥＲＥｓＴＡ的组织和赞助下，关于偏最小二乘回归方法、理论和应用研究的第一次国际学术专题研讨会在巴黎召开，来自世界各地的著名的偏最小二乘专家分析和介绍了他们各自的关于ＰＬＳ方法的最新进展及研究成果，以及在计量化学、工业设计、和金融分析等领域的应用。这次会议促进了偏最小二乘回归理论和算法的进一步深入发展。
§１．２．１偏最，Ｊ、－－乘回归的思想和算法
偏最小二乘回归分析是多元线性回归分析、主成分分析和典型相关分析的有机结合，其建模原理也建立在这三种分析方法之上。
在主成分分析中，对于一组自变量的多维数据组ｚ，为了找到能较好地概括原数据信息的综合变量，可在ｚ中提取第一主成分日，使Ｆｌ中所包含的原数据变异信息达到最大，即：
Ｖａｒ（日）一？ｔ口ａｘ
在典型相关分析中，为从整体上研究自变量数据组Ｘ和因变量数据组ｙ之间的相关关系，分别在Ｘ和ｙ中提取典型成分蜀和Ｇｌ，在使原变量数据均是标准化的条件下使它们满足
ｍａｘｒ（Ｆ１，Ｇ１）
ｓ．ｔ．ＦｌＲ＝１
Ｇ１Ｇ１＝１
上式中的参数具体化之后，可通过拉格朗日算法求解。在能够达到相关度最大的综合变量Ｒ和Ｇ１之间，如果存在明显的相关关系，则认为Ｘ和ｙ之间也存在相关关系，即
６第１章引言可采用偏最小二乘回归方法。
下面介绍偏最小二乘回归分析的建模思想。
设有ｐ个因变量．［ｙ１，Ｙ２，…，蜘）和ｍ个自变量｛Ｘｌ，Ｘ２，…，ｚ。）。为了研究因变量与自变量的统计关系，观察了礼个样本点，由此构成了自变量与因变量的数据表Ｘ＝｛ｚｌ，Ｘ２，…，ｚ。）。×。和ｙ＝．［ｙｌ，Ｙ２，…，跏）ｎ×ｐ。分别在ｘ和ｙ中提取成份ｔｌ和Ｕｌ（且１］ｔｔ是ｚ１，ｚ２，…，ｚ。的线性组合，Ｕｌ是Ｙ１，Ｙ２，…，蜘的线性组合），在提取这两个成分时，为了回归分析的需要，有下列两个要求：
・ｔｌ和Ｕ。尽可能大的携带它们各自数据表中的变异信息；
・ｔ１和Ｕ１的相关程度最大。
这两个要求表明：ｔｌ和Ｕ１尽可能好的代表原始数据Ｘ和ｙ，同时自变量的成分￡１对因变量的成分让，具有最强的解释能力。
在第一个ｔ１和Ｕ１被提取后，偏最ｄ、－－＂乘回归分别实施Ｘ对ｔ１的回归和ｙ对ｔｌ的回归。若此时回归方程已经达到满意精度，则算法停止；否则，将利用Ｘ被ｔ。解释后的残余信息以及ｙ被ｔ１解释后的残余信息提取第二对成分。如此反复，直到能达到一个较满意的精度为止。若最终对ｘ共提取了ｚ个成分ｔ１，ｔ２，…，ｔｚ（１≤ｍ），对因变量Ｙ１，Ｙ２，…，铷中任一变量ｙｋ（ｋ＝１，２，…，ｐ），偏最小二乘回归将施行Ｙｋ对ｔ１，ｔ２，…，ｔｌ的回归，而由于ｔ１，ｔ２，…，ｔｌ都是ｚｌ，ｚ２，…，ｚｍ的线性组合，最终可以表示成玑对原始变量Ｘ的回归方程。
§１．２．２偏最小二乘回归的建模步骤
为数学推导方便，先将数据做标准化。Ｘ经过标准化处理后的数据矩阵记为Ｅｏ＝（岛１，岛２，…，‰）ｎ×ｍ，ｙ经标准化处理后的数据矩阵记为Ｆｏ＝（Ｆ０１，Ｆ０２，…，嘞）ｎｘ即ｌ｜ｕ。０＝１。记Ｕ。为Ｒ的第一个成分，ｕ１＝ＦｏＣｌ，Ｃｌ是Ｒ的第一个轴，而且ＩｌｃｌｌＩ＝１。ｐ。第一步，记ｔ１为岛的第一个成分，ｔ１＝Ｅｏｕｌ，ｕ１是Ｅｏ的第一个轴，它是单位向量，
如果ｔ１，ｕ，能分别比较好的代表Ｘ和ｙ中的变异信息，根据主成分分析原理，则有
Ｖａｒ（ｔ１）＿ｍａｘ
Ｖａｒ（ｕ１）一Ｔｒｔａｘ
另一方面，由于建模的需要，要求ｔ１对Ｕ。有最大的解释能力，由典型相关分析可知，ｔｌ与Ｕ１的相关系数应该达到最大值，即ｒ（ｈ，ｕ１）一ｍａｘ
浙江大学硕士学位论文
因此，综上可知，在偏最小二乘回归分析中，要求ｔ１与ｉｔｌ的协方差达到最大，即７Ｃｏｖ（ｔｌ，ｕ１）＝弓／—Ｖａｒ（ｔ１）Ｖ—ａｒ（ｕ１）ｒ（ｔ１，仳１）一ｍ口ｚ
均“正规数学表述是求解下列优化问题，即２｛ｎ‰耻Ｃ
ｓ哺
、●．、、●－，１吼柏ｑ司１
因此，将在Ｊ１．ＪｉＪ１２＝１和ｌｉｅｌＩｌ２＝１的约束条件下，求＜岛ｕ１，Ｆｏｃｌ＞的最大值。
由拉格朗日法得到第一个轴ｕ。和Ｃ１后，即可得到成分
‘ｔ１＝岛ｕｌ
仳１２ＦｏＣｌ
ｕ・是对应于矩阵晶昂昂岛最大特征值的单位特征向量，而ｃｌ是对应于矩阵昂岛晶昂最大特征值的单位特征向量。
然后，分别求解晶和晶对ｔ１和仳ｌ的三个回归方程
Ｅｏ＝ｔ１科＋Ｅ１
Ｆｏ＝札１“＋目
Ｆｏ＝ｔｌｒ；＋日
式子中，回归系数向量为
ｎ＝
啦＝
ｎ＝１—２１—２塑姊婴娜Ｌ一２
而Ｅ１，目，只分别为三个回归方程的残差矩阵。
第二步，用残差矩阵Ｅ１和日取代岛和晶，求第二个轴ｕ２和ｃ２以及第二个成分ｔ２和ｕ２，则有
ｔ２＝Ｅｌｗ２
ｕ２２Ｆ１ｃ２
ｕ２是对应于矩阵耳日ｑ局最大特征值的单位特征向量，而ｃ２是对应于矩阵耳局耳Ｆ１最大特征值的单位特征向量。接着计算回归系数
沈５而
您５商耳ｔ２
８第１章引言所以，得到回归方程
Ｅ１＝ｔ２鹤＋Ｅ２
Ｆｌ＝￡２ｒ：＋易
如此反复计算下去，如果Ｘ的秩是Ａ，则有
Ｅｏ＝ｔｉＰ＇１＋…＋ｔｎ／Ａ＋既
Ｆｏ＝ｔｌｒｉ＋…＋ｔＡｒ’Ａ＋ＦＡ
由于￡１，…“均可表示成岛１，…，‰的线性组合。因此，昂还可还原为玩＝昂七关于《＝％的回归方程，也即
坑＝ａｋｌＸ：＋…＋ａｋｐｘ；＋ＦＡｋ，七＝１，２，…，ｇ
ｎ七是残差矩阵ｆ＿的第尼列。
又由（１．３）
嫉：—Ｙｋ－ＦＥ（ｙｋ）（七：１，２，…，ｇ）
ｚ净—ｘｉ１－Ｅ＿（ｘｉ）（ｉ：１，２，…，ｐ）
（１．４）其Ｅ（ｙｋ），Ｅ（鼢）分别是玑和筑的样本均值；Ｓ南和Ｓ幺分别是鲰和鼢的样本均方差。回归方程还可写成原始变量的偏最小二乘回归方程：讥＝陬纨）一∑Ｐ。航簧Ｅ（列】＋％石Ｓｙｋ山，一ｒ…十∞坳瓦５＇ｙｋ昂ｉ＝１“ｚｔ。。ｌ。唧
§１．２．３交叉有效性原则
交叉有效性原则【５】用来确定抽取成分的个数。一般情况下，偏最小二乘回归分析并不需要选取存在的所有ｍ个成分来建立回归方程，而像主成分分析一样，只选用前ｈ个成分，即可得到预测能力较好的回归模型。交叉有效性原则便是其中一种。记玑为原始数据，ｔ１，ｔ２，…，‰是在偏最小二乘回归中提取的成分，觑是利用全部样本点并提取ｔｌ，ｔ２，…，ｔｈ个成分进行回归建模后第ｉ个样本点的拟合值。玩㈠）是在建模时删去第ｉ个样本点，取ｔ１，ｔ２，…，如个成分回归建模之后第ｉ个样本点的拟合值。记
Ｉ‰＝∑（玑一饥）２
ｉ＝ｌｎ
．｛ＰＲＥＳＳｈ＝∑（玑一鲰（∥Ｉ
【Ｑ２＝１一ｉＰＲＥＳＳｈ（１・５）
堑垩盔堂翌主堂堡丝塞二——————，。，，。。。，。，。。，。。。。。———————』
则当ＱＺ≥ｏ．０９７５聍Ｊ，引进新成分ｔ＾会对模型预测能力有明显改善作用。这即是交叉有效性原则。
第２章改进的偏最小二乘回归
§２．１有关引理
下面首先不加证明地介绍一些在本章要用到的定理或结论（参见【８】）。
引理２设ｘ（口）一％（ｏ，∑）（Ｑ＝１…扎）相互独立，则样本离差阵Ａ服从威沙特分布，即
Ａ＝∑（ＸＱ）一．定）（五ａ）一．髫）７一％（几一１，∑）
威沙特分布是卡方分布的推广。
Ｈｏｔｅｌｌｉｎｇ严分布的定义及性质
定义１设ｘ一坼（ｏ，∑），随机阵Ⅳ一％（ｎ，∑）（∑＞０，ｎ≥ｐ），Ｋｘ与ｗ相互独立，则称统计量严＝佗Ｘ，Ⅳ＿１Ｘ为Ｈｏｔｅｌｌｉｎｇ严统计量，其分布为服从ｎ个自由度的Ｐ分布，记为
Ｔ２一Ｔ２（ｐ，ｎ）
其中％（ｎ，∑）是威沙特分布。
引理３严与Ｆ分布的关系：设铲一铲ｐ，ｎ），则
扎口掣Ｔ２。Ｆ（ｐ，礼一ｐ－４－１）
Ａ＝揣
Ａ—Ａｐ，ｎｌ，ｎ２）定义２设ｘ一％（ｏ，∑），则称协方差阵的行列式Ｉ∑ｌ为ｘ的广义方差。若五。）（Ｑ＝１，…，礼）为ｐ元总体ｘ的随机样本，Ａ为样本离差阵，则称弓ＡＩ或Ｉｉ与ＡＩ为样本广义方差。定义３设Ａ１一％（礼ｌ，∑），Ａ２一％（扎２，∑）（∑＞０，ｎｌ≥ｐ），且么ｌ和Ａ２独立，则称广义方差阵之比为威尔克斯统计量或Ａ统计量，其分布称为威尔克斯分布，记为
在实际应用中，常把Ａ统计量转化为严统计量，进而转化为Ｆ统计量，然后可以利用Ｆ统计量来解决统计分析中有关检验的问题。
引理４当礼２＝１时，设佗１＝礼＞Ｐ，则
Ａｐ，死，１）雪———■—一．１＋————广－＝—一１－４－三Ｔ２（ｐ，礼）１０
浙江大学硕士学位论文
或１１
型严＝型半兰Ｆ∞，ｎ－ｐ＋１）ｎｐ
这就引出了变量选择问题。吼川＝礼措．‘＿ＰＡ§２．２偏最小二乘回归分析的变量选择问题从偏最小二乘回归的计算结果可以看到，最终得到的偏最小二乘回归方程是一个全模型，即最终的回归方程包括了所有的自变量，但是在实际问题中，并不是所有自变量都需要包括在最终的模型中的，人们只想看到对因变量影响最显著的自变量在模型中，
偏最小二乘回归的一个重要方面就是变量的选择问题。通常，变量选择方法【？】包括ＡＩＣ准则、最终预报误差准则、贝叶斯信息准则、迭代对数准则、多元校正系数准则（Ｒ２）、修正的多元校正系数准则（Ｒ２）、损失函数的总体Ｆ检验以及Ｇ准则等。
Ａ鼢惦ｒＨｏｓｋｕｌｄｓｓｏｎ【４】提出分组变量选择方法及正交变量选择方法，并利用具体数据分析说明了这两种选择方法适合于大样本数据且计算更为简单些。
ＮｉｃｋｅｙＪ．Ｍｅｓｓｉｋ，ＪｏｈｎＨ．Ｋａｌｉｖａｓ和ＰａｔｒｉｃｋＭ．Ｌａｎｇｆ５】提出了几种不同的变量选择方法：ＰＬＳ－ＦＯＲＷＡＲＥ法、ＰＬＳ－ＢＯＯＴＳＴＲＡＰ法、８Ｑ法和ｖ】Ｐ法等；并利用实验数据说明了ＰＬＳ－ＦＯＲＷＡＲＤ法和Ｐ峪ＢＯＯＴＳＴＲＡＰ法从模型拟合的角度来说更好，而ＢＱ法和ＶＩＰ法更适合于模型预测等情况。
ＢａｉｂｉｎｇＬｉ，ＪｕｌｉａｎＭｏｒｒｉｓ和ＥｌａｉｎｅＢＭａｒｔｉｎ【３】通过模拟模型对这些不同方法进行了综合比较。得出的结论是：ＡＩＣ准则更适用于小样本情况，而多元校正系数准则（Ｒ２）、修正的多元校正系数准则（冗：）适用于大样本情况。
接着Ｊｅａｎ－ＰｉｅｒｒｅＧａｕｃｈｉ和ＰｉｅｒｒｅＣｈａｇｎｏｎ【１】提出了ＦＭＲ法、ＢＭＲ法、ＳＭＲ法、ＳＲ法、ＷＡＲＣＩ法、ＶＡＲＣ２法、ＢＣＯＲ法、ＣｏＥＦ法、ＲＣＯＥＦ法、ＢＱ法、ＳＲ－ＢＱ法、ＢＳＤＥＰ法、ＪＡＣＫ法、ＧＡ法、ＳＡ￡Ａ法等将近２０种的变量选择方法。得出ＧＡ法可以得到较低维的自变量和较高的Ｑ丕。。（交叉有效性）。但是其最大的缺点是：当自变量的维数较高时，计算量要比其他方法大的多，所以此方法只适合于自变量维数低于３０的情况。而ＳＭＲ法则是传统的变量选择方法，但是当自变量存在高度相关时，由于矩阵ｘＴｘ是奇异的，这种法不再适用。但在所有这些变量的选择方法中，没有一种方法是一致地优于其他方法的。
§２．３改进的偏最小二乘回归分析思想在实际问题中，往往是～部分自变量只对某一部分因变量有显著影响，而另一部分
１２第２章改进的偏最小二乘回归自变量只对另一些因变量有显著影响。因此本部分的主要目的是给出一种改进的多元数据分析方法，即改进的偏最ｔＪ、－＂乘回归方法。改进的偏最小二乘回归方法既能按自变量对因变量的关系对因变量分组，又能使每个自变量对各组因变量的作用反映出来，因此改进的多因变量偏最小二乘回归方法能很好地处理这类实际问题，并得到合理的结果。
改进的偏最小二乘回归思想如下：第一步，设自变量为Ｘ，，Ｘ２，…，Ｘ仇，因变量是Ｙ１，Ｙ２，…，蜘，首先引入一个因变量，并对自变量进行筛选，找出对这一因变量影响显著的自变量组｛以。，Ｘｉ。，…，Ｘｉ，）（其中｛戤。，觑。，…，ｚ“］－冬｛Ｘｌ，Ｘ２，…，％））；然后考虑因变量的筛选，这相当于把ｚｌ，Ｘ２，…，Ｘ仇和Ｙ１，Ｙ２，…，蜘的地位作一对换。找出对前面选出的ｒ个自变量组．［鼢。，ｚ锄…，Ｘｉ，）影响显著的因变量组｛协。，Ｙｊ。，…，协。）（其中．［协。，％，…，勘）∈｛可１，ｙ２，…蜘））；接着再筛选自变量，找出对这ｚ个因变量影响显著的自变量组。重复这一过程，直到某步当自变量筛选后，没有因变量可删除，同时也没有因变量可引入。假定这一过程得到的因变量组为｛可ｌ，耽，…，纨）其中七≤Ｐ，自变量组为｛如，，Ｘ锄…，ｚ“】－，其中ｒ≤ｍ，对这两组数据按照偏最小二乘回归的建模方法建立回归方程组。从因变量Ｙｌ，Ｙ２，…，孙中删除Ｙ１，Ｙ２，…，Ｙｋ后，再按照上述变量选择方法筛选因变量和自变量，得到第二组因变量和对应的自变量，如此往复，直到全部因变量都有了与之相应的自变量组，计算过程结束。假设经过变量筛选后，可将因变量分成ｔ组。
不妨设第一组因变量集合为Ｙ１，Ｙ２，…，纨，自变量集合为ｚ１，Ｘ２，…，Ｘ，。按照偏最小二乘回归的步骤建立秒ｌ，抛，…，躲关于Ｘｌ，Ｘ２，…，Ｘ，的偏最小二乘回归方程：
Ｙｌ＝文，０＋文．
Ｙ２＝庞。０＋侥．＋＋＋侥．，．Ｘｒ＋仍．ｒＸｒ
Ｙｋ＝｜３ｋ，０＋｛１３ｋ．＋＋伉．，Ｘｒ
接着再建立余下的ｔ一１组偏最小二乘回归方组，最终将得Ｎｔ组不同的偏最ｄ、－－－乘回归方程组。
自变量被选入或剔除模型的依据是该自变量对模型中的因变量的影响程度的大，ｈａｐ“贡献＂大小。因此，变量选择的第一步是计算自变量对因变量“贡献’’。
§２．４筛选过程所需统计量的计算
§２．４．１自变量筛选所需统计量的计算
考查某个自变量觋晰因变量的“贡献”是否够大，即检验兢对Ｐ个因变量的影响是否显著，因此计算“贡献＂的问题即归结到参数显著性检验的Ｉ；－Ｊ题了。若以对ｐ个因
浙江大学硕士学位论文１３变量的影响不显著，那么在模型（１．１）中鼢的回归系数ｐ（｛）＝Ｏｖ，此问题即要检验假设硪‘’：厥｛）＝Ｇ（ｉ＝１，２，…，ｍ）。
首先讨论某个自变量‰对可１’．．．，Ｙｐ“贡献’’的如何表达。根据引１１里１Ｒｐ可得检验－／０ｉ）的统计量。由引理１知
ｆｌ（ｉ）＝％一％（ｋｏ，产∑），
记局＝而１厶，则在卯下
忍％一％（ｏ，∑）．
由引理１及残差阵Ｑ的计算公式（１．２）知
Ｑ＝Ｌｙｙ—Ｌｙｘ二矗Ｌｘｙ一％∞一ｍ一１，∑）
且Ｑ与反ｉ）相互独立。由定义１知，统计量
铲＝（ｎ—ｍ一１）（局反ｔ））７Ｑ一１（Ｅ届（；））
＝（ｎ—ｍ一１）厉：。）Ｑ一１反ｔ）／∥
根据引理３可得统计量Ｆ：一≮Ｔｔ掣ｒ２
【一ｍ一１）ｐ一严０，ｎ—ｍ一１）（在硝’成立时）
一亿一ｍ—ｐ徘）Ｑ－１反ｉ）
Ｐ（２．１）∥
所以有如下定义：Ｋ为‰对ｐ个因变量可ｌ，…，％的“贡献＂。由上式可以看出，若前’成立时，则声（ｉ）≈０ｐ。于是表达式Ⅵ：挚应较小，。一Ｆ∞，佗一ｍ—Ｐ）（在硪２）成立时）
定义４在模型（１．１）中，自变量妃耕因变量的“贡献”Ｋ定义为：
配：亟旦二塑Ｚ∞
其中反ｔ）是俄ｔ）的最小二乘估计，Ｑ是残差阵，∥是矩阵己矗的元素，Ｌｘｘ：Ｘ，（１ｎ一磊１１。１：）ｘ。给定显著性水平Ｑ，由样本观测值计算Ｋ及五＝竺掣Ｋ。由式子（２．１）知五。Ｆ０，礼一ｍ—ｐ）。计算显著性概率值（碓）＝Ｐ（Ｆ≥五）。若ｐ≤Ｑ，则否定穰曲，表
１４第２章改进的偏最小二乘回归
善ｙ＝ｃｌｎ；ｘ，，［翟］＋咒岛＋Ｅ
且ｍ１＋ｍ２亏ｍ。，。２．２，Ｉ￡（｛）～％（ｏ，∑）（ｉ＝１，２，…，钆）相互独立令Ｃ＝（１ｎ；Ｘ）＝（１几；墨；恐），ｘｌ为死×仇１给定矩阵，咒为礼×ｍｌ给定矩阵，
记Ｂ＝［三］，其中Ｂｔ为ｍｔ×ｐ参数矩阵，岛为ｍ２×ｐ参数矩阵ｃｍ・＋ｍ２＝ｍ，，且ｒａｎｋ（Ｃ）＝ｒａｎｋ（１ｎ！Ｘｌ；拖）＝仇＋１，检验假设Ｈｏ：Ｂ２＝０。即要检验一部分自变量Ｘｒｎｌ＋１，…，ｚ。是否耕因变量有显著性影响。假设ｍ２＝１即恐＝ｚ。是ｎ维向量
（钆１，让２，…，‰）型乱且ｚ。相应的佗次观测值为
这时ｍ＋１个自变量与阶因变量的扎次观测值满足下列模型：
６（ｏ）
Ｙ＝（Ｃ！牡）Ｂｌ
６（ｔ‘）＋Ｅ些Ｇ∥（仳）＋Ｅ，ｒ口ｎ忍（瓯）＝ｍ＋２，（２．３）
Ｉ￡（｛）一Ⅳｐ（ｏ，∑）（ｉ＝１，２，…，佗）相互独立
用６（ｏ），雪１，Ｑ表示在模型（２．２）下参数∥的最小二乘估计及残差矩阵，用６（ｏ）（让），台ｌ＠），６（ｕ）及Ｑ（ｕ）表示在模型（２．３）下参数ｐ（ｕ）的最ｄ，－－－乘估计及残差矩阵。
在模型（２．２）下，记
０１＝（１ｎ；Ｘ１），Ｃ＝（１。；墨；恐）＝（Ｃ１；恐），
由式子（１．２）知残差阵
ｆｙ＝ｃ１．ｉ
Ｉ￡（｛）一ＮＡｏ，∑）（ｉ＝１，２，…，礼）相互独立Ｘ１）［翟］＋Ｅ，。２．４，
浙江大学硕士学位论文
其相应的残差阵为
Ｑｔ＝Ｙ，（Ｉｎ—Ｇ（ｑｃｌ）一１ｑ）ｙ＝Ｙ，（Ｉｎ一所）×
其中凰＝Ｃｌ（ＣｉＣｌ）－１ｑ）。
首先计算Ｑ１～Ｑ的表达式，因为Ｃ＝（ａ；．磁），记
Ｄ＝墨（Ｉｎ—Ｈ１）．磁，
故有【８】
（ｃ７Ｃ）－１
‘ｑｃ一，）ｋ－＇ｃＩ恐Ｉ。＿１（弼ａ（ｑＧ）－－一Ｉｍ２）．曩甜＝愕０～。０］
因此
Ｑ＝ｙ７卜一ｃＧ；恐，ｃ∥ｃ，‘１［乏］］ｙ
＝Ｙ”ｎ—ｏ（ｑＧ）－１ｑ）ｙ—Ｙ，（Ｉｎ—Ｇ（ａ，Ｇ）一１ｑ）Ｘ２Ｄ一１Ｘ；（Ｉ。
一ａ（ｑＧ）。ｑ）Ｋ
即得
Ｑｌ—Ｑ＝ｙ７（ｋ—Ｈ１）Ｘ２Ｄ－１嚣１（Ｉ。一ａ（ｑａ）一１ｑ）ｙ
另一方面
ｐ＝（Ｃ７Ｃ）＿１Ｃ７Ｙ
ｍｌ＋１
ｌ（ｑＧ）－１ｑ）ｙ一（ｑａ）－１ｑ）Ｘ２Ｄ－１弼（Ｉｎ—Ｈ１）Ｙ
ｌＤ．１弼（Ｉ礼一Ｈ１）ｙｍ２于是岛＝Ｄ一１巡（Ｉ＂一ａ（ｑａ）一＇ｃｏＹ。
所以
Ｑ１一Ｑ＝Ｙ’（Ｉｎ—Ｈ１）Ｘ２Ｄ＿１嚣１（Ｌ—ｃ，（ｃｆｃｌ）一１ｑ）】厂
＝岛Ｄ岛＝岛墨（Ｉｎ一日１）恐龟
引理５【８】在模型１．１下，有
（１）Ｑ一％（ｎ—ｍ一１，∑）；１５（２．５）
１６第２章改进的偏最小二乘回归
（２）在模型２．４下（即凰成立时），ＱＩ—Ｑ一％（概，∑）；
（３）Ｑ与Ｑ１一Ｑ相互独立。
检验凰的似然比统计量【８】为
“入：—ｍａｘＬ（／—７（１），Ｅ）：—ＩＱｌｌｎ—ｌ－＂ｉ２：鲤：ｆ型：）ｈｉ２
等价与＾＝＝一：＝：～＝——————————●一＝ｌ一ｕ＝而‰＝雨硒ＩＱＩｍａ＜ｘＬ（ｎ，∑）ｌＱ／，２Ｉ—ｎ／２ｌＱＩ—ｎ／２、ＩＱ－Ｉ－（Ｑｌ—Ｑ）Ｉ’
ｉ
在凰成立时，Ｑ１一Ｑ＝岛Ｄ岛一％（ｍ２，∑），３Ｌｔ天ｔＱ一％（佗一ｍ一１，∑），且Ｑ与Ｑ１一Ｑ相互独立，由定义３知
Ｕ—Ａ∞，几一ｍ一１，ｍ２）．
可以看出，当日０成立时，则Ｕ值应近似等于１；若Ｕ值太小，则可否定假设凰。对于给定的显著性水平ａ，由样本数据计算Ｕ值为Ｕ，利用检验统计量Ｕ的分布，计算显著性概率值（雄）＝Ｐ（Ｕ≤让）。当Ｐ＜ｏｚ时，否定凰，即认为ｍ２个自变量Ｘｍｌ＋１，…，ｚ。耕因变量的作用显著；当Ｐ≥Ｏｌ时，凰成立，即可认为ｍ２个自变量ｚｍ，＋ｌ，…，ｚｍ渤个因变量的作用不显著。
特别地，当ｍ２＝１时，恐＝Ｘｕ是几维向量，Ｄ＝ｚ：‘（Ｉ。一皿ｘｕ是数值，记为ｄ，而岛＝占｛。１为１×旆阵，所以
ｕ：旦！：
ＩＱ＋６（。）ｄ６，ｕ）｜
由分块求行列式的公式可得：
Ｉ￡１一磐｝：阱喀‰ＩＩ‰Ｑ
因此Ｐ“…。＝ＩＱｌｌｌ＋ｄ６，乱）Ｑ＿１６（ｕ）Ｉ，
１＋幽：Ⅱ）Ｑ一１‰ｕ：———。二一
另一方面，当ｍ２＝１时，由引理４知：ｒ２．６）、’当日。成立时，则ｃ厂值近似等于１，Ｋｕ）＝ｄ研ｕ）Ｑ一１占（Ⅱ）定义为变量ｚ缸对ｐ个因变量的作用。
Ａ（ｐ，／＇ｔ—ｍ一１，１）＝———１——二———～１＋＝—ｊＴ２（ｐ，ｎ—ｍ一１）佗一ｍ—ｌ（２．７）
浙江大学硕士学位论文
比较（２．６）（２．７）式得１７
严ｐ，仡一ｍ一１）＝（几～ｍ一１）ｄ《。）Ｑ。６（让）＝（ｎ—ｍ一１）．Ｌ笋
ｅｐｕ统计量可转化为严统计量，再由引理３知（２．８）
Ｆ＝≮篙等≯严咖一ｍ－１）一盹ｎ—ｍ刊，
即
Ｆｌ＝Ｆ＝
所以统计量局即是检验自变量ｚｕ能否引入模型的统计量。一一：＝一一，ｖ，’ｌ。，）．７Ｉ一，，＾一ＴＪｌ．型Ｐ型型Ｕ＝坚Ｐ型盏一砘ｎ—ｍ刊．１一Ｋ‘州一“纠
下面的引理来自文献【９】，是证明下面的定理１所需要的。
引理６【８】在模型（２．２）和（２．３）下参数阵的最小二乘估计及残差阵之间有如下关系：
ｆ６（仳）＝ｄ－１（ＬⅡｙ—Ｌ。ｘＬｘｌｘＬｘｙ），
（２．９）｛掣２笔Ｌｘ—ｌｘＬ．ｘ，＊ｂ（曲，．ｌｂ（０）（ｕ）＝】，７一Ｘ７Ｂ（ｕ）一ｆｉｂ（ｕ），
【Ｑ（ｕ）＝Ｑ一曲（让）’６（姐），
其中
１１１
Ｐ＝三】，７１ｎ，贾＝三Ｘ７１ｎ，面＝三乱７１。
Ｌ。ｕ＝扎７（Ｉ。一丢Ｊ）仳，Ｌｕｘ＝ｕ＇（Ｉｎ一三Ｊ）Ｘ＝Ｌ＇ｘ札
Ｌ∥２∥（Ｉｎ一寺Ｊ）ｙ＝西ｕ，ｄ＝Ｌｕｕ—Ｌ，，ｘＬＩｘｘＬｘⅡ・
定理１在模型（２．３）Ｔ自变量ｚ。对！，ｌ，…，跏的“贡献’’Ｋ可以改写成：
Ｋ：型ｌ（ｒ）二ｏｒ（翁ｒ）、』－ｌ／坠（ｒ）！（ｕ：ｌ，２，…，ｍ）
其中
叱＝ｚ：‘［厶一ｃ（∥ｃ）－１Ｃ７】ｚⅡ＝ｂ—Ｉ。，ｘＬ矗Ｉｘｕ＝ｆ黝，
证明：由引理６可知６（ｕ）＝ｄ一１（Ｌｕｙ—ＬｕｘＬ矗己ｘｙ），带入定义４中Ｋ的公式即可得学ｃ札……川也靠１（ｚｕｙ一１．ｘＬｘｌｘＬｘｙ）Ｑ一１（ｚｙ。一ＩｘｕＬ矗Ｌｘｙ）既１
１８第２章改进的偏最小二乘回归
假设ｚ。是已选入的变量，由消去变换的性质知
Ｉ（０一，＝一２诧
因此，同理可以推出检验自变量ｚ。能否从模型中剔除的统计量为：
岛＝坚芦（一Ｋ）
综合以上分析可以得到如下定理２。
定理２自变量筛选过程中，设模型中已引入ｍ－个自变量，ｐ１个因变量。判断能否引入自变量ｚ。的统计量为日＝半盏一弛ｎ—ｍ＿ｐ）ｐ１ｌ一‰
判断是否剔除模型中自变量ｚ。的统计量为易：竺塑（一Ｋ）．Ｐｌ
§２．４．２因变量筛选所需统计量计算
考虑因变量筛选时，可把ｚ１，ｚ２，…，ｚｍ和可１，Ｙ２，…，蜘的地位交换一下，即把ｍ个变量ｚ１，ｚ２，…，。仇作为ｍ维随机向量，来考察它与可１，Ｙ２，…，珈的之间的依赖关系。
假设变量ｚ１，ｚ２，…，‰，与变量ｙ１，Ｙ２，…，洳，的咒次观察数据满足下列模型：
｛％×ｍ・＝ｃｌｎ；ｙ，【翟Ｊ。，＋用，×ｍ，＋Ｅ，Ｉ￡（｛）一Ⅳｍ。（ｏ，∑ｘ）
ｙＨ
Ｙ２１ｙ１２Ｙ２２。２．１。，（ｉ＝１，２，…，礼）相互独立记ＹｌｐｌＹ２ｐｌ萝ｌＪｙ＝％，协。：
●０＝Ｐｌ＋１，…，ｐ）．
∥ｈｌ！，ｈ２‰ｌ％
｛ＥＸ∽ｎｘ。，ｎⅣ＝ｋ。（。ｌ。ｎ，∑ｉｘ，Ｇ’：；鬯）２］．：ｉ×焉，纂独立（２．１１）
塑兰盔学硕士学位论文１９其中多（ｉ）为从ｙ中删除第ｉ列数据后的数据阵，虽（ｚ）为从Ｂ中删除第ｉ行参数６（１）后的参数矩阵。检验犰能否从方程中剔除即检验硝’：６（｛）＝０１×ｍ。。由似然比原理选统计量【８】：其中Ｑ◇１）表示包邰１个因变量时模型（２．１０）的残差阵，由式子（２．８）可知ｕ＝揣＝砭页云＿二了厂＃宅等宅‰一Ａ（ｍｌ，ｎ－ｐｌ－１，１），
Ｔ２（ｍｌ，ｎ—Ｐｌ一１）＝（ｎ－Ｐｌ－１）丁１－Ｕ
（ｎ—Ｐ，一１）瓯）Ｑ一１∽）％
讹＝蕊（ｉ）Ｑ一１∞１）反ｆ），
Ｆ＝死一ｍｌ—Ｐｌ。’。’—’。’。—１’—’’—一一＝１一Ｕ
ｍｌＵ—’————————・・＿扎一仇Ｉ—ｐｌｍｌ－＿一
—Ｆ（ｍｌ，ｎ—ｍｌ—Ｐ１）
考虑引入变量协Ｕ＝ｐ１＋１，…，ｐ）后模型（２．９）变为
ｆ％×仇ｔ＝ｑ竹；ｙ；珊，［兰Ｌ＋。，×ｍ。＋Ｅ，
一＝———————：——————————：刍—一＝铲ｄｊ占｛ｊ）Ｑ一１（ｐ１）６｛ｆ）————＿乱ｆ
１一Ｐｌ一２１一心６０）Ｑ一１ｐ１）６０）一１一％’＿一
Ｆ＝（佗一ｐ１～２）一ｍ１＋１严
ｍ１．
佗一ｐ１一ｍｌ一１１一Ｐｌ一２
ｕｆ
ｍ１１～％
Ｆ（ｍｌ，佗一ｍ１一ｐｌ一１）记（２．１２）则称“ｉ为变量玑对变量ｚ１，ｚ２，…，Ｘｍｌ的贡献，所以检验统计量利用Ｆ统计量可检验假设硝’。（２．１３）
２０第２章改进的偏最小二乘回归利用Ｆ统计量可检验假设日Ｉ＃’。
因变量的引入与剔除步骤与自变量的引入与剔除步骤完全相同。由以上分析得到如下定理３。
定理３因变量筛选过程中，设模型中已引入ｍ１个自变量ｐ１个因变量，判断是否引入因变量的统计量为
Ｒ：竺竺Ｌ旦地ｍｌ
—Ｆ（ｍｌ，礼一？７２１一Ｐ１）
判断是否剔除模型中因变量的统计量为忍＝坚掣盏ｍ１
Ｘｌｍ
Ｚ２ｍｙｌｌＹ２１ｌ一乱ｉ—Ｆ（ｍｌ，ｎ—ｍｌ～ｐ１—１）其中呦是因变量协对模型中自变量的“贡献’’，计算公式为（２．１２）。§２．５改进的偏最，Ｊ、－－乘回归分析步骤设有价因变量与ｍ个自变量，观测数据阵为ＸｌｌＸ２１Ｘ１２Ｘ２２Ｙ１２Ｙ２２●●●ｐ●●●
Ｘ＝．Ｙ＝蛳脚
；ｐ
ＸｎｌＸｎ２ＸｎｍＹｎｌ鼽２●●●％
ｐ
§２．５．１准备工作
考虑是否需要对原始数据进行标准化。由于变量毛（ｉ＝１，２，…ｍ）和ｙｊ（ｊ＝１，２，…ｐ）所取单位不同及取值范围不同，为减少量纲的影响及减少计算误差，可对数据进行标准化。此处采用标准差标准化，即令
舡莆（渊，２＇…，ｍ；ｔ－＝Ⅵ，…，咄
其中毛＝寺∑Ｘｔｉ，８ｉ（ｚ）＝死ｕ。令
蝣２错（歹＝１＇２，…，ｐ归１，２，…，ｎ）
浙江大学硕士学位论文２１其中易＝丢喜…∽＝
（２）计算ｍ＋Ｐ阶矩阵Ｌ，假设中心化后的数据阵为贾和矿，记Ｌ＝Ｌ（ｏ），则
俨）＝［雾嚣］却∽纠∞＝［凌Ｌ（Ｏ）Ｊ二
为（ｍ＋Ｐ）×（ｍ＋ｐ）矩阵。若数据已做标准化变换，则矩阵Ｌ（ｏ）就是ｍ＋价变量的相关矩阵。
假设筛选自变量时引入和剔除变量的显著性水平分别记为ａｘ们Ｏｔｘ州，筛选因变量时引入和剔除变量的显著性水平分别记为ａｙ阳口ｙ砌。
§２．５．２变量筛选过程
第一步：取Ｙｌ作为协。，矩阵Ｌ（ｏ）为当前矩阵。转入第ｋ＋１步的（３），考虑引入自变量。若没有任何白变量可引入，说明可ｌ与所有的自变量无关。
假设已计算－ｆｋ步，入选的自变量有ｍ１个（不妨设为ｚ１，ｚ２，…，ｚ。，），因变量郁１个（不妨设为Ｙ１，Ｙ２，…，Ｙｐ，），当前矩阵为Ｌ（…・），每引入（或剔除）一个因变量轳允，即对当前矩阵相应块作高斯消去变换，结果矩阵作为新的当前矩阵为三（ｍ－＋１）。
第ｋ＋１步：筛选自变量
（１）计算各个白变量对ｐ１个因变量的“贡献’’
ｖｊ＝ｄｂ（ｊ）Ｑ＿１０１）６，力（Ｊ＝１，…，ｍ）．
（２）考虑能否剔除自变量。对已入选的自变量ｚｉ，选出对Ｙ１，Ｙ２，…，蜘，贡献最小的变量，记为ｚ硒，并计算Ｘｉｏ的Ｆ统计量踟值。都≥ａｘ口ｕ。，则剔除变量ｚ如，并对当前矩阵Ｌ（ｍ１）作高斯消去变换得矩阵Ｌ（ｍ－＋１）＝％陋（７）】，且以Ｌ（ｍ－＋１）作为当前矩阵，转向第ｋ＋１步，继续考虑自变量的筛选；否则，不能剔除该变量，转入第七＋１步的（３）考虑能否引入新的因变量。
（３）考虑能否引入新的自变量。对于未入选的自变量，选出相应的“贡献”最大的变量，记：为Ｘｊｏ，并计算ｘｊ。的Ｆ统计量励值。都≤Ｄｘ舻则引入变量Ｘ如，并对当前矩阵Ｌ（ｍ－）作高斯消去变换得矩阵三（ｍ１－Ｉ－１）＝瓦陋（ｒ）］，且以Ｌ（ｍｌ＋１）作为当前矩阵，并继续考虑自变量的筛选。否则，该变量不能被引入，自变量的筛选过程结束。第ｋ＋２步：筛选因变量。
第２章改进的偏最小二乘回归
（１）计算各个因变量对ｍ１个自变量的“贡献”
吻＝蕊（ｆ）Ｑ．１（ｍ１）昧）
（２）考虑能否剔除因变量。对已经入选的因变量协，选出对ｚ１，ｚ２，…，‰。贡献最小的变量，记为Ｙｉ。。计算Ｙｉ。的Ｆ统计量及施。若ｐ≤ＯｌＹｏｕｔ，不能剔除变量，转入ｋ＋２步的（３）考虑可否引入新因变量。否则，剔除变量‰，并对当前矩阵作高斯消去变换得矩阵Ｌ（”ｔ＋１）＝五。陋《ｒ）】，且以￡（ｍ・＋１）作为当前矩阵，然后重复ｋ＋２步，继续考虑因变量的筛选。
当Ｐ１＝１时，考虑能否剔除的步骤跳过，直接考虑能否引入新因变量。
（３）考虑能否引入新因变量。对未入选的变量，选出对ｚｌ，ｚ２，…，ｚ仇，贡献最大的变量，记为‰。计算耽。的Ｆ统计量及难。若ｐ≥Ｏｆ．ｙ卵‰不能被引入，因变量的筛选过程结束；接着重复第ｋ＋１步，考虑自变量的筛选。如果自变量既没有可剔除的，又没有可引入的，则筛选过程结束，转入计算本组回归模型的结果。否则，若因变量Ｙｉｏ可以被引入，则对当前矩阵Ｌ（ｍ，）的相应块作消去变换，并作为当前矩阵。然后重复ｋ＋２步，继续考虑对的自变量筛选。
可以看出，在以上给出的逐步筛选过程中，自变量和因变量的地位时同等的，每当在引入一个因变量后，对自变量进行筛选，找出对这一因变量影响显著的自变量组鼢。，ｚｉ。，…，轨，；之后考虑因变量的筛选，这相当于把ｚｌ，ｚ２，…，‰和Ｙ１，Ｙ２，…，鳓的地位作一交换。类似地，用逐步筛选的方法筛选因变量，设珊，，％，…，％为对ｒ个自变量忍，，ｚ幻…，ｚ“影响显著的变量组，接着再筛选自变量，找出对Ｚ个因变量影响显著的自变量组，这一过程直至某步当自变量筛选后，既没有因变量可剔除，也没有因变量可引入，则逐步筛选过程结束。
§２．５．３计算该组偏最＇ｂ－乘回归方程
假设最终入选的因变量为可１，Ｙ２，…，珈，，自变量为ｚ１，Ｘ２，…，ｚｍ，。按照偏最小二乘回归的步骤计算该组回归方程。原始观测数据阵已标准化处理，故要还原到原变量的回归方程组。
§２．５．４计算下一组偏最小二乘回归方程
从原始数据阵中删去已入选的因变量的数据，重复以上２．５．２和２．５．３两小节中的步骤，考虑Ｐ—Ｐ１个因变量与仇个自变量的筛选与计算，即可求得第二组，第三
浙江大学硕士学位论文
组，…第ｔ组的偏最ｄ、－－＂乘回归方程组。到此ｐ个因变量和矾个自变量的改进的偏最小二乘回归过程全部结束。
§２．６实例分析
本实例研究了影响人民生活质量和经济发展的因素【１２】。样本数据取自《中国统计年鉴》（１９９１－２００７），共１５个变量，分别为：Ｘ１原煤产量（亿吨），ｚ２石油产量（万吨），Ｘ３纱产量（万吨），ｚ４机械纸及纸板产量（万吨），Ｘ５汽油产量（万吨），ｚ６农用氮磷钾化肥产量（万吨），Ｘ７水泥产量（万吨），Ｘ８城市居民家庭人均可支配收入（元），Ｘ９粮食播种面积占总播种面积的比重，Ｘ１０乡村人口占总人１：３的比重，可１粮食产量（万吨），Ｙ２居民消费水平（元），ｙ３Ｔ业生产总值（亿元），ｙ４发电量（亿千瓦小时），／／５全社会固定资产投资（亿元）。
按照改进的偏最小二乘回归的步骤，利用ｍａｔｌａｂ编程计算，可将自变量和因变量结果分成三组：
第一组：建２ｆ＿ｙ１和ｚ９的偏最小二乘回归方程：
雪１＝３１６９７．１８９—２１３００．１８ｘｏ
第二组：分别建立沈和弱关于Ｘ３，ｚ４，Ｘ８的偏最小二乘回归方程：
蟊＝２２７．１６—０．２０ｘ３—０．１５Ｘ４＋０．６２ｘ８
９３＝－９０３０．４２＋７．７３ｘ３＋０．４２Ｘ４＋６．８８ｘ８
第三组：分别建立纨和骗关于Ｘ３，Ｘ４，Ｘ５，Ｘ７，Ｘ１０的偏最小二乘回归方程：
９４＝１１５２．２４＋１．８９ｘ３＋０．５２ｘ４０．３９ｘ５＋０．１６ｘ７—２１．４６ｘｌｏ
彘＝一１１６５９４．６９＋１２．３４ｘ３＋２．６４ｘ４—１．２０ｘ７＋１．０５ｘ７＋１１５３．７３Ｘｌｏ
由计算结果看出，可。粮食产量与ｚ９粮食播种面积占总播种面积的比重成反比，如果再考虑到农业科技的推动，这个表达式是合理的。说明随着农业科技的进步，虽然粮食播种面积的比重降低了，但是粮食总产量却逐年增加。耽居民消费水平与ｙ３Ｉ业生产总值的主要影响因素是ｚ３纱产量、Ｘ４机械纸及纸板产量和踟城市居民家庭人均可支配收入；Ｙ４发电量与蜘全社会固定资产投资的主要影响因素是ｚ３纱产量、ｚ４机械纸及纸板产量、Ｘ５汽油产量、Ｘ７水泥产量和ｚｌｏ乡村人口占总人口的比重。为了对比，根据偏最小二乘回归分析的建模步骤，建立ｙ（ｙｌ，…，驺）关于Ｘ＠１，…，
２４第２章改进的偏最小二乘回归ｚｌｏ）的全模型偏最小二乘回归方程，结果如下：
雪１＝－１１５６０８～５８１．９５０３ｘｌ４－３．７５６５ｘ２４－０．４３４０ｘｓ４－１．２２３４ｘａ４－０．５０８７ｘ５
４－０．８６４６ｘ６—０．６９７８ｘ７４－１．０２１８ｘ８＋５２１４０ｘ９４－９６９．７７４３Ｘｔｏ
扔＝－４９８７．４７５８—２６．０８６９ｘｌ４－０．７４８１ｘ２—０．５６６７ｘ３—０．３２４６ｘ４—０．９６５５ｘ５
—０．２９０１ｘ６０．０１５９ｘ７４－０．１１０８ｘ８４－２２７９．４１４１ｘ９＋１．９５１９Ｘｌｏ
眈＝－５５１７３４－１８４．７６７４ｘｌ一０．７４０９ｘ２４－Ｏ．０５２５ｘａ一０．７５１８ｘ４—０．４３８５ｘ５
—０．７９０９ｘ６＋０．３５６９ｘ７＋５．７０２０ｘ８４－２０３１８９ｘ９—１３６５．４１８９ＸＬＯ
９４＝１８６００＋１６１．９８０８ｘｌ一１．０５１３ｘ２４－０．０３５１ｘｓ一０．３４７７ｘ４４－０．２８５５ｘ５
＋０．１６０９Ｘ６４－Ｏ．７１２３ｘ７４－０．２１７５ｘ８４－５４７４８ｘ９—５７９．５０４９ｘｌｏ
如＝４２２９８４－１１５３．２６２１ｘｌ一１２．８６７３ｘ２４－４．７４６１ｘｓ一２．７８８７ｘ４＋２．３６８９ｘ５
４－２．６６３６ｘ６４－０．５７４４ｘ７４－８．７７３９ｘ８＋４５７０４３ｘ９—３４３２．３４０２ｘｌｏ
由以上计算结果可以看出，由改进的偏最小回归计算的结果更简明，各组模型中只
含有跟自身变化关系最密切的自变量。同时可以Ｅｈｍａｔｌａｂ计算知各因变量的偏最小二乘回归的预测偏差平方和总是大于改进的偏最小二乘回归的预测偏差平方和。所以，在预测精度上，改进的偏最小二乘回归也具有一定的优越性，而且模型更简洁有效。模型中含有对因变量影响最大的自变量，对于实际问题中的预测控制等都是很好的方法。因此从预测角度来说改进偏最小二乘逐步回归方法要优于一般的偏最小二乘回归方法。
§２．６．１结论
改进的偏最小二乘回归思想其实来源于最小二乘线性回归的逐步回归思想。在最小
二乘回归分析中，对于自变量的逐步筛选过程，是在考察自变量对全部因变量的贡献大小，但是如果某一个变量ｚｉ只对因变量％影响显著，对其余变量作用不显著时，对Ｘｉ作显著性检验，很可能Ｘ；不能引入回归方程。在最终得到的回归方程中，有的回归方程可能不是“最优＂的，如在可ｊ的回归方程中，重要变量孔就没有被引入。正是基于这种逐步筛选的思想本节引入了改进的偏最小二乘回归方法，在变量筛选过程中既能以因变量和自变量的关系来将因变量进行分组，又能使每个自变量对各组因变量的影响都能反映出来。因此最终得到的回归方程的预测能力和模型拟合能力要优于普通的偏最ｄ、－－－乘回归方程。
第３章改进的偏最小二乘回归模型与ＡＲＭＡ模型
的结合
§３．２时间序列模型
在经济分析和科学研究中，通常要对某一个或一组变量Ｙｔ进行观察及测量，将在一系列时刻ｔ１，ｔ２，…，ｋ得到的离散数字组成的序列Ｙ１，Ｙ２，…，‰称为时间序列，而在一般的情况下，犰是与其前面的观测数据有一定关系的，时间序列分析就是根据得到的时间序列数据，利用曲线拟合和参数估计等方法来建立数学模型的理论和方法。
平稳的时间序列模型可分为三种类型【１４】：自回归模型（ＡＲ模型）、滑动平均模型（ＭＡ模型）和自回归滑动平均模型（ＡＲＭＡ模型）。ＡＲＭＡ模型是平稳时间序列模型的普遍形式。ＡＲ和ＭＡ模型是它的特殊情况。对于ＡＲＭＡ模型，在进行参数估计之前，需要进行模型的识别。识别模型的基本任务是找出模型的具体特征，最主要的是确定模型的阶，即ＡＲＭＡ０，ｑ）中的Ｐ和ｇ，识别的基本方法是利用时间序列样本的自相关函数和偏自相关函数。
对于非平稳的时间序列现，首先需要判断时间序列的特性，如趋势性、突变性及周期性等。若该序列存在某种特性，需要剔除该特性，使非平稳序列平稳化。对经过平稳化处理后得到的新序列可以按照平稳序列的模型进行建模，模型的阶数可以根据ＡＩＣ准则来确定。
下面介绍一般的时间序列建模方法【１４】：
一、对序列的平稳性，正态性及周期性等进行检验；
二、用适当的方法处理原始数据序列（如差分、转换），使数据达到建模的要求；
三、计算数据序列的自相关函数和偏自相关函数，确定模型的阶次；
步骤一通常所用的方法是运用差分方法将时间序列转换成平稳序列；步骤二包括判断最佳模型时所用的尝试方法，此时工作的工作量比较大，一般通过对相关图及偏相关图的分析来确定模型和模型阶数；最后一步相对比较容易，一般采用最小二乘拟合估计或极大似然估计方法。建模过程比较复杂，～定程度上需要猜测和经验，这样才能做出预测性比较好的模型。
本文实例中的序列具有时间趋势项，都有明显上升或下降的趋势。所以对这些序列采取以下步骤【６】：
一、将利用差分法对序列进行平稳化处理，剔除时间趋势项；
二、对提取的残差序列进行分析，建立时间序列模型。这一过程通过分析ＥｈＳＡＳ程２５
第３章改进的偏最小二乘回归模型－与ＡＲＭＡ模型的结合
序输出的自相关和偏自相关图确定模型及模型阶数；
三、对原序列进行方程检验，形成预测模型并预测；
四、利用改进的偏最小二乘回归建立预测模型。
《１）Ａ咒（Ｐ）模型
在时间序列中，描述时间序列ｙｔ自身某一时刻和前Ｐ个时刻之间相互关系的模型是自回归模型，其形式为：
玑＝≯ｌＹｔ一１＋≯２Ｙｔ一２＋…＋如纨一ｐ＋岛
式中≯－，西２，…，妒ｐ是模型的参数，ｇｔ是白噪声序列，它反映了其他随机因素的干扰。该模型表明，当前值Ｙｔ是其自身过去观测值Ｙｔ一１，Ｙｔ一２，…，Ｙｔ—ｐ的线性组合，通常称为自回归模型，简称Ａ冗模型。缩写ＡＲ（ｐ）表示ｐ阶自回归模型。
（２）ＭＡ（ｑ）模型
如果将Ｙｔ看成是各期随机干扰即白噪声序列的线性组合，即可建立滑动平均模型，
其一般形式为：
Ｙｔ＝艮＋ｐｌ岛一１＋０２９ｔ一２＋…＋％￡ｔ一口
这个模型表明，每个时间序列都是过去ｑ个周期随机扰动项的加权平均，因而称为移动平均模型，简称ＭＡ模型。缩写ＭＡ（ｑ）表示ｑ阶滑动平均模型。
（３）ＡＲＭＡ（ｐ，ｑ）模型
在进行时间序列分析而组建预测预报模型时，往往希望模型具有更强的代表性，即既包括ｐ阶自回归。又包括ｑ阶滑动平均的混合模型。这样的模型称为自回归一滑动平均模型，缩写为ＡＲＭＡ（ｐ，ｑ），有如下表达式：
矽ｌｙｔ一１＋≯２玑一２＋…＋≯ｐ轨一ｐ＋鼠＝氏＋ｐｌ氏一１＋如岛一２＋…＋％岛一ｇ
上式左边是模型的自回归部分，ｐ为自回归阶次，（咖１，咖２，…，如）称为自回归系数；右边是模型的移动平均部分，ｑ是滑动平均阶次，（ｇｌ，９２，…，￡。）称为滑动平均系数。可以看出，ＡＲ（ｐ）模型军ｉ１ＭＡ（ｑ）模型只不过是ＡＲＭＡ（ｐ，ｇ）模型分别对应于ｑ＝Ｏｔ（ｆｌｐ＝ｏ的特例。
§３．３建立改进的偏最小二乘回归的时间序列预测模型
１．样本数据的选取
样本数据来自《中国统计年鉴》（１９８５—２００７）２３年的数据，从中选取五个变量：因变量Ｙｌ为农民家庭平均每人纯收入（元），耽为粮食产量（万吨），Ｘｌ农村家庭食品消
浙江大学硕士学位论文２７费支出占总支出的比例，ｚ２为乡村人口占总人口的比例，ｚ３为粮食播种面积占总播种面积的比例。
２．多重相关性诊断
利用方差膨胀因子对各自变量进行诊断，检查其间是否存在多重共线性。自变量巧的方差膨胀因子记为ＶＩＦｊ，可以ＦｈＳＡＳ中的ｐｒｏｃｒｅｇ过程【１２１］求得各自变量的ＶＩＦ，所有自变量中最大的ｙ，Ｒ通常被用来作为变量多重相关性的指标。如果最大的ｙ，Ｒ超过１０，表示多重相关性将严重影响最小二乘的估计值，即自变量之间存在高度相关现象，诊断结果为：
ｙ，只＝８．５９，ＶＩＦ２＝１７．４２，ＶＩ忍＝８．３６，
故（ｙ，Ｆ）ｎ一＝１７．４２＞１０，因此自变量之间存在多重相关性。
３．建立传统的最小二乘回归模型
利用ＳＡＳ中的Ｐｒｏｃｒｅｇ过程得到最小二乘回归模型：
雪１＝９２８１．６８＋５１１８．０４Ｘｌ一４６２５．３０ｘ２＋５８８２．４６ｘ３
雪２＝４２２４３＋９７１６９Ｘｌ一１２７８５０ｘ２＋５３８３１ｘ３
由上式可以看出，可，（农民家庭平均每人纯收入）与ｚ１（农村家庭食品消费支出占总支出的比例）成正比，而实际情况是，随着经济发展，科技水平进步，农民生活水平提高，农民家庭平均每人纯收入提高，农民用于食品消费的支出所占的比例有所下降，而在其他方面的支出，如教育，娱乐，的支出大大增加。模拟结果显然不符合实际情况，这说明白变量之间存在多重相关性，不能用传统的最＆－－乘法建立回归模型，否则，会导致自变量对因变量的贡献程度无法解释，与实际情况相违背。
４．建立偏最小二乘回归模型
现将因变量序列玑Ｇ＝１，…，２３）和自变量序列ｚｏ（ｉ＝１，…，２３；ｊ＝１，…，４）进行标准化处理，得到自变量和因变量的标准序列昂与岛，采用第一章叙述的一般的偏最小二乘回归步骤，并利用交叉有效性原则，通过提取两个成分ｔ１，ｔ２，得到标准化偏最小二乘回归预测模型：
Ｆｏ＝０．３９８Ｅｏｌ一０．３３８Ｅ０２—０．４０８Ｅｏａ．
将数据还原，最后得到原变量的偏最小二乘回归方程：
雪ｌ＝９２８１．６８＋５１１８．０４Ｘｌ一２２２１８．０９ｘ２＋６７２４．５０ｘａ仍＝４２２４３．３５＋９７１６８．６９ｘｌ一１２７８９４．５９Ｘ２＋５３８３１．３６ｘ３
第３章改进的偏最小二乘回归模型－９ＡＲＭＡ模型的结合
从上式可以看出，并对比对最ｄ＇－－乘回归建立模型的分析可知，由一般的偏最小二乘回归建立的模型与实际情况不完全相符。
５．建立改进的偏最小二乘回归的预测模型
根据第二章提出的改进的偏最小二乘回归分析，对该实例建立改进的偏最ｄ、－－＂乘回
归预测模型。首先进行变量筛选，筛选的结果是因变量只有一组，进入模型的自变量是ｚ２，ｚ３，分别建５：／：ｙ１，Ｙ２关于ｚ２，ｚ３的偏最小二乘回归模型。结果如下：
雪１＝９７６０．０６—１８２１４．７７２２＋６０２０．７６ｘｚ
１７２＝－０．９１ｘ２＋０．３９ｘ３
利用改进的偏最小二乘回归分析首先对变量进行筛选，剔除了对因变量“贡献”小
的自变量ｚ１，再对剩余变量建立合理的偏最小二乘回归模型。从结果可以看出，随着经济发展，社会进步，农民生活水平的提高，人均收入逐年增加，城市化进程的加速，乡村人口所占的比例也越来越小。随着科技的进步，虽然粮食播种面积占总播种面积的比例有所下降，但是粮食产量反而增加，进一步验证了农业科技的巨大贡献。而且，改进的偏最小二乘回归建立的模型更简洁。
§３．４ＡＲＭＡ模型预测各时间序列因子
对３．３节建立的改进偏最小二乘回归方程组里的各自变量因子进行时间序列分析。从
原始数据可以看出，本例的因子含有趋势项，有逐年增加或减小的趋势，应该先剔除趋势项，进行平稳化后再进行时间序列分析，进行ＡＲＭＡ模型预测，阶数由ＡＩＣ准则确定，最后将预测的平稳序列再加上趋势项得到各因子未来年份的预测值。由ＳＡＳ输出结果分析可知，ｚｌ是ＡＲＭＡ（２，１，ｏ）模型，预测模型如下：
Ｘｔ＝－０．０６１４＋０．２９８ｘｔ一３一Ｏ．４９５ｘｔ一４＋ｅｔ
Ｘ２是ＡＲＭＡ（１，１，１）模型，预测模型如下：
觑＝０．３５８＋０．７５２ｘｔ—ｌ十ｅｔ＋２．１６０ｅｔ一１
Ｘ３的残差是ＡＲＭＡ（１，１，２）模型，预测模型如下：
Ｘｔ＝０．１２０—０．５５１ｘ￡一１＋０．４６３ｅｔ—ｌ＋３．１７９ｅｔ一２
根据各自变量的预测模型，计算出各自变量未来年份的预测值，并将计算结果代入３．３节中改进的偏最小二乘回归方程组，即得到未来工业总产值的预测值：
浙江大学硕士学位论文
２００８
４３２５．１５
４２７．７５２００９４８５９．２１６４１．５２２０１０４４２２．４１６３７８１．２２２０１１５３０４．２０９１８２２．３１２０１２５０９０．３３７７９３１．２９ｙｙｌ软
从预测结果看出，农民家庭平均每人纯收入与粮食产量都有明显的逐年增大趋势。
§３．５结果分析
有以上各步的计算结果可知：随着经济的发展，农民生活水平的提高，食品消费占
总消费支出的比重越来越低。随着城市化进程的加剧，乡村人口占总人口的比例有所下降，从事第一产业的人员减少。但是，在农业科技的推动，粮食产量却大幅增加，农民平均每人每年的纯收入逐年增加。这说明，随着社会的发展，城市扩张，城市人口不断地增加，人民的生活水平也相应地提高了。
参考文献
【１】Ｊｅａｎ－ＰｉｅｒｒｅＧａｕｃｈｉ，ＰｉｅｒｒｅＣｈａｇｎｏｎ．Ｃｍｏｐａｒｉｓｏｎｏｆｓｅｌｅｃｔｉｏｎｍｅｔｈｏｄｓｏｆｅｘｐｌａｎａ・
ｔｏｒｙｖａｒｉａｂｌｅｓｉｎｐｌｓｒｅｇｒｅｓｓｉｏｎｗｉｔｈａｐｐｌｉｃａｔｉｏｎｔｏｍａｎｕｆａｃｔｕｒｉｏｎｇｐｒｏｃｅｓｓｄａｔａ．／／／，ｃｈｅｍｏｍｅｔｒｉｃｓａｎｄｉｎｔｅｌｌｉｇｅｎｔｌａｂｏｒａｔｏｒｙｓｙｓｔｅｍｓ５８（２００１），１７１—１９３．
【２】２ＭａｇｎｅＡｌｄｒｉｎ．Ｌｅｎｇｔｈｍｏｄｉｆｉｅｄｒｅｄｇｅｒｅｇｒｅｓｓｉｏｎ，［Ｊ］，ＣｏｍｐｕｔｉｏｎａｌＳｔａｔｉｓｔｉｃｓＤａｔａ
Ａｎａｌｙｓｉｓ２５（１９９７），３７７—３９８．
【３】ＢａｉｌｉｎｇＬｉＪｕｌｉａｎ
【４】４Ｍｏｒｒｉｓ，ＥｌａｉｎｅＢ．Ｍａｒｔｉｎ．Ｍｏｄｅｌｓｅｌｅｃｔｉｏｎｆｏｒｐａｒ玉－ｉａｌｌｅａｓｔｓｑｕａｒｅｓ．肌＠绷。ｍ咖勰口玎ｄ触ｄｚ堙．肌砌的ｍ幻叫垆纪优昭，垂鸯蕊ｉ）霹§静ＡｇｎａｒＨｏｓｋｕｌｄｓｓｏｎ．ＶａｒｉａｂｌｅａｎｄｓｕｂｓｅｔｓｅｌｅｃｔｉｏｎｉｎＰＬＳｒｅｇｒｅｓ－
ｓｉｏ础１１，Ｃｈｅｍｏｍｅｔｒｉｃｓａｎｄｉｎｔｅｌｌｉｇｅｎｔｌａｂｏｒａｔｏｒｙｓｙｓｔｅｍｓ，５５（２００１），２３—３８．
ｆａｃｔｏｒｆｏｒｐａｒｔｉａｌｌｅａｓｔ【５】ＮｉｃｋｅｙＪ．Ｍｅｓｓｉｃｋ，ＪｏｈｎＨ．Ｋａｌｉｖａｓ，ＰａｔｒｉｃｋＭ．Ｌａｎｇ．Ｓｅｌｅｃｔｉｏｎ
ｓｑｕａｒｅｓ，１］ｌＭｉｃｒｏｃｈｅｍｉｃａｌ．Ｊｏｕｒｎａｌ，５５（１９９７）ｆ２００－２０７．
【６】何书元．应用时间序列分析ｆＭＪ，北京，北京大学出版社（２００３）．
【７】王惠文．偏最小二乘回归方法及其应．ｆＭＪ，北京，国防工业出版社，（１９９９）．
【８】高惠璇，应用多元统计分析．ｆ｜Ｍ＿７，北京，北京大学出版社，（２００５），１３０—１７１．
【９】９李天生等，用双重筛选逐步回归法对广西钦州县松毛虫发生进行分析与预测，ｆ玎．林业
科学，３（１９８５），２４７－２５１．
１０】方开泰，实用多元统计分析，ＩＭＩ上海，华东师范大学出版社（１９８９）．
１２１】高慧璇，ＳＡＳ系统一ＳＡＳ／ＳＴＡＴ软件使用手册，［Ｍ１北京，中国统计出版社（１９９７）．１２】冯力天，中国人口生活质量再研究，册高等教育出版社，（１９９６）．
１３】张恒喜，郭基联，朱家元，虞健飞小样本多元数据分析方法及应用，ｆＭＪ西安，西北工业大
学出版社（２００２）．
１４】Ｇｅｏｒｇｅ
１５】ＷｏｌｄＥ．ＰＢｏｘａｎｄＧｗｉｌｙｍＭ．Ｊｅｎｋｉｎｓ，ＴｉｍｅＳｅｒｉｅｓＡｎａｌｙｓｉｓ：Ｆｏｒｅｃａｓｔｉｎｇａｎｄｃｏｎ－ｔｒｏｌ，ｆ『Ｊ中国统计出版社，（１９９７）．Ｓ，ＲｕｈｅＡ，ＷｏｌｄＨ，ＤｕｎｎＷＪ．１１１ｅｃｏｌｌｉｎｅａｒｉｔｙｐｒｏｂｌｅｍｉｎｌｉｎｅａｒｒｅｇｒｅｓｓｉｏｎ，ｔｈｅ
Ｓｔａｔｉｓｔｉｃｓｐａｒｔｉａｌｌｅａｓｔｓｑｕａｒｅｓ（ＰＬＳ）ａｐｐｒｏａｃｈｔｏｇｅｎｅｒａｌｉｚｅｄｉｎｖｅｒｓｅｓｍｒ】ｏｕｒｎａｌｏｆ
Ｃｏｍｐｕｔａｔｉｏｎ，５（１９８４），７３５．７４３．
偏最小二乘回归的研究
作者：
学位授予单位：宋高阳浙江大学理学院
本文读者也读过(3条)
1. 丁磊 偏最小二乘回归算法改进及应用[学位论文]2007
2. 孙彩云 偏最小二乘回归模型的改进研究[学位论文]2009
3. 谢小韦 多元线性模型中偏最小二乘回归的分析研究[学位论文]2008
本文链接：http://d.g.wanfangdata.com.cn/Thesis_Y1639397.aspx