广义逆矩阵及其应用

第七章

广义逆矩阵及其应用

广义逆矩阵是通常逆矩阵的推广，这种推广的必要性，首先是从线性方程组的求解问题出发的，设有线性方程组

Ax=b （0 — 1）

当A是ｎ阶方阵，且detA≠0时，则方程组（０－１）的解存在、唯一，并可写成

x=Ab （0 — 2）

但是，在许多实际问题中所遇到的矩阵A往往是奇异方阵或是任意的m×n矩阵（一般m≠n），显然不存在通常的逆矩阵A，这就促使人们去想象能否推广逆的概念，引进某种具有普通逆矩阵类似性质的矩阵G，使得其解仍可以表示为类似于式（0—2）的紧凑形式？即

x=Gb （0 — 3）

1920年摩尔（E. H. Moore）首先引进了广义逆矩阵这一概念，其后三十年未能引起人们重视，直到1955年，彭诺斯（R. Penrose）以更明确的形式给出了Moore的广义逆矩阵的定义之后，广义逆矩阵的研究才进入了一个新的时期，由于广义逆矩阵在数理统计、系统理论、最优化理论、现代控制理论等许多领域中的重要应用为人们所认识，因而大大推动了对广义逆矩阵的研究，使得这一学科得到迅速的发展，已成为矩阵的一个重要分支。

本章着重介绍几种常用的广义逆矩阵及其在解线性方程组中的应用。

§1 矩阵的几种广义逆 1．1

1955年，彭诺斯（Penrose）指出，对任意复数矩阵Amxn，如果存在复矩阵Anxm，满足

广义逆矩阵的基本概念

−1

AXA=A （1—1） XAX=X （1—2） (AX)H=AX （1—3） (XA)H=XA （1—4）

则称X为A的一个Moore—Penrose广义逆，并把上面四个方程叫做Moore—Penrose方程，简称M—P方程。

由于M—P的四个方程都各有一定的解释，并且应用起来各有方便之处，所以出于不同的目的，常常考虑满足部分方程的X，叫做弱逆。为引用的方便，我们给出如下的广义逆矩阵的定义。

定义1—1 设A∈C

mxn

，若有某个X∈C

mxn

，满足M—P方程（1—1）～（1—4）中的全部

或其中的一部分，则称X为A的广义逆矩阵。

例如有某个X，只要满足式（1—1），则X为A的{1}广义逆，记为X∈A{1}；如果另一个Y满足式（1—1）、（1—2），则Y为A的{1，2}广义逆，记为Y∈A{1,2}；如果X∈A{1,2,3,4}，则X同时满足四个方程，它就是Moore—Penrose广义逆，等等。总之，按照定义1—1可推得，满足1个、2个、3个、4个Moore—Penrose方程的广义逆矩阵共有C4+C4+C4+C4=15种，但应用较多的是以下五种

A{1},A{1,2},A{1,3},A{1,4},A{1,2,3,4}

以后将会看到，只有A{1,2,3,4}是唯一确定的，其它各种广义逆矩阵都不能唯一确定，每一种广义逆矩阵又都包含着一类矩阵，分述如下；

1．A{1}：其中任意一个确定的广义逆，称作减号逆，或g逆，记为A；

—

1234

2．A{1，2}：其中任意一个确定的广义逆，称作自反广义逆，记为Ar； 3．A{1，3}：其中任意一个确定的广义逆，称作最小范数广义逆，记为Am； 4．A{1，4}：其中任意一个确定的广义逆，称作最小二乘广义逆，记为Ai； 5．A{1，2，3，4}：唯一，称作加号逆，或伪逆，或Moore-Penrose逆，记为A+。

为叙述简单起见，下面我们以Rn及实矩阵为例进行讨论，对于Cn及复的矩阵也有相应结果。

1．2 减号逆A–

（m≤n，当m＞n时，可讨论AT）。若有一个n×m实矩阵（记定义1—2 设有m×n实矩阵A

为A）存在，使下式成立，则称A为A的减号逆或g逆：

–

= A （1 — 5） A A A

–

当A得

–1

存在时，显然A

–1

满足上式，可见减号逆A是普通逆矩阵A

––1

的推广；另外，由A A A = A

–

（A A A ）T = AT

–

即

AT（A）T AT = AT

–

（A）T就是AT的一个减号逆。可见，当A为A的一个减号逆时，

–

10

100100例1—1 设A=10,B=,C=001，易知 01010

ABA=B， ACA=A 故B与C均为A的减号逆。

Ir

例1—2 若 A=

0

证因为对任意的

00**

Ir

m×n 则 A=

*

−**

n×m

，其中*是任意的实数。

Ir

*

m×n

n×m

，都有

所以

Ir000Ir

***

n×m

Ir

000

m×n=

Ir

000

m×n

A=

Ir

***

n×m

X1

反之，任意的X=

X3X2X4

n×m，若满足

Ir

0

必须有X1=Ir，即X为

0X1

0X3X2Ir

X400Ir

=000

0

Ir

*Ir0

*

的形状证毕 *

0

的减号逆存在，而且不是唯一的，填一些数到*位置，就是一个0

例1—2表明，标准形

减号逆，填不同数，就得到不同减号逆。

下面我们讨论当A为非零矩阵时，如何用初等变换的方法来构造它的任意一个减号逆，即讨论A的存在性。

引理设Bm×n=Pm×mAm×nQn×n ，其中P，Q都是满秩方阵，如果已知B的减号逆为B，则矩阵A的减号逆

A=QBP （1—6）

证因为已知B是B的减号逆，所以有 B BB=B （PAQ）B（PAQ）=PAQ 由于P与Q非奇异，故有

A（Q BP）A=A 从而有

A= Q BP 证毕这个引理说明，两个等价的矩阵A，B（即满足B=PAQ），如果其中一个的减号逆可求出来，那么，另一个的减号逆也可以求出来。

定理1—1（存在性）任给m×n阶矩阵A，那么减号逆A一定存在，但不唯一。

－

－－－

－

证分两种情况，如果rank A=0即，A=0m×n，这时对任意的X∈R意n×m阶矩阵X都是零矩阵的减号逆。

mxn

，都有0X0=0，所以任

再设rank A=r＞0，那么存在m阶满秩矩阵P与n阶满秩矩阵Q，使得 PAQ=由例1—2知，存在

B=再由引理知，存在

−

Ir

00

=B∈Rm×n 0

Ir

**

,*为任意实数 *

Ir

A=Q

*

−

－

*P *

只要A非满秩，由于*的任意性，所以A非唯一。证毕.

例1—3 设A=

1−12－

，求A. 

223

解为要将A通过初等行与列变换,化为一个等价的标准形,我们在A的右边放上一个I2 ,在A的下方放上一个I3 ,当A变成Ir时,则I2就变成P,而I3就变成Q .

21010010

24−101301AC1+C2

C→→11−20I3+(−2)C1

3

0100

1001

0010001011

0−100100101−

C1+2C3C2+2C3

→−−−C→→−−−1+4C3



001010

144122

00101

01001−

(−1)r2

→−

001

 142

1−1

22I2

=100100

这就是说

10

0−1

−3−2−7

=100001A010142PAQ=[I2

0]=B

−3−2−7

10,Q=001P=0−1142

但标准形B的减号逆为

10

 B=01,*为任意实数 **

故得

10

 A=Q01P,*为任意实数 **

设有A∈R

mxn

，下面的定理给出了rank A与rank A之间的关系。

－

定理1—2 rank A≥rank（A A）≥rank A

证因为AA A=A，即（AA）A=A，所以有rank（AA）≥rank A ，故又因为rank A≥rank（A A）

rank A≥rank（A A）≥rank A 证毕这个定理说明，A的秩总不会小于A的秩，这从例1—2也可看出。

1．3 自反广义逆Ar

众所周知，对于普通的逆矩阵A，有(A)例如，由例1—1知

−1

−1−1

－

－－－

−

=A，但这一事实对于减号逆A一般不成立。

10 A=10,10

但

AAA=

−−

−

100

A−=

010

100−≠A 

100

即(A)≠A，为了使A与A能互为减号逆，我们不妨对前面定义的减号逆A加以限制，使A具有这种“自反”的性质。下面我们给出自反广义逆矩阵的定义。

定义1—3 对于一个m×n阶实矩阵A，使

AXA=A 及 XAX=X

同时成立的n×m阶实矩阵X，称为是A的一个自反广义逆，用Ar表示，即有 A Ar A=A 及其 Ar A Ar = Ar

显然，自反广义逆是减号逆的一个子集，此时，它满足自反性质(A)=A。

下面我们来构造自反广义逆的一种算法，我们先引进所谓“最大秩矩阵的右逆、左逆”的概念。

−−

一、最大秩矩阵的右逆和左逆

，如果存在一个n×m阶矩阵G，定义1—4 设A是行最大秩的m×n阶实矩阵（m≤n）当G右乘A后得到一个m×n阶单位阵I，即

AG=I （1—7）

则G叫做A的右逆，记作AR，这就是说，有

AAR=I （1—8）一般来说，右逆AR可用下面的方法来计算，因为AA是满秩的方阵，故有

(AA)(AA)=(AA)(AA)

比较式（1—8）和（1—9），可得

AR=A(AA) （1—10）

例1—4 设

试求其右逆

解易知rank A=2，即A是行最大秩矩阵，利用式（1—10）式，得

−1

T−1TTT−1

=I （1—9）

TT−1

12−1

A=

012−

01

1−1

AR=2−1(

0−1254

1 =621438

−1

1−1

22−10

−1)−12

定义1—5 设A是列最大秩的m×n实矩阵（m≥n），如果存在一个n×m阶矩阵G，当G左乘A后得到一个n×n阶单位阵，即

GA=I （1—11）

则G叫做A的左逆，记作AL，这就是说,有

ALA=I (1—12)

−1

同理可得计算AL的公式是

AL=(AA)

−1

T−1

AT （1—13）

−1

这里值得指出的是，对于行（或列）最大秩的m×n阶矩阵A, AR和AL是不可能同时存在的。显然，当且仅当m=n时，同时存在，并且就等于普通的逆矩阵A.

二、Ar的最大秩分解方法

如果A是行（或列）最大秩长方阵，则它由式（1—10）确定的右逆（或由式（1—13）确定的左逆）显然满足

AARA=A （或AALA=A） ARAAR=AR （或ALAAL=AL）这表明右逆AR（或左逆A:L）就是A的一个自反广义逆Ar. 在一个最大秩分解

A=BC

其中B为m×r阶列最大秩矩阵，C为r×n阶行最大秩矩阵，于是，由前面的讨论，B有左逆BL，C有右逆CR，那么求Ar有如下的定理。

定理1—3 设A=BC为矩阵A的最大秩分解，则A的自反广义逆的一般形式为

−1−1

Ar−=CRBL （1—14）

−1

−

−1

−

−1

−1−

其中BL为B的左逆，CR为C的右逆。证由于

AArA=BCCRBLBC=BC=A ArAAr=CRBLBCCRBL=CRBL=Ar 故Ar=CRBL是A的自反广义逆。

其次，设Ar是A的任一自反广义逆矩阵，则 AArA=A 即

−

−1

−

−1

−

−1

−1−1

BCArBC=BC

上式两端分别左乘以BL，右乘以CR，得CArB=Ir(r=rankA)。由此可见，CAr为B的左逆，记为BL；ArB为C的右逆，记为CR，于是 A=AAA=ABCA=C故式（1—14）是A的自反广义逆的一般形式。

当A为行（或列）最大秩矩阵时，它的最大秩分解写成 A=ImA （或A=AIn）

这样一来，式（1—14）实际上是给出了任何非零矩阵求自反广义逆的一种方法。例1—5 设

−r

~−1R

−

−1−1−−

−1−−1

~−1L

103



A=230

111

−

求A的一个自反广义逆Ar .

解因为rankA=2，所以由第四章§3中的方法对A作最大秩分解

12

12−1A=BC=21

−01211

由例1—4的结果，知

54

1 −1

CR=6214

38

再利用式（1—13）可得 BL=最后用式（1—14）得

−1

1−471

−74111

A1=CRBL

−−1−1

541−471

62=7−4115438

1998

1

=10348−154

44−1111

值得提出的是，由式（1—14）确定的自反广义逆Ar，并不唯一，这是因为用式（1—10）来计算右逆CR和用式（1—13）来计算左逆BL并非唯一。下面给出行（或列）最大秩矩阵计算其右逆（或左逆）的一般表达式。设A∈R

m×n−1

−1

−

，且rankA=m，则A的右逆的一般表达式是

−1

G=VA(AVA) （1—15）

其中V是使得等式rank(AVA)=rankA成立的任意阶方阵。

事实上，用A左乘（1-15）式两端，有

AG=AVAT(AVAT)−1

因此，有

AG=(AVA)(AVA)即G=VA(AVA)是A的右逆的一般表达式。

当取V=In时，式（1—15）就变成了式（1—10），所以由式（1—10）给出的AR=A(AA)只是A的所有右逆中的一个。

同理，可写出列最大秩矩阵A的左逆的一般表达式

G=(AUA)

−1

AT （1—16）

其中U是使关系rank(AUA)=rankA成立的任意的m阶方阵。

1．4 最小范数广义逆Am

定义1—6 设A∈R

m×n−

(m≤n)，如果有一个n×m阶矩阵X，满足

及

−

AXA=A(XA)T=XA （1—17）

则称X为A的一个最小范数广义逆，记为Am .

显然，最小范数广义逆是用条件(XA)=XA对减号逆A进行限制后所得出的一个子集。定理1—4 设A∈R

m×n

T−

(m≤n)，则

−

Am=A(AA) （1—18）为A的一个最小范数广义逆。

证因(AA)是一个减号逆，故有

AA(AA)AA=AA

设rankA=r，则按秩分解有A=BC,rankB=rankC=r,以A=BC代入上式，便得 (BC)(BC)(AA)(BC)(BC)=(BC)(BC) 即

−1

−

BCCTBT(AAT)−BCCTBT=BCCTBT

用B(BB)(CC)C右乘上式两端，得即

AA(AA)A=A

故A(AA)满足最小范数广义逆的第一个条件；其次它也满足第二个条件，因为有 (A(AA)·A)=A(AA)·A

故Am=A(AA)为A的一个最小范数广义逆。证毕

因为减号逆(AA)不是唯一的，所以最小范数广义逆Am也不是唯一的，实际上，式（1—18）给出了计算Am的一种方法。

最小范数广义逆具有下面的性质。

定理1—5 条件（1—17）与下面关系式等价

XAA=A （1—19）

事实上，对式（1—19）两端右乘X，得 XAAX

−

BC(CB)T(AAT)−BIrIrC=BIrIrC

=XTAT

XA(XA)=(XA) 对上式两端取转置，得

(XA)(XA)=XA TT

可见有

(XA)T=XA 代入式（1—19）得

(XA)T

=AT

即有

AXA=A

反之，我们可以由式（1—17）中第一个条件的左边的XA，得 XAAT

=AT

1．5 最小二乘广义逆A−

i 定义1—7 设A∈R

m×n(m≤n)，若有一个n×m阶矩阵X满足。

AXA=A

及(AX)T=AX

则称C不A的一个最小二乘广义逆，记为A−

i 显然，最小二乘广义逆也是减号逆的一个子集。定理1—6 设A∈R

m×n

(m≤n)，则

A−

−

i=(AA)·A 设A的一个最小二乘广义逆。证(AT

A)−

是一个减号逆，故有

A(AT

A)−

A=AT

设rankA=r,则按秩分解有A=BC,rankB=rankC=r,以A=BC代入上式，便得 (BC)T

(BC)(AT

A)−

(BC)T

(BC)=(BC)T

(BC)

1—20）（

CBBC(AA)CBBC=CBBC 用(CC)(BB=)C左乘上式两端，得即

BC(AA)(BC)BC=BC 或写成

A(AA)AA=A

故A(AA)A满足最小二乘广义逆。证毕因为减号逆(AA)不是唯一的，故最小二乘广义逆也不是唯一的。实际上，式（1—20）给出了计算Ai的一种方法。

1．6 加号逆A

前面我们对减号逆A加以不同的限制，得出减号逆的具有不同性质的子集，如自反广义逆Ar、最小范数广义逆Am、最小二乘广义逆Ai等，其实，还有一类更特殊也更为重要广义逆，这就是将要介绍的加号逆A，它的实质是在减号逆的条件AXA=A的基础上用上述所有条件同时加以限制，用这样的方式得出的子集A，不仅在应用上特别重要，而且有很多有趣的性质。定义1—8 设A∈R

m×n+

+−

−

−1

−

BIrIrC(ATA)−CTBTBC=BIrIrC

，若存在n×m阶矩阵X，它同时满足

1) AXAA ； 2）XAX=X ； 3）(AX)=AX 4）(XA)=XA 则称X为A的加号逆，或伪逆，或Moore-Penrose逆，记为A

从定义中可看出，加号逆必同时是减号逆、自反广义逆、最小范数广义逆和最小二乘广义逆。在四个条件中，X与A完全处于对称地位。因此A也是A的加号逆，即有 (A)=A

另外可见，加号逆很类似于通常的逆阵，因为通常的逆A也有下列四个类似的性质：

1、AAA=A ； 2、AAA3、AA

−1−1

−1

=A−1 ；

=I ； 4. A−1A=I

由定义1—8中的条件3）和4）还可看出，AA与AA都是对称矩阵。下面来看一个例子。例1—6 1．设0∈R2．设A=

m×n

，则0+=0∈Rm×n；

Ir

00+

是n阶方阵，则A=A； 0



O

λ+n

λ1λ1

,A+=3．设对角阵A=O

λn

其中

1

+

λi=,当λ≠0时 λi

0，当λ=0时

比如，2=

,(−)+=−3,0+=0,等等 23

证我们只要证明3），那么1），2）都是3）的直接推论，下证3），不失一般性，我们令

−1

λ1

Oλi−1

=LL=λi=0， B=



λ1,L,λi≠0;λi+1





。容易验证B满足定义1

0O

0

—8的四个条件，从而A=B 证毕定理 1—7 若A∈R

m×n

，且A=BC是最大秩分解，则

−1

X=C(CC)(BB)B （1—21）

是A的加号逆。

证

AXA=BCCT(CCT)−1(BTB)−1BTBC

=BC=A

XAX=CT(CCT)−1(BTB)−1BTBCCT(CCT)−1(BTB)−1BT

=CT(CCT)−1(BTB)−1BT=X(AX)T=[BCCT(CCT)−1(BTB)−1BT]T

=[B(BTB)−1BT]TB(BTB)−1BT=AX(XA)T=[CT(CCT)−1(BTB)−1(BTB)C]T

=[CT(CCT)−1C]T=CT(CCT)−1C=XA

这就表明式（1—21）是加号逆。证毕

这个定理不仅证明了加号逆的存在，而且也给出了求加号逆的具体方法。推论设A∈R

m×n

，rankA=r，则

1． r=n时（即A列满秩）

A=(AA)2． r=m时（即A行满秩）

A=A(AA) 这只要注意到A=AIn=ImA，即知。定理1—8 加号逆A是唯一的。

证设X与Y均是A的加号逆，于是同时有 AXA=A AYA=A 用Y右乘上面的第一次，再利用AY和AX的对称性，使得

−1

A+

AXAY=AY

AY=(AY)=(AXAY)=(AY)(AX)

=AY•AX=(AYA)X=AX

即

AY=AX 类似地，得

YA=XA 用Y左乘等式AY=AX，并利用上式，便得 YAY=YAX=XAX

但是

YAY=Y ， XAX=X

故最终得Y=X，这表明A是唯一的。证毕推论若A是n阶满秩方阵，即A存在，则

A=A=A （1—22）这是因为前面我们已直接验证A满足定义1—8的四个条件，再由A的唯一性即知式（1—22）成立。

换句话说，当A≠0时，这三种逆是统一的，且是唯一的，一般情况下，当A不存在时，A总是存在的，而A存在，但不唯一。下面我们来证明A的一些特殊性质。定理1—9

1.(A)=(A).

−1

+−1

−1+

++T

2.A+=(ATA)+AT=AT(AAT)+3.(AA)=A(A)

++T+

证 1、令X=(A)，下证X是A的加号逆。

ATXAT=AT(A+)TAT=(AA+A)T=AT

XAX=(A)A(A)=(AAAA)=(A)=X

+TT+T++T+T

(ATX)T=(AT(A+)T)T=A+A=(A+A)T=AT(A+)T=ATX

类似可证(XA)=XA.

2、 A=BC，则AA的最大秩分解可写成 AA=C(BBC). 于是利用式（1—21），有

(ATA)+=(BTCC)T(BTBCCTBTB)−1(CCT)−1C

=CT(BTB)(BTB)−1(CCT)−1(BTB)−1(CCT)−1C =CT(CCT)−1(BTB)−1(CCT)−1C

再利用式（1—21），得

(ATA)+AT=CT(CCT)−1(BTB)−1(CC)TC(CTBT)

=CT(CCT)−1(BTB)−1(CCT)−1(CCT)BT=C(CC)(BB)B=A+

−1T−1T

同样可证A(AA)=A.

3、(AA)=(AA)AA(AA)=A[A(AA)]=A(A). 证毕注意，对于同阶所逆矩阵A，B有(AB)

TT++

+T+TT++T++T+

−1

=B−1A−1.，定理1—9之3）表明对于特殊的矩阵A

和A，加号逆(AA)有类似的性质，但是一般说来，这个性质不成立，亦即 (AB)=BA.

例如，取A=不难验证

111110B，则==AB.,010o 00

1−110+−

A+=.,BB==0100

110

(AB)+=

210

但

BA=

1−11010+

()≠AB =

010000

下面将A的各种常用算法综述如下：

1．果A是满秩方阵，则显然A=A. 2．如果A是对角方阵，即

A=diag(d1,d2,L,dn) 其中对角线上元素d1,d2,L,dn都是实数，可以验证

A=(d1,d2,L,dn) （1—23）

3．如果A是行最大秩矩阵，则

A=A(AA). （1—24）

+−1

++++

−1

这里需要指出的是，n维非零行向量a=(a1,a2,L,an)可看作行最大秩的1×n.阶矩阵，因此行向量a的加号逆的表达式为

(aT)+=(aT)T[aT(aT)T]−1=a(aTa)−1=

aaTa

∑a

i=1

（1—25）

它是一个n维列向量。

4． A是列最大秩矩阵，则

A=(AA)

T+

−1

AT. （1—26）

同样，m维非零列向量β=(b1,b2,L,bn) 可以看作列最大秩m×n阶矩阵，因此列向量β的加号逆的表达式为

βTβT

（1—27） β=(ββ)β=T.=n

ββ2

−1

∑b

i=1

它是一个m维的行向量。

5．

果A∈R

m×n

，rankA=r

最大秩分解时，则

A=CB. （1—28）]

不难验证（见文献[2]）式（1—28）确定的A满足加号逆的四个条件。例1—9 设

11010

 A=01111 10110

求其加号逆A

解首先对A进行最大秩分解



100

A→010



001

21212

1−21 212

所以A的最大秩分解为



100

110

 A=BC=011010

101

001

由于

21212

1−21 212

B=B

+−1

1

21=2−12

−

21212

121− 212

而， C=C(CC)=C(CC)

+TT+TT−1

.，于是

2

03

3

00

4

11−=0−44

311443

−1134−

113311

−4211

42

11



12651

−126



01−43

41414

1

00+

C=1

21−2

010121202031102102

0341−4

23121+++

A=CB=−

216−16

6．设A∈R

m×n

的奇异值分解为A=UDV

.，其中U和V分别是m阶和n阶下交矩阵，而

0

=∑00

σ1O

D=

σ0

0

 0m×n

∑

其中

=diag(σ1,L,σr),r=rankA,σ1>0(i=1,L,r)是A的奇异值，则容易验证

A=VDU

. （1—29）

σ1−1

O+

D=

σ−10

满足加号逆的四个条件。事实上

0

−1

∑=00

0

 0

∑−1

AAA=AV

0

0TUA0

0∑00

0TV0

=U∑0=U∑0

0∑−1000TV0

∑−1

AAA=V

0∑−10T

UAV00

0T

U0

∑−1=V

00∑000∑−100∑0T=UV00

0∑00

0T+U=A00TIrV=V00

0T

V0

∑−1

AA=V

0I=(Vr

0

∑−10T

UA=V000TTT+

=VAA)()

0

∑−10T∑=AA=AVUU000

I0TT

=(UrU)=(AA+)T

00

0∑−100

0TIr

=UU000T

U0

∑−1

从而证明了加号逆A=VDU=V

0

0TU 0

§2 广义逆在解线性方程组中的应用

在这一节，我们将会看到广义逆理论能够把相容线性方程组的一般解、极小范数解以及不相容线性方程组的最小二乘解、极小范数最小二乘解（最佳逼近解）全部概括和统一起来，从而，以线性代数古典理论所不曾有的姿态解决了一般线性方程组的求解问题。

2．1 线性方程组的求解问题的提法

考虑非齐次线性方程组

AX=b （2—1）

其中A∈C

m×n

,b∈Cm给定，而X∈Cm为待定向量。

若rank(AMb)=rankA，则方程组（2—1）有解，或称方程组相容，否则，若rank(AMb)≠rankA，则方程组（2—1）无解，或称方程组不相容或矛盾方程组。关于线性方程组的求解问题，常见的有以下几种情形：

1．在相容时，若系数矩阵A∈C

m×n

,且非奇异（即detA≠0），则有唯一的解

−1

X=Ab （2—2）

但当A是奇异方阵或长方矩阵时，它的解不是唯一的，此时A不存在或无意义，那么我们自然会想到，这时是否也能用某个矩阵G把一般解（无穷多）表示成

X=Gb （2—3）

的形式呢？这个问题的回答是肯定的。我们将会发现A的减号逆A充当了这一角色。

2．如果方程组（2—1）相容，且其解有无穷多个，怎样求具有极小范数的解，即

其中

−1

min

AX=b

X （2—4）

•是欧氏范数。可以证明，满足该条件的解是唯一的，称之为极小范数解。

3．如果方程组（2—1）不相容，则不存在通常意义下的解，但在许多实际问题中，要求出这

样的解

其中

min

X∈C

AX−b （2—5）

•是欧氏范数。我们称这个问题为求矛盾方程组的最小二乘问题，相应的X称为矛盾方程

组的最小二乘解。

4．一般说来，矛盾方程组的最小二乘解是不唯一的，但在最小二乘解的集合中，具有极小范数的解。

minAX−b

X （2—6）

是唯一的，称之为极小范数最小二乘解，或最佳逼近解。

广义逆矩阵与线性方程组的求解有着极为密切的联系，利用前一节的减号逆A 最小范数广义逆Am、最小二乘广义逆Ai以及加号逆A可以给出上述诸问题的解。

2．2 相容方程组的通解与A

，不论系数矩阵A是方阵还是长方矩阵，是满秩的对于一个m×n阶相容的线性方程组（2—1）

还是降秩的，我们都有一个标准的求解方法，并且能把它的解表达成非常简洁的形式。下面用定理形式给出。

定理2—1 如果线性方程组（2—1）是相容的，A是A的任一个减号逆，则线性方程组（2—1）的一个特解可表示成

X=Ab （2—7）

而通解可以表示成

X=Ab+(I−AA)z （2—8）

其中z是与X同维的任意向量。

证因为AX=b相容，所以必有一个n维向量W，使

AW=b （2—9）

成立，又由于是A是A的一个减号逆，所以AAA=A，则有AAAW=AW，亦即AAb=b，由此得出。

X=Ab 是方程组（2—1）的一个特解。

其次，在式（2—8）两端左乘A，则有

−

AX=AAb+A(I−AA)Z=AAb

于A(Ab)=b，所以式（2—8）确定的X是方程组（2—1）的解，且当~x为任意一个解时，若令

−

−−−

Z=X−A−b，有

(I−A−A)Z=(I−A−A)(X−A−b)

=X−A−b−A−AX+A−AA−b

~−−−

=X−Ab−Ab+Ab~

=X−A−b

从而得

X=Ab+(I−AA)Z

这表明由式（2—8）确定的解是方程组（2—1）的通解。证毕

例2—1 求解



−−

x1+2x2−x3=1

（2—10）

−x2+2x3=2

解将方程组（2—10）写成矩阵形式 AX=b 其中

A=

12−11

b,= 

0−122

由于rank=Arank(AMb)=2，所以方程组（2—10）是相容的，现在只要求得A的一个减号就可以了。由例1—4知矩阵A的一个减号逆（即右逆）为

54

1−1=62A R

 1438

利用公式（2—8），我们可立即求得方程组（2—10）的通解：

−1−1

X=ARb+(I−ARA)Z

13+9z1−6z2−3z3

1=10−6z1+4z2+2z3

1419−13z1+2z2+z3

也即

1x=114(13+9z1−6z2−3z3)1x(10−6z1+4z2+2z3) =2

14

x3=1(19−3z1+2z2+z3)14

其中

z1

Z=z2为任意向量

z3

例2—2 求解线性方程组

x1+3x3=3



x1+3x2=0 （2—11） x+x+x=1

231

解将（2—11）改家矩阵方程形式

AX=b 其中

3103

,b=0  A=230

1111

由于rank=Arank(AMb)=2，故方程组（2—11）是相容的，在例1—5中，已求得A的一个减号逆

1998

1 A=−1034815444−1111

利用公式（2—8）立即得通解：

X=Ab+(I−AA)Z

−

3+9z1−6z2−3z31

zzz2642=−−++12314

13−3z1+2z2+z3

即

1x=114(3+9z1−6z2−3z3)1x(−2−6z1+4z2+2z3) =2

14

x3=1(13−3z1+2z2+z3)14

−

从上面两例子可以看出，用减号逆来表示相容方程组的通解X=Ab+(I−AA)Z是很方便的，这是线性方程组理论的一个重大发展。但是，如何在无穷多个解向量中求出一个长度最短的解向量？这便是下面要研究的极小范数解。

2．3 相容方程组的极小范数解与Am

定义2—1 对于相容的线性方程组AX=b，如果存在有与b无关的A的某些特殊减号逆G，便利Gb和其他的解相比较，具有最小范数，即

其中X是AX=b的解。•

−

≤X

（2—12）

是Euclid范数，则我们称X=Gb为极小范数，简记为LN解。

现在要问：相容方程组AX=b的极小范数解可以用什么样的广义逆表示？极小范数解是否唯一？

定理2—2 在相容线性方程组AX=b的一切解中具有极小范数解的充要条件是

X=Amb （2—13）

其中Am是A的最小范数广义逆。

证先证必要性。设G是A的减号逆，那末AX=b的一般解是Gb+(I−GA)Z，Z是任意向量，如果Gb具有最小范数，则对任意向量Z及一切与A相容的向量b，有

−

≤Gb+(I−GA)Z~

或等价地，对任意向量Z及任意解向量X，有

~GAX

≤GAX+(I−GA)Z

（2—14）

其中b=AX，不等式（2—14）意味着如下关系是成立的：

GAX,GAX

即

(~~

≤GAX+(I−GA)Z,GAX+(I−GA)Z

(

GAX,GAX≤+GAX+(I−GA)Z,GAX+(I−GA)Z 或

(

)(

)

~~~~~(GAX,GAX)≤(GAX,GAX)+2(GAX,(I−GA)Z+(I−GA)Z,(I−GA)Z)

也即

0≤((I−GA)Z,(I−GA)Z)+2X,(GA)(I−GA)Z

(~)

上式右边第一项是向量(I−GA)Z的范数的平方，恒大于等于零；第二项是任意解向量X与向量(GA)(I−GA)Z的内积，由于X，Z的任意性，显然上述不等式成立的充要条件是：

(GA)T(I−GA)Z=0，由此推出

(GA)=(GA)GA

两边转置得

GA=(GA)GA

可见有

(GA)=GA（即满足定义1—7第二个条件）

从而G=Am，说明极小范数解的形式是X=Amb，定理的必要性得证。

关于定理的充分性，只要将上面的过程倒推回去便可以完成。证毕定理2—3 相容的线性方程组X=Ab，具有唯一的极小范数解。

证设G1和G2是A的两个不同的最小范数广义逆，由等价的公式（1—19）应有 G1AA=A,所以

−−

G2AAT=AT

G1AAT=G2AATG1−G2AA=0

上式两边同时右乘以(G1−G2)得

G1−G2AA(G1−G2)=0

或

[(G1−G2)A][(G1−G2)A]=0 上式成立仅当(G1−G2)A=0才有可能，因此有

(G1−G2)AX=0(X为任意解向量）

又由于AX=b，所以有G1b=G2b.这说明，不同的最小范数广逆G1和G2，按X=Gb求得的极小范数解却是唯一的。证毕例2—3 求方程组AX=b的最小范数解，其中

12−11

A=,b=2

0−12

解由例1—4知，此矩阵A是行最大秩矩阵，因此AA是满秩方阵AA的广义逆(AA)所以由式（1—18）作出一个最小范数广义逆： Am=A(AA)=A(AA)

而这正是行最小秩矩阵的右逆，在例1—4中我们已经求得这个A的右逆为

−1

54

1 −−

AR=Am=6214

38

根据公式（2—13），我们可求得方程组的极小范数解

131−

X=Amb=10 （2—15）

1419

又在例2—1中求得这个方程组的一般解为

13+z1−6z2−3z3

1

X=10+6z1+4z2+2z314

19−13z1+2z2+z3

如果令z1=z2=0,z3=1，代入上式可得一特解

10

1

X=12 （2—16）

1420

分别对（2—15）、（2—16）式的X，求其范数：

与

XTX=

112+102+192= 1414

XTX=

2+122+202=644 1414

显然（2—15）中X的范数比式（2—16）中X的范数要小。

2．4 不相容方程组的最小二乘解与Ai

线性方程组理论告诉我们：不相容的线性方程组是没有解的。但是，有了广义逆矩阵这个工具，我们可以研究这类方程组的最优近似解的问题。定义2—2 对于不相容的线性方程组AX=b，如果有

−

AX−b

≤AX−b

（2—17）

则称X是方程组AX=b的最小二乘解，这是因为和任何其他近似解X相比较，X所导致的误差平

方和AX−b

是最小的。

定理 2—4 不相容方程组AX=b有最小二乘解的充要条件是 X=Aib 其中Ai是A的最小二乘广义逆。

证先证必要性，设G是一矩阵（不必是矩阵A的减号逆）。如果G b是不相容方程组AX=b的最小二乘解，于是有

上式右边可以改写成

−

AGb−b

≤AX−b

AX−b

=AGb−b+AX−AGb

=(AG−I)b+A(X−Gb)2

=(AG−I)b+AX

其中X=X−Gb，因此上述不等式可改写为

AGb−b

=(AG−I)b

≤(AG−I)b+AX

仿照定理2—2的证明过程可知，上述不等式成立的充要条件是 ((AG−I)b,AX)=(b,(AG−I)AX)=0 而上式等于零的充要条件又是(AG−I)A=0，也即

AAG=A （2—18）

式（2—18）两边同时右乘以A，得AAGA=AA，所以有AGA=A：另外，在式（2—18）两边同时左乘以G，得GAAG=GA 或

(AG)AG=(AG) 两边取转置，并比较等式两边可得

(AG)=AG

由最小二乘广义逆的定义知：G=Ai，这说明不相容方程组AX=b的最小二乘解的形式是

−

X=Ai−b，定理必要性得证。

关于定理的充分性，同学们可以自己完成。证毕

ˆ导致的误差平方和（即在最小二乘意必须注意，矛盾方程组（不相容方程组）的最小二乘解Xˆ−b是唯一的，但是，最小二乘解可以不唯一。义下）AX

ˆ=Gb是一个最小二乘解，则矛盾方程组的最小乘解的一般表达式为设X

ˆ=Gb+(I−GA)Z （2—19） X

其中Z是任意向量。下面证明式（2—19）是最小二乘解。

事实上，因为Gb是最小二乘解，所以AGb−b2最小，但

A(Gb+(I−GA)Z)−b

=AGb−b

所以式（2—19）也是最小二乘解。

此外，利用定理1—6以及式（2—18），可以验证

G1=(AA)A （2—20）

和

G2=(AA)A+(I−(AA)AA)U （2—21）

也都是最小二乘广义逆，其中U是任意阵。

下面说明（2—21）是最小二乘广义逆的一般表达式，即说明任一最小二乘广义逆均可表示成（2—21）的形式。

事实上，设G是一个最小二乘广义逆，即满足式（2—18），那么只要在（2—21）的右边中令 U=G+(AA)AAV 于是有

−T

(ATA)−AT+(I−(ATA)−(ATA))•(G+(ATA)−ATAV)

=(ATA)−AT+G−(ATA)−ATAG+(I−(ATA)−ATA)(ATA)−ATAV=G+(AA)(A−AAG)+((AA)AA−(AA)AA(AA)AA)V

−TTT−TT−TT−T

这说明G已经写成（2—21）右边的形式了（这里利用了AAG=A和(AA)是(AA)的减号逆）。

例2—4 求矛盾方程组

x1+2x2=1



2x1+x2=0

x+x=0

21

的最小二乘解

解系数矩阵A和向量b为

112

,b=0  A=21

011

A为列最大秩矩阵，在例1—5中已求得

−

=(ATA)−1ATAL

1−471− ==Ai117−41

于是，最小二乘解为

ˆ=A−b=A−bXLi

11−4711−4 0==117−411170

ˆ=7,X21111亦即 ˆ=−4 X1

在最小二乘曲线拟合和多元线性回归分析中常常要计算矛盾方程组的最小二乘解。广义逆矩阵的理论使得求矛盾方程组最小二乘解的方法简单化、标准化了。整个求解的关键在于求出A的最小二乘广义逆Ai，而用不着先求误差平方和，再利用极值条件，最后求解一个新的方程组等一系列繁琐的步骤。

2．5 加号逆A的应用

由于加号逆既是减号逆又是最小范数逆、最小二乘逆，故对于方程组AX=b，不论其是否有

：解，均可用加号逆A来讨论（设Z是任意n维向量）

1．AX=b相容时

++−X=A+b+(I−A+A)Z是通解

X=A+b是极小范数解

2．AX=b不相容时

X=A+b是最小二乘解 X=A+b+(I−A+A)Z是最小二乘解的通解

=A+b不但是最3．在下面的定理中，我们将要证明对于矛盾方程组AX=b（即不相容），X

小二乘解，而且是具有极小范数的最小二乘解，或最佳逼近解，简记为LNLS解。

定理2—5 矛盾方程组AX=b的极小范数最小二乘解（即最佳逼近解）为

X=A+b （2—22）证由式（2—21）式我们已经证明了矛盾方程组的最小二乘解的一般表达式为

Gb+(I−GA)Z

其中Z是任意n维向量，G是最小二乘广义逆，且满足

AGA=A,(AG)T=AG

进一步设Gb是极小范数最小二乘解，则对任意向量b和Z应成立不等式

Gb2≤Gb+(I−GA)Z2

仿定理2—2的证明过程知，上式成立的充要条件是

(Gb,+(I−GA)Z)=(b,GT(I−GA)Z)=0

而保证上式成立的充要条件是

GT(I−GA)=0,或GT=GTGA

T仿照式（1—17）式（1—19）等价的证明方法，可证G

由此可见，X)T=GA等价，=GTGA与GAG=G,(GA=A+b是极小范数最小二乘解。证毕

例2—4 设有矛盾方程组AX=b，其中

00 A=10

试求极小范数最小二乘解

解由例1—10知 00010100,b= 0001

0010+ A=00010000

由式（2—22），有极小范数最小二乘解

1001000+ X=Ab=0001=10010000

通过本段的讨论使我们体会到，如果能方便地求得系数矩阵A的加号逆A，则用它来表示相容或不相容线性方程组的解，是一种既简单又严谨的计算方法。 +

第七章

广义逆矩阵及其应用

广义逆矩阵是通常逆矩阵的推广，这种推广的必要性，首先是从线性方程组的求解问题出发的，设有线性方程组

Ax=b （0 — 1）

当A是ｎ阶方阵，且detA≠0时，则方程组（０－１）的解存在、唯一，并可写成

x=Ab （0 — 2）

x=Gb （0 — 3）

本章着重介绍几种常用的广义逆矩阵及其在解线性方程组中的应用。

§1 矩阵的几种广义逆 1．1

1955年，彭诺斯（Penrose）指出，对任意复数矩阵Amxn，如果存在复矩阵Anxm，满足

广义逆矩阵的基本概念

−1

AXA=A （1—1） XAX=X （1—2） (AX)H=AX （1—3） (XA)H=XA （1—4）

则称X为A的一个Moore—Penrose广义逆，并把上面四个方程叫做Moore—Penrose方程，简称M—P方程。

定义1—1 设A∈C

mxn

，若有某个X∈C

mxn

，满足M—P方程（1—1）～（1—4）中的全部

或其中的一部分，则称X为A的广义逆矩阵。

A{1},A{1,2},A{1,3},A{1,4},A{1,2,3,4}

以后将会看到，只有A{1,2,3,4}是唯一确定的，其它各种广义逆矩阵都不能唯一确定，每一种广义逆矩阵又都包含着一类矩阵，分述如下；

1．A{1}：其中任意一个确定的广义逆，称作减号逆，或g逆，记为A；

—

1234

为叙述简单起见，下面我们以Rn及实矩阵为例进行讨论，对于Cn及复的矩阵也有相应结果。

1．2 减号逆A–

（m≤n，当m＞n时，可讨论AT）。若有一个n×m实矩阵（记定义1—2 设有m×n实矩阵A

为A）存在，使下式成立，则称A为A的减号逆或g逆：

–

= A （1 — 5） A A A

–

当A得

–1

存在时，显然A

–1

满足上式，可见减号逆A是普通逆矩阵A

––1

的推广；另外，由A A A = A

–

（A A A ）T = AT

–

即

AT（A）T AT = AT

–

（A）T就是AT的一个减号逆。可见，当A为A的一个减号逆时，

–

10

100100例1—1 设A=10,B=,C=001，易知 01010

ABA=B， ACA=A 故B与C均为A的减号逆。

Ir

例1—2 若 A=

0

证因为对任意的

00**

Ir

m×n 则 A=

*

−**

n×m

，其中*是任意的实数。

Ir

*

m×n

n×m

，都有

所以

Ir000Ir

***

n×m

Ir

000

m×n=

Ir

000

m×n

A=

Ir

***

n×m

X1

反之，任意的X=

X3X2X4

n×m，若满足

Ir

0

必须有X1=Ir，即X为

0X1

0X3X2Ir

X400Ir

=000

0

Ir

*Ir0

*

的形状证毕 *

0

的减号逆存在，而且不是唯一的，填一些数到*位置，就是一个0

例1—2表明，标准形

减号逆，填不同数，就得到不同减号逆。

下面我们讨论当A为非零矩阵时，如何用初等变换的方法来构造它的任意一个减号逆，即讨论A的存在性。

引理设Bm×n=Pm×mAm×nQn×n ，其中P，Q都是满秩方阵，如果已知B的减号逆为B，则矩阵A的减号逆

A=QBP （1—6）

证因为已知B是B的减号逆，所以有 B BB=B （PAQ）B（PAQ）=PAQ 由于P与Q非奇异，故有

A（Q BP）A=A 从而有

A= Q BP 证毕这个引理说明，两个等价的矩阵A，B（即满足B=PAQ），如果其中一个的减号逆可求出来，那么，另一个的减号逆也可以求出来。

定理1—1（存在性）任给m×n阶矩阵A，那么减号逆A一定存在，但不唯一。

－

－－－

－

证分两种情况，如果rank A=0即，A=0m×n，这时对任意的X∈R意n×m阶矩阵X都是零矩阵的减号逆。

mxn

，都有0X0=0，所以任

再设rank A=r＞0，那么存在m阶满秩矩阵P与n阶满秩矩阵Q，使得 PAQ=由例1—2知，存在

B=再由引理知，存在

−

Ir

00

=B∈Rm×n 0

Ir

**

,*为任意实数 *

Ir

A=Q

*

−

－

*P *

只要A非满秩，由于*的任意性，所以A非唯一。证毕.

例1—3 设A=

1−12－

，求A. 

223

解为要将A通过初等行与列变换,化为一个等价的标准形,我们在A的右边放上一个I2 ,在A的下方放上一个I3 ,当A变成Ir时,则I2就变成P,而I3就变成Q .

21010010

24−101301AC1+C2

C→→11−20I3+(−2)C1

3

0100

1001

0010001011

0−100100101−

C1+2C3C2+2C3

→−−−C→→−−−1+4C3



001010

144122

00101

01001−

(−1)r2

→−

001

 142

1−1

22I2

=100100

这就是说

10

0−1

−3−2−7

=100001A010142PAQ=[I2

0]=B

−3−2−7

10,Q=001P=0−1142

但标准形B的减号逆为

10

 B=01,*为任意实数 **

故得

10

 A=Q01P,*为任意实数 **

设有A∈R

mxn

，下面的定理给出了rank A与rank A之间的关系。

－

定理1—2 rank A≥rank（A A）≥rank A

证因为AA A=A，即（AA）A=A，所以有rank（AA）≥rank A ，故又因为rank A≥rank（A A）

rank A≥rank（A A）≥rank A 证毕这个定理说明，A的秩总不会小于A的秩，这从例1—2也可看出。

1．3 自反广义逆Ar

众所周知，对于普通的逆矩阵A，有(A)例如，由例1—1知

−1

−1−1

－

－－－

−

=A，但这一事实对于减号逆A一般不成立。

10 A=10,10

但

AAA=

−−

−

100

A−=

010

100−≠A 

100

即(A)≠A，为了使A与A能互为减号逆，我们不妨对前面定义的减号逆A加以限制，使A具有这种“自反”的性质。下面我们给出自反广义逆矩阵的定义。

定义1—3 对于一个m×n阶实矩阵A，使

AXA=A 及 XAX=X

同时成立的n×m阶实矩阵X，称为是A的一个自反广义逆，用Ar表示，即有 A Ar A=A 及其 Ar A Ar = Ar

显然，自反广义逆是减号逆的一个子集，此时，它满足自反性质(A)=A。

下面我们来构造自反广义逆的一种算法，我们先引进所谓“最大秩矩阵的右逆、左逆”的概念。

−−

一、最大秩矩阵的右逆和左逆

，如果存在一个n×m阶矩阵G，定义1—4 设A是行最大秩的m×n阶实矩阵（m≤n）当G右乘A后得到一个m×n阶单位阵I，即

AG=I （1—7）

则G叫做A的右逆，记作AR，这就是说，有

AAR=I （1—8）一般来说，右逆AR可用下面的方法来计算，因为AA是满秩的方阵，故有

(AA)(AA)=(AA)(AA)

比较式（1—8）和（1—9），可得

AR=A(AA) （1—10）

例1—4 设

试求其右逆

解易知rank A=2，即A是行最大秩矩阵，利用式（1—10）式，得

−1

T−1TTT−1

=I （1—9）

TT−1

12−1

A=

012−

01

1−1

AR=2−1(

0−1254

1 =621438

−1

1−1

22−10

−1)−12

定义1—5 设A是列最大秩的m×n实矩阵（m≥n），如果存在一个n×m阶矩阵G，当G左乘A后得到一个n×n阶单位阵，即

GA=I （1—11）

则G叫做A的左逆，记作AL，这就是说,有

ALA=I (1—12)

−1

同理可得计算AL的公式是

AL=(AA)

−1

T−1

AT （1—13）

−1

这里值得指出的是，对于行（或列）最大秩的m×n阶矩阵A, AR和AL是不可能同时存在的。显然，当且仅当m=n时，同时存在，并且就等于普通的逆矩阵A.

二、Ar的最大秩分解方法

如果A是行（或列）最大秩长方阵，则它由式（1—10）确定的右逆（或由式（1—13）确定的左逆）显然满足

AARA=A （或AALA=A） ARAAR=AR （或ALAAL=AL）这表明右逆AR（或左逆A:L）就是A的一个自反广义逆Ar. 在一个最大秩分解

A=BC

其中B为m×r阶列最大秩矩阵，C为r×n阶行最大秩矩阵，于是，由前面的讨论，B有左逆BL，C有右逆CR，那么求Ar有如下的定理。

定理1—3 设A=BC为矩阵A的最大秩分解，则A的自反广义逆的一般形式为

−1−1

Ar−=CRBL （1—14）

−1

−

−1

−

−1

−1−

其中BL为B的左逆，CR为C的右逆。证由于

AArA=BCCRBLBC=BC=A ArAAr=CRBLBCCRBL=CRBL=Ar 故Ar=CRBL是A的自反广义逆。

其次，设Ar是A的任一自反广义逆矩阵，则 AArA=A 即

−

−1

−

−1

−

−1

−1−1

BCArBC=BC

当A为行（或列）最大秩矩阵时，它的最大秩分解写成 A=ImA （或A=AIn）

这样一来，式（1—14）实际上是给出了任何非零矩阵求自反广义逆的一种方法。例1—5 设

−r

~−1R

−

−1−1−−

−1−−1

~−1L

103



A=230

111

−

求A的一个自反广义逆Ar .

解因为rankA=2，所以由第四章§3中的方法对A作最大秩分解

12

12−1A=BC=21

−01211

由例1—4的结果，知

54

1 −1

CR=6214

38

再利用式（1—13）可得 BL=最后用式（1—14）得

−1

1−471

−74111

A1=CRBL

−−1−1

541−471

62=7−4115438

1998

1

=10348−154

44−1111

m×n−1

−1

−

，且rankA=m，则A的右逆的一般表达式是

−1

G=VA(AVA) （1—15）

其中V是使得等式rank(AVA)=rankA成立的任意阶方阵。

事实上，用A左乘（1-15）式两端，有

AG=AVAT(AVAT)−1

因此，有

AG=(AVA)(AVA)即G=VA(AVA)是A的右逆的一般表达式。

当取V=In时，式（1—15）就变成了式（1—10），所以由式（1—10）给出的AR=A(AA)只是A的所有右逆中的一个。

同理，可写出列最大秩矩阵A的左逆的一般表达式

G=(AUA)

−1

AT （1—16）

其中U是使关系rank(AUA)=rankA成立的任意的m阶方阵。

1．4 最小范数广义逆Am

定义1—6 设A∈R

m×n−

(m≤n)，如果有一个n×m阶矩阵X，满足

及

−

AXA=A(XA)T=XA （1—17）

则称X为A的一个最小范数广义逆，记为Am .

显然，最小范数广义逆是用条件(XA)=XA对减号逆A进行限制后所得出的一个子集。定理1—4 设A∈R

m×n

T−

(m≤n)，则

−

Am=A(AA) （1—18）为A的一个最小范数广义逆。

证因(AA)是一个减号逆，故有

AA(AA)AA=AA

设rankA=r，则按秩分解有A=BC,rankB=rankC=r,以A=BC代入上式，便得 (BC)(BC)(AA)(BC)(BC)=(BC)(BC) 即

−1

−

BCCTBT(AAT)−BCCTBT=BCCTBT

用B(BB)(CC)C右乘上式两端，得即

AA(AA)A=A

故A(AA)满足最小范数广义逆的第一个条件；其次它也满足第二个条件，因为有 (A(AA)·A)=A(AA)·A

故Am=A(AA)为A的一个最小范数广义逆。证毕

因为减号逆(AA)不是唯一的，所以最小范数广义逆Am也不是唯一的，实际上，式（1—18）给出了计算Am的一种方法。

最小范数广义逆具有下面的性质。

定理1—5 条件（1—17）与下面关系式等价

XAA=A （1—19）

事实上，对式（1—19）两端右乘X，得 XAAX

−

BC(CB)T(AAT)−BIrIrC=BIrIrC

=XTAT

XA(XA)=(XA) 对上式两端取转置，得

(XA)(XA)=XA TT

可见有

(XA)T=XA 代入式（1—19）得

(XA)T

=AT

即有

AXA=A

反之，我们可以由式（1—17）中第一个条件的左边的XA，得 XAAT

=AT

1．5 最小二乘广义逆A−

i 定义1—7 设A∈R

m×n(m≤n)，若有一个n×m阶矩阵X满足。

AXA=A

及(AX)T=AX

则称C不A的一个最小二乘广义逆，记为A−

i 显然，最小二乘广义逆也是减号逆的一个子集。定理1—6 设A∈R

m×n

(m≤n)，则

A−

−

i=(AA)·A 设A的一个最小二乘广义逆。证(AT

A)−

是一个减号逆，故有

A(AT

A)−

A=AT

设rankA=r,则按秩分解有A=BC,rankB=rankC=r,以A=BC代入上式，便得 (BC)T

(BC)(AT

A)−

(BC)T

(BC)=(BC)T

(BC)

1—20）（

CBBC(AA)CBBC=CBBC 用(CC)(BB=)C左乘上式两端，得即

BC(AA)(BC)BC=BC 或写成

A(AA)AA=A

故A(AA)A满足最小二乘广义逆。证毕因为减号逆(AA)不是唯一的，故最小二乘广义逆也不是唯一的。实际上，式（1—20）给出了计算Ai的一种方法。

1．6 加号逆A

m×n+

+−

−

−1

−

BIrIrC(ATA)−CTBTBC=BIrIrC

，若存在n×m阶矩阵X，它同时满足

1) AXAA ； 2）XAX=X ； 3）(AX)=AX 4）(XA)=XA 则称X为A的加号逆，或伪逆，或Moore-Penrose逆，记为A

另外可见，加号逆很类似于通常的逆阵，因为通常的逆A也有下列四个类似的性质：

1、AAA=A ； 2、AAA3、AA

−1−1

−1

=A−1 ；

=I ； 4. A−1A=I

由定义1—8中的条件3）和4）还可看出，AA与AA都是对称矩阵。下面来看一个例子。例1—6 1．设0∈R2．设A=

m×n

，则0+=0∈Rm×n；

Ir

00+

是n阶方阵，则A=A； 0



O

λ+n

λ1λ1

,A+=3．设对角阵A=O

λn

其中

1

+

λi=,当λ≠0时 λi

0，当λ=0时

比如，2=

,(−)+=−3,0+=0,等等 23

证我们只要证明3），那么1），2）都是3）的直接推论，下证3），不失一般性，我们令

−1

λ1

Oλi−1

=LL=λi=0， B=



λ1,L,λi≠0;λi+1





。容易验证B满足定义1

0O

0

—8的四个条件，从而A=B 证毕定理 1—7 若A∈R

m×n

，且A=BC是最大秩分解，则

−1

X=C(CC)(BB)B （1—21）

是A的加号逆。

证

AXA=BCCT(CCT)−1(BTB)−1BTBC

=BC=A

XAX=CT(CCT)−1(BTB)−1BTBCCT(CCT)−1(BTB)−1BT

=CT(CCT)−1(BTB)−1BT=X(AX)T=[BCCT(CCT)−1(BTB)−1BT]T

=[B(BTB)−1BT]TB(BTB)−1BT=AX(XA)T=[CT(CCT)−1(BTB)−1(BTB)C]T

=[CT(CCT)−1C]T=CT(CCT)−1C=XA

这就表明式（1—21）是加号逆。证毕

这个定理不仅证明了加号逆的存在，而且也给出了求加号逆的具体方法。推论设A∈R

m×n

，rankA=r，则

1． r=n时（即A列满秩）

A=(AA)2． r=m时（即A行满秩）

A=A(AA) 这只要注意到A=AIn=ImA，即知。定理1—8 加号逆A是唯一的。

证设X与Y均是A的加号逆，于是同时有 AXA=A AYA=A 用Y右乘上面的第一次，再利用AY和AX的对称性，使得

−1

A+

AXAY=AY

AY=(AY)=(AXAY)=(AY)(AX)

=AY•AX=(AYA)X=AX

即

AY=AX 类似地，得

YA=XA 用Y左乘等式AY=AX，并利用上式，便得 YAY=YAX=XAX

但是

YAY=Y ， XAX=X

故最终得Y=X，这表明A是唯一的。证毕推论若A是n阶满秩方阵，即A存在，则

A=A=A （1—22）这是因为前面我们已直接验证A满足定义1—8的四个条件，再由A的唯一性即知式（1—22）成立。

1.(A)=(A).

−1

+−1

−1+

++T

2.A+=(ATA)+AT=AT(AAT)+3.(AA)=A(A)

++T+

证 1、令X=(A)，下证X是A的加号逆。

ATXAT=AT(A+)TAT=(AA+A)T=AT

XAX=(A)A(A)=(AAAA)=(A)=X

+TT+T++T+T

(ATX)T=(AT(A+)T)T=A+A=(A+A)T=AT(A+)T=ATX

类似可证(XA)=XA.

2、 A=BC，则AA的最大秩分解可写成 AA=C(BBC). 于是利用式（1—21），有

(ATA)+=(BTCC)T(BTBCCTBTB)−1(CCT)−1C

=CT(BTB)(BTB)−1(CCT)−1(BTB)−1(CCT)−1C =CT(CCT)−1(BTB)−1(CCT)−1C

再利用式（1—21），得

(ATA)+AT=CT(CCT)−1(BTB)−1(CC)TC(CTBT)

=CT(CCT)−1(BTB)−1(CCT)−1(CCT)BT=C(CC)(BB)B=A+

−1T−1T

同样可证A(AA)=A.

3、(AA)=(AA)AA(AA)=A[A(AA)]=A(A). 证毕注意，对于同阶所逆矩阵A，B有(AB)

TT++

+T+TT++T++T+

−1

=B−1A−1.，定理1—9之3）表明对于特殊的矩阵A

和A，加号逆(AA)有类似的性质，但是一般说来，这个性质不成立，亦即 (AB)=BA.

例如，取A=不难验证

111110B，则==AB.,010o 00

1−110+−

A+=.,BB==0100

110

(AB)+=

210

但

BA=

1−11010+

()≠AB =

010000

下面将A的各种常用算法综述如下：

1．果A是满秩方阵，则显然A=A. 2．如果A是对角方阵，即

A=diag(d1,d2,L,dn) 其中对角线上元素d1,d2,L,dn都是实数，可以验证

A=(d1,d2,L,dn) （1—23）

3．如果A是行最大秩矩阵，则

A=A(AA). （1—24）

+−1

++++

−1

这里需要指出的是，n维非零行向量a=(a1,a2,L,an)可看作行最大秩的1×n.阶矩阵，因此行向量a的加号逆的表达式为

(aT)+=(aT)T[aT(aT)T]−1=a(aTa)−1=

aaTa

∑a

i=1

（1—25）

它是一个n维列向量。

4． A是列最大秩矩阵，则

A=(AA)

T+

−1

AT. （1—26）

同样，m维非零列向量β=(b1,b2,L,bn) 可以看作列最大秩m×n阶矩阵，因此列向量β的加号逆的表达式为

βTβT

（1—27） β=(ββ)β=T.=n

ββ2

−1

∑b

i=1

它是一个m维的行向量。

5．

果A∈R

m×n

，rankA=r

最大秩分解时，则

A=CB. （1—28）]

不难验证（见文献[2]）式（1—28）确定的A满足加号逆的四个条件。例1—9 设

11010

 A=01111 10110

求其加号逆A

解首先对A进行最大秩分解



100

A→010



001

21212

1−21 212

所以A的最大秩分解为



100

110

 A=BC=011010

101

001

由于

21212

1−21 212

B=B

+−1

1

21=2−12

−

21212

121− 212

而， C=C(CC)=C(CC)

+TT+TT−1

.，于是

2

03

3

00

4

11−=0−44

311443

−1134−

113311

−4211

42

11



12651

−126



01−43

41414

1

00+

C=1

21−2

010121202031102102

0341−4

23121+++

A=CB=−

216−16

6．设A∈R

m×n

的奇异值分解为A=UDV

.，其中U和V分别是m阶和n阶下交矩阵，而

0

=∑00

σ1O

D=

σ0

0

 0m×n

∑

其中

=diag(σ1,L,σr),r=rankA,σ1>0(i=1,L,r)是A的奇异值，则容易验证

A=VDU

. （1—29）

σ1−1

O+

D=

σ−10

满足加号逆的四个条件。事实上

0

−1

∑=00

0

 0

∑−1

AAA=AV

0

0TUA0

0∑00

0TV0

=U∑0=U∑0

0∑−1000TV0

∑−1

AAA=V

0∑−10T

UAV00

0T

U0

∑−1=V

00∑000∑−100∑0T=UV00

0∑00

0T+U=A00TIrV=V00

0T

V0

∑−1

AA=V

0I=(Vr

0

∑−10T

UA=V000TTT+

=VAA)()

0

∑−10T∑=AA=AVUU000

I0TT

=(UrU)=(AA+)T

00

0∑−100

0TIr

=UU000T

U0

∑−1

从而证明了加号逆A=VDU=V

0

0TU 0

§2 广义逆在解线性方程组中的应用

2．1 线性方程组的求解问题的提法

考虑非齐次线性方程组

AX=b （2—1）

其中A∈C

m×n

,b∈Cm给定，而X∈Cm为待定向量。

1．在相容时，若系数矩阵A∈C

m×n

,且非奇异（即detA≠0），则有唯一的解

−1

X=Ab （2—2）

但当A是奇异方阵或长方矩阵时，它的解不是唯一的，此时A不存在或无意义，那么我们自然会想到，这时是否也能用某个矩阵G把一般解（无穷多）表示成

X=Gb （2—3）

的形式呢？这个问题的回答是肯定的。我们将会发现A的减号逆A充当了这一角色。

2．如果方程组（2—1）相容，且其解有无穷多个，怎样求具有极小范数的解，即

其中

−1

min

AX=b

X （2—4）

•是欧氏范数。可以证明，满足该条件的解是唯一的，称之为极小范数解。

3．如果方程组（2—1）不相容，则不存在通常意义下的解，但在许多实际问题中，要求出这

样的解

其中

min

X∈C

AX−b （2—5）

•是欧氏范数。我们称这个问题为求矛盾方程组的最小二乘问题，相应的X称为矛盾方程

组的最小二乘解。

4．一般说来，矛盾方程组的最小二乘解是不唯一的，但在最小二乘解的集合中，具有极小范数的解。

minAX−b

X （2—6）

是唯一的，称之为极小范数最小二乘解，或最佳逼近解。

2．2 相容方程组的通解与A

，不论系数矩阵A是方阵还是长方矩阵，是满秩的对于一个m×n阶相容的线性方程组（2—1）

还是降秩的，我们都有一个标准的求解方法，并且能把它的解表达成非常简洁的形式。下面用定理形式给出。

定理2—1 如果线性方程组（2—1）是相容的，A是A的任一个减号逆，则线性方程组（2—1）的一个特解可表示成

X=Ab （2—7）

而通解可以表示成

X=Ab+(I−AA)z （2—8）

其中z是与X同维的任意向量。

证因为AX=b相容，所以必有一个n维向量W，使

AW=b （2—9）

成立，又由于是A是A的一个减号逆，所以AAA=A，则有AAAW=AW，亦即AAb=b，由此得出。

X=Ab 是方程组（2—1）的一个特解。

其次，在式（2—8）两端左乘A，则有

−

AX=AAb+A(I−AA)Z=AAb

于A(Ab)=b，所以式（2—8）确定的X是方程组（2—1）的解，且当~x为任意一个解时，若令

−

−−−

Z=X−A−b，有

(I−A−A)Z=(I−A−A)(X−A−b)

=X−A−b−A−AX+A−AA−b

~−−−

=X−Ab−Ab+Ab~

=X−A−b

从而得

X=Ab+(I−AA)Z

这表明由式（2—8）确定的解是方程组（2—1）的通解。证毕

例2—1 求解



−−

x1+2x2−x3=1

（2—10）

−x2+2x3=2

解将方程组（2—10）写成矩阵形式 AX=b 其中

A=

12−11

b,= 

0−122

由于rank=Arank(AMb)=2，所以方程组（2—10）是相容的，现在只要求得A的一个减号就可以了。由例1—4知矩阵A的一个减号逆（即右逆）为

54

1−1=62A R

 1438

利用公式（2—8），我们可立即求得方程组（2—10）的通解：

−1−1

X=ARb+(I−ARA)Z

13+9z1−6z2−3z3

1=10−6z1+4z2+2z3

1419−13z1+2z2+z3

也即

1x=114(13+9z1−6z2−3z3)1x(10−6z1+4z2+2z3) =2

14

x3=1(19−3z1+2z2+z3)14

其中

z1

Z=z2为任意向量

z3

例2—2 求解线性方程组

x1+3x3=3



x1+3x2=0 （2—11） x+x+x=1

231

解将（2—11）改家矩阵方程形式

AX=b 其中

3103

,b=0  A=230

1111

由于rank=Arank(AMb)=2，故方程组（2—11）是相容的，在例1—5中，已求得A的一个减号逆

1998

1 A=−1034815444−1111

利用公式（2—8）立即得通解：

X=Ab+(I−AA)Z

−

3+9z1−6z2−3z31

zzz2642=−−++12314

13−3z1+2z2+z3

即

1x=114(3+9z1−6z2−3z3)1x(−2−6z1+4z2+2z3) =2

14

x3=1(13−3z1+2z2+z3)14

−

2．3 相容方程组的极小范数解与Am

定义2—1 对于相容的线性方程组AX=b，如果存在有与b无关的A的某些特殊减号逆G，便利Gb和其他的解相比较，具有最小范数，即

其中X是AX=b的解。•

−

≤X

（2—12）

是Euclid范数，则我们称X=Gb为极小范数，简记为LN解。

现在要问：相容方程组AX=b的极小范数解可以用什么样的广义逆表示？极小范数解是否唯一？

定理2—2 在相容线性方程组AX=b的一切解中具有极小范数解的充要条件是

X=Amb （2—13）

其中Am是A的最小范数广义逆。

证先证必要性。设G是A的减号逆，那末AX=b的一般解是Gb+(I−GA)Z，Z是任意向量，如果Gb具有最小范数，则对任意向量Z及一切与A相容的向量b，有

−

≤Gb+(I−GA)Z~

或等价地，对任意向量Z及任意解向量X，有

~GAX

≤GAX+(I−GA)Z

（2—14）

其中b=AX，不等式（2—14）意味着如下关系是成立的：

GAX,GAX

即

(~~

≤GAX+(I−GA)Z,GAX+(I−GA)Z

(

GAX,GAX≤+GAX+(I−GA)Z,GAX+(I−GA)Z 或

(

)(

)

~~~~~(GAX,GAX)≤(GAX,GAX)+2(GAX,(I−GA)Z+(I−GA)Z,(I−GA)Z)

也即

0≤((I−GA)Z,(I−GA)Z)+2X,(GA)(I−GA)Z

(~)

(GA)T(I−GA)Z=0，由此推出

(GA)=(GA)GA

两边转置得

GA=(GA)GA

可见有

(GA)=GA（即满足定义1—7第二个条件）

从而G=Am，说明极小范数解的形式是X=Amb，定理的必要性得证。

关于定理的充分性，只要将上面的过程倒推回去便可以完成。证毕定理2—3 相容的线性方程组X=Ab，具有唯一的极小范数解。

证设G1和G2是A的两个不同的最小范数广义逆，由等价的公式（1—19）应有 G1AA=A,所以

−−

G2AAT=AT

G1AAT=G2AATG1−G2AA=0

上式两边同时右乘以(G1−G2)得

G1−G2AA(G1−G2)=0

或

[(G1−G2)A][(G1−G2)A]=0 上式成立仅当(G1−G2)A=0才有可能，因此有

(G1−G2)AX=0(X为任意解向量）

又由于AX=b，所以有G1b=G2b.这说明，不同的最小范数广逆G1和G2，按X=Gb求得的极小范数解却是唯一的。证毕例2—3 求方程组AX=b的最小范数解，其中

12−11

A=,b=2

0−12

解由例1—4知，此矩阵A是行最大秩矩阵，因此AA是满秩方阵AA的广义逆(AA)所以由式（1—18）作出一个最小范数广义逆： Am=A(AA)=A(AA)

而这正是行最小秩矩阵的右逆，在例1—4中我们已经求得这个A的右逆为

−1

54

1 −−

AR=Am=6214

38

根据公式（2—13），我们可求得方程组的极小范数解

131−

X=Amb=10 （2—15）

1419

又在例2—1中求得这个方程组的一般解为

13+z1−6z2−3z3

1

X=10+6z1+4z2+2z314

19−13z1+2z2+z3

如果令z1=z2=0,z3=1，代入上式可得一特解

10

1

X=12 （2—16）

1420

分别对（2—15）、（2—16）式的X，求其范数：

与

XTX=

112+102+192= 1414

XTX=

2+122+202=644 1414

显然（2—15）中X的范数比式（2—16）中X的范数要小。

2．4 不相容方程组的最小二乘解与Ai

−

AX−b

≤AX−b

（2—17）

则称X是方程组AX=b的最小二乘解，这是因为和任何其他近似解X相比较，X所导致的误差平

方和AX−b

是最小的。

定理 2—4 不相容方程组AX=b有最小二乘解的充要条件是 X=Aib 其中Ai是A的最小二乘广义逆。

证先证必要性，设G是一矩阵（不必是矩阵A的减号逆）。如果G b是不相容方程组AX=b的最小二乘解，于是有

上式右边可以改写成

−

AGb−b

≤AX−b

AX−b

=AGb−b+AX−AGb

=(AG−I)b+A(X−Gb)2

=(AG−I)b+AX

其中X=X−Gb，因此上述不等式可改写为

AGb−b

=(AG−I)b

≤(AG−I)b+AX

仿照定理2—2的证明过程可知，上述不等式成立的充要条件是 ((AG−I)b,AX)=(b,(AG−I)AX)=0 而上式等于零的充要条件又是(AG−I)A=0，也即

AAG=A （2—18）

式（2—18）两边同时右乘以A，得AAGA=AA，所以有AGA=A：另外，在式（2—18）两边同时左乘以G，得GAAG=GA 或

(AG)AG=(AG) 两边取转置，并比较等式两边可得

(AG)=AG

由最小二乘广义逆的定义知：G=Ai，这说明不相容方程组AX=b的最小二乘解的形式是

−

X=Ai−b，定理必要性得证。

关于定理的充分性，同学们可以自己完成。证毕

ˆ导致的误差平方和（即在最小二乘意必须注意，矛盾方程组（不相容方程组）的最小二乘解Xˆ−b是唯一的，但是，最小二乘解可以不唯一。义下）AX

ˆ=Gb是一个最小二乘解，则矛盾方程组的最小乘解的一般表达式为设X

ˆ=Gb+(I−GA)Z （2—19） X

其中Z是任意向量。下面证明式（2—19）是最小二乘解。

事实上，因为Gb是最小二乘解，所以AGb−b2最小，但

A(Gb+(I−GA)Z)−b

=AGb−b

所以式（2—19）也是最小二乘解。

此外，利用定理1—6以及式（2—18），可以验证

G1=(AA)A （2—20）

和

G2=(AA)A+(I−(AA)AA)U （2—21）

也都是最小二乘广义逆，其中U是任意阵。

下面说明（2—21）是最小二乘广义逆的一般表达式，即说明任一最小二乘广义逆均可表示成（2—21）的形式。

事实上，设G是一个最小二乘广义逆，即满足式（2—18），那么只要在（2—21）的右边中令 U=G+(AA)AAV 于是有

−T

(ATA)−AT+(I−(ATA)−(ATA))•(G+(ATA)−ATAV)

=(ATA)−AT+G−(ATA)−ATAG+(I−(ATA)−ATA)(ATA)−ATAV=G+(AA)(A−AAG)+((AA)AA−(AA)AA(AA)AA)V

−TTT−TT−TT−T

这说明G已经写成（2—21）右边的形式了（这里利用了AAG=A和(AA)是(AA)的减号逆）。

例2—4 求矛盾方程组

x1+2x2=1



2x1+x2=0

x+x=0

21

的最小二乘解

解系数矩阵A和向量b为

112

,b=0  A=21

011

A为列最大秩矩阵，在例1—5中已求得

−

=(ATA)−1ATAL

1−471− ==Ai117−41

于是，最小二乘解为

ˆ=A−b=A−bXLi

11−4711−4 0==117−411170

ˆ=7,X21111亦即 ˆ=−4 X1

2．5 加号逆A的应用

由于加号逆既是减号逆又是最小范数逆、最小二乘逆，故对于方程组AX=b，不论其是否有

：解，均可用加号逆A来讨论（设Z是任意n维向量）

1．AX=b相容时

++−X=A+b+(I−A+A)Z是通解

X=A+b是极小范数解

2．AX=b不相容时

X=A+b是最小二乘解 X=A+b+(I−A+A)Z是最小二乘解的通解

=A+b不但是最3．在下面的定理中，我们将要证明对于矛盾方程组AX=b（即不相容），X

小二乘解，而且是具有极小范数的最小二乘解，或最佳逼近解，简记为LNLS解。

定理2—5 矛盾方程组AX=b的极小范数最小二乘解（即最佳逼近解）为

X=A+b （2—22）证由式（2—21）式我们已经证明了矛盾方程组的最小二乘解的一般表达式为

Gb+(I−GA)Z

其中Z是任意n维向量，G是最小二乘广义逆，且满足

AGA=A,(AG)T=AG

进一步设Gb是极小范数最小二乘解，则对任意向量b和Z应成立不等式

Gb2≤Gb+(I−GA)Z2

仿定理2—2的证明过程知，上式成立的充要条件是

(Gb,+(I−GA)Z)=(b,GT(I−GA)Z)=0

而保证上式成立的充要条件是

GT(I−GA)=0,或GT=GTGA

T仿照式（1—17）式（1—19）等价的证明方法，可证G

由此可见，X)T=GA等价，=GTGA与GAG=G,(GA=A+b是极小范数最小二乘解。证毕

例2—4 设有矛盾方程组AX=b，其中

00 A=10

试求极小范数最小二乘解

解由例1—10知 00010100,b= 0001

0010+ A=00010000

由式（2—22），有极小范数最小二乘解

1001000+ X=Ab=0001=10010000

广义逆矩阵及其应用

相关内容

热门内容

标签