Table of Contents
—
矩阵求导，想必许多领域能见到。统计学，经济学，优化，机器学习等等，在对目标问题建立数学模型之后，问题往往被抽象为关于矩阵的优化问题。于是免不了需要对矩阵进行求导等操作。
简单的向量和矩阵求导，大多数熟悉这些计算的人，应该都能直接写下，然而复杂的矩阵函数求导则没那么简单，著名的matrix cookbook为广大的研究者们提供了一本大字典，里面有着各种简单到复杂矩阵和向量的求导法则，但是如果你的好奇心和我一样重，那么你肯定不会满足于查字典这种方法，特别是在推导公式一气呵成满纸乱飞的时候，查字典岂不是大煞风景？
事实上，所有求导的法则都可以从最基本的求导规则推导出来。不知你有没发现，不同的文献中，同样的式子求导的结果有时候会不一样，仔细观察会发现刚好相差一个转置，于是我们得先说说求导的两个派别（布局）。
1 布局(Layout)
不知道为什么会是这个名字，总之矩阵求导有两种布局，分子布局(numerator layout)和分母布局(denominator layout)。
为了阐明这两种布局的区别，我们先来看最简单的求导规则。
首先是向量 yy 对标量 xx 求导，我们假定所有的向量都是列向量，
y=y1y2ymy=[y1y2ym]
在分子布局下，
yx=y1xy2xymxyx=[y1xy2xymx]
而在分母布局下，
yx=[y1xy2xymx]yx=[y1xy2xymx]
你可以随时在两种布局间进行转换，只要你自己不犯迷糊。为了简单起见，更为了遵循大多数时候的传统，我在接下来的部分将默认使用分母布局，除非是在一些很特殊的情形，这些我们到时候再详述。
好了我们这就开始，为了继续下面的旅程，请忘掉分子布局，直到我提醒你为止。下面全都基于分母布局!
2 基本的求导规则（定义）
这一部分，我们将看到一些基本的求导规则，这些与其说是规则，倒不如说是定义。因此这一部分是需要好好理解并且记忆（如果你看一遍还记不住的话）的。
标量 yy 对向量 xx 求导:
yx=yx1yx2yxmyx=[yx1yx2yxm]
注意到，标量对向量求导和向量对标量求导刚好反过来。
向量对向量求导，
x=x1x2xnx=[x1x2xn]
y=y1y2ymy=[y1y2ym]
yx=y1x1y1x2y1xny2x1y2x2y2xnymx1ymx2ymxnyx=[y1x1y2x1ymx1y1x2y2x2ymx2y1xny2xnymxn]
标量对矩阵求导，
yX=yx11yx21yxp1yx12yx22yxp2yx1qyx2qyxpqyX=[yx11yx12yx1qyx21yx22yx2qyxp1yxp2yxpq]
矩阵对标量求导，
yx=y11xy12xy1nxy21xy22xy2nxym1xym2xymnxyx=[y11xy21xym1xy12xy22xym2xy1nxy2nxymnx]
事实上，直观上看，凡是对标量求导，结果的形式都要转置，而标量对向量和矩阵求导则位置保持不动。这样总结方便我们记忆。
总的来说，涉及矩阵和向量的求导不外乎五大类别，
向量对标量
标量对向量
向量对向量
矩阵对标量
标量对矩阵
这些定义我在上面都已经一一列出。接下来是时候去看一些更加复杂的东西了。
3 维度分析
接下来我们来看一些常见的求导，
首先是 AxxAxx ,注意到 (Ax)i=ai1x1+ai2x2++ainxn(Ax)i=ai1x1+ai2x2++ainxn ,于是利用向量对向量求导法则，我们有
Ax)x=(Ax)1x1(Ax)1x2(Ax)1xn(Ax)2x1(Ax)2x2(Ax)2xn(Ax)mx1(Ax)mx2(Ax)mxn=a11a12a1na21a22a2nam1am2amn=ATAx)x=[(Ax)1x1(Ax)2x1(Ax)mx1(Ax)1x2(Ax)2x2(Ax)mx2(Ax)1xn(Ax)2xn(Ax)mxn]=[a11a21am1a12a22am2a1na2namn]=AT
理论上对于任意的表达式，我们都可以通过定义出发，利用上面这种形式推导得到。
但是对于一些复杂的求导，这个时候恐怕逐项展开分析就不是很靠谱了。
我们先来看求导分类的前三类，对于这三类问题，我们来看一个非常强大的方法，通过分析维度来得到结果。
考虑 AuxAux , AA 与 xx 无关，所以 AA 肯定可以先提出求导式，至于去哪了暂时不清楚。
假如 A∈Rm×n,u∈Rn×1,x∈Rp×1A∈Rm×n,u∈Rn×1,x∈Rp×1 ,
我们知道最后结果肯定和 uxux 有关，注意到 ux∈Rp×nux∈Rp×n ,于是 AA 只能转置以后添在后面，因此
Aux=uxATAux=uxAT
同样对于 aux,aaux,a 和 xx 相关的标量，假定 u∈Rm×1,x∈Rn×1u∈Rm×1,x∈Rn×1 ,根据乘积法则（非精确版本），前一个部分肯定是 auxaux ,
后一部分为 ax∈Rn×1ax∈Rn×1 和 uu 的某种形式的积,分析维度发现只能是 axuTaxuT 。
于是
aux=aux+axuTaux=aux+axuT
我们发现，虽然乘积法则的精准形式无法应用于矩阵求导中，然而这种非精确的乘积法则可以准确的告诉我们哪些项一定会出现在结果中，然后通过分析维度，我们就可以写出结果。
再看 xTAxxxTAxx ,其中 AA 和 xx 无关，
为了分析这个问题，我们考虑一个更一般的问题，
xTAyx,x∈Rm×1,y∈Rn×1xTAyx,x∈Rm×1,y∈Rn×1
我们利用非精确的乘积法则，可以将这个分成两部分
(xTA)yx(xTA)yx
于是结果和两部分相关，一个是
yx∈Rm×nyx∈Rm×n
,另一个是xTAx=A∈Rm×nxTAx=A∈Rm×n
,
同样通过分析维度，我们可以得到
(xTA)yx=yxATx+Ay(xTA)yx=yxATx+Ay
因此
xTAxx=(AT+A)xxTAxx=(AT+A)x
最后看一个式子
aTxxTbx,a,b,x∈Rm×1aTxxTbx,a,b,x∈Rm×1
aTxxTbx=(aTx)(xTb)xaTxxTbx=(aTx)(xTb)x
注意到
(aTx)x=a,(xTb)x=b(aTx)x=a,(xTb)x=b
所以(注意到 xTb∈RxTb∈R )
aTxxTbx=(aTx)(xTb)x=axTb+baTx=(abT+baT)xaTxxTbx=(aTx)(xTb)x=axTb+baTx=(abT+baT)x
4 标量对矩阵求导（微分形式）
接下来看五种类型中剩下的两类，在实际的问题中，主要是矩阵的迹对矩阵的求导问题。正如我们在前面看到的，在矩阵的求导中，不存在精确的乘积法则，我们只是通过非精确的乘积法则分析出单项式中含有的项，再通过维度分析得到结果。但是，有一种情形下，乘积法则是精确成立的，我们现在就来看这一种情形——迹的微分。因为在微分形式下，
乘积法则成立
迹和微分可交换
好了，现在你应该已经忘记分子布局了吧，不过不要紧，所有之前的结果转置一下，就得到了分子布局下的结果。
接下来请注意，当我们谈论微分的时候，只有在分子布局下才是有意义的。
（Warning：微分只有分子布局，没有分母布局）
首先我们指出
dY=tr(AdX)dY=tr(AdX)
等价于
YX=AYX=A
注意这是分子布局下的，对应分母布局下应该为
YX=ATYX=AT
为了方便记忆，防止混淆，我们干脆将
dY=tr(AdX)dY=tr(AdX)
和
YX=ATYX=AT
直接等同起来。
于是所有的迹形式对矩阵的求导都先转化为微分形式，
比如
dtr(AX)=tr(d(AX))=tr(AdX)dtr(AX)=tr(d(AX))=tr(AdX)
tr(AX)X=AT tr(AX)X=AT
其实很简单，我们再看几个例子来加深理解：
先回忆一些非常有用的迹的性质：
矩阵的迹和转置的迹相同（转置性质）
矩阵乘积的迹和矩阵乘积轮换对称后的迹相同（循环排列）
考虑
tr(XTAX)Xtr(XTAX)X
d tr(XTAX)==========tr(d(XTAX))tr(XTAdX+d(XTA)X)tr(XTAdX+d(XTA)X)tr(XTAdX+d(ATX)TX)tr(XTAdX)+tr(d(ATX)TX)tr(XTAdX)+tr(d(ATX)TX)tr(XTAdX)+tr(XTd(ATX))tr(XTAdX)+tr(XTATdX)tr(XTAdX+XTATdX)tr((XTA+XTAT)dX)d tr(XTAX)=tr(d(XTAX))=tr(XTAdX+d(XTA)X)=tr(XTAdX+d(XTA)X)=tr(XTAdX+d(ATX)TX)=tr(XTAdX)+tr(d(ATX)TX)=tr(XTAdX)+tr(d(ATX)TX)=tr(XTAdX)+tr(XTd(ATX))=tr(XTAdX)+tr(XTATdX)=tr(XTAdX+XTATdX)=tr((XTA+XTAT)dX)
所以
tr(XTAX)X=(XTA+XTAT)T=(A+AT)Xtr(XTAX)X=(XTA+XTAT)T=(A+AT)X
这是一份简短的矩阵求导介绍，它的目的是告诉你如何更好的快速推导这些公式，避免查阅手册的麻烦。当然如果你觉得你完全是一个工程师，查阅手册感觉很方便，那么继续按照你的方式生活吧。如果你觉得很有用，那么请继续：Have fun with math!
Date:
Author: xuehy
Created: 2016-07-26 二 21:25
Emacs 24.5.1 (Org mode 8.2.10)
Validate
Table of Contents
—
矩阵求导，想必许多领域能见到。统计学，经济学，优化，机器学习等等，在对目标问题建立数学模型之后，问题往往被抽象为关于矩阵的优化问题。于是免不了需要对矩阵进行求导等操作。
简单的向量和矩阵求导，大多数熟悉这些计算的人，应该都能直接写下，然而复杂的矩阵函数求导则没那么简单，著名的matrix cookbook为广大的研究者们提供了一本大字典，里面有着各种简单到复杂矩阵和向量的求导法则，但是如果你的好奇心和我一样重，那么你肯定不会满足于查字典这种方法，特别是在推导公式一气呵成满纸乱飞的时候，查字典岂不是大煞风景？
事实上，所有求导的法则都可以从最基本的求导规则推导出来。不知你有没发现，不同的文献中，同样的式子求导的结果有时候会不一样，仔细观察会发现刚好相差一个转置，于是我们得先说说求导的两个派别（布局）。
1 布局(Layout)
不知道为什么会是这个名字，总之矩阵求导有两种布局，分子布局(numerator layout)和分母布局(denominator layout)。
为了阐明这两种布局的区别，我们先来看最简单的求导规则。
首先是向量 yy 对标量 xx 求导，我们假定所有的向量都是列向量，
y=y1y2ymy=[y1y2ym]
在分子布局下，
yx=y1xy2xymxyx=[y1xy2xymx]
而在分母布局下，
yx=[y1xy2xymx]yx=[y1xy2xymx]
你可以随时在两种布局间进行转换，只要你自己不犯迷糊。为了简单起见，更为了遵循大多数时候的传统，我在接下来的部分将默认使用分母布局，除非是在一些很特殊的情形，这些我们到时候再详述。
好了我们这就开始，为了继续下面的旅程，请忘掉分子布局，直到我提醒你为止。下面全都基于分母布局!
2 基本的求导规则（定义）
这一部分，我们将看到一些基本的求导规则，这些与其说是规则，倒不如说是定义。因此这一部分是需要好好理解并且记忆（如果你看一遍还记不住的话）的。
标量 yy 对向量 xx 求导:
yx=yx1yx2yxmyx=[yx1yx2yxm]
注意到，标量对向量求导和向量对标量求导刚好反过来。
向量对向量求导，
x=x1x2xnx=[x1x2xn]
y=y1y2ymy=[y1y2ym]
yx=y1x1y1x2y1xny2x1y2x2y2xnymx1ymx2ymxnyx=[y1x1y2x1ymx1y1x2y2x2ymx2y1xny2xnymxn]
标量对矩阵求导，
yX=yx11yx21yxp1yx12yx22yxp2yx1qyx2qyxpqyX=[yx11yx12yx1qyx21yx22yx2qyxp1yxp2yxpq]
矩阵对标量求导，
yx=y11xy12xy1nxy21xy22xy2nxym1xym2xymnxyx=[y11xy21xym1xy12xy22xym2xy1nxy2nxymnx]
事实上，直观上看，凡是对标量求导，结果的形式都要转置，而标量对向量和矩阵求导则位置保持不动。这样总结方便我们记忆。
总的来说，涉及矩阵和向量的求导不外乎五大类别，
向量对标量
标量对向量
向量对向量
矩阵对标量
标量对矩阵
这些定义我在上面都已经一一列出。接下来是时候去看一些更加复杂的东西了。
3 维度分析
接下来我们来看一些常见的求导，
首先是 AxxAxx ,注意到 (Ax)i=ai1x1+ai2x2++ainxn(Ax)i=ai1x1+ai2x2++ainxn ,于是利用向量对向量求导法则，我们有
Ax)x=(Ax)1x1(Ax)1x2(Ax)1xn(Ax)2x1(Ax)2x2(Ax)2xn(Ax)mx1(Ax)mx2(Ax)mxn=a11a12a1na21a22a2nam1am2amn=ATAx)x=[(Ax)1x1(Ax)2x1(Ax)mx1(Ax)1x2(Ax)2x2(Ax)mx2(Ax)1xn(Ax)2xn(Ax)mxn]=[a11a21am1a12a22am2a1na2namn]=AT
理论上对于任意的表达式，我们都可以通过定义出发，利用上面这种形式推导得到。
但是对于一些复杂的求导，这个时候恐怕逐项展开分析就不是很靠谱了。
我们先来看求导分类的前三类，对于这三类问题，我们来看一个非常强大的方法，通过分析维度来得到结果。
考虑 AuxAux , AA 与 xx 无关，所以 AA 肯定可以先提出求导式，至于去哪了暂时不清楚。
假如 A∈Rm×n,u∈Rn×1,x∈Rp×1A∈Rm×n,u∈Rn×1,x∈Rp×1 ,
我们知道最后结果肯定和 uxux 有关，注意到 ux∈Rp×nux∈Rp×n ,于是 AA 只能转置以后添在后面，因此
Aux=uxATAux=uxAT
同样对于 aux,aaux,a 和 xx 相关的标量，假定 u∈Rm×1,x∈Rn×1u∈Rm×1,x∈Rn×1 ,根据乘积法则（非精确版本），前一个部分肯定是 auxaux ,
后一部分为 ax∈Rn×1ax∈Rn×1 和 uu 的某种形式的积,分析维度发现只能是 axuTaxuT 。
于是
aux=aux+axuTaux=aux+axuT
我们发现，虽然乘积法则的精准形式无法应用于矩阵求导中，然而这种非精确的乘积法则可以准确的告诉我们哪些项一定会出现在结果中，然后通过分析维度，我们就可以写出结果。
再看 xTAxxxTAxx ,其中 AA 和 xx 无关，
为了分析这个问题，我们考虑一个更一般的问题，
xTAyx,x∈Rm×1,y∈Rn×1xTAyx,x∈Rm×1,y∈Rn×1
我们利用非精确的乘积法则，可以将这个分成两部分
(xTA)yx(xTA)yx
于是结果和两部分相关，一个是
yx∈Rm×nyx∈Rm×n
,另一个是xTAx=A∈Rm×nxTAx=A∈Rm×n
,
同样通过分析维度，我们可以得到
(xTA)yx=yxATx+Ay(xTA)yx=yxATx+Ay
因此
xTAxx=(AT+A)xxTAxx=(AT+A)x
最后看一个式子
aTxxTbx,a,b,x∈Rm×1aTxxTbx,a,b,x∈Rm×1
aTxxTbx=(aTx)(xTb)xaTxxTbx=(aTx)(xTb)x
注意到
(aTx)x=a,(xTb)x=b(aTx)x=a,(xTb)x=b
所以(注意到 xTb∈RxTb∈R )
aTxxTbx=(aTx)(xTb)x=axTb+baTx=(abT+baT)xaTxxTbx=(aTx)(xTb)x=axTb+baTx=(abT+baT)x
4 标量对矩阵求导（微分形式）
接下来看五种类型中剩下的两类，在实际的问题中，主要是矩阵的迹对矩阵的求导问题。正如我们在前面看到的，在矩阵的求导中，不存在精确的乘积法则，我们只是通过非精确的乘积法则分析出单项式中含有的项，再通过维度分析得到结果。但是，有一种情形下，乘积法则是精确成立的，我们现在就来看这一种情形——迹的微分。因为在微分形式下，
乘积法则成立
迹和微分可交换
好了，现在你应该已经忘记分子布局了吧，不过不要紧，所有之前的结果转置一下，就得到了分子布局下的结果。
接下来请注意，当我们谈论微分的时候，只有在分子布局下才是有意义的。
（Warning：微分只有分子布局，没有分母布局）
首先我们指出
dY=tr(AdX)dY=tr(AdX)
等价于
YX=AYX=A
注意这是分子布局下的，对应分母布局下应该为
YX=ATYX=AT
为了方便记忆，防止混淆，我们干脆将
dY=tr(AdX)dY=tr(AdX)
和
YX=ATYX=AT
直接等同起来。
于是所有的迹形式对矩阵的求导都先转化为微分形式，
比如
dtr(AX)=tr(d(AX))=tr(AdX)dtr(AX)=tr(d(AX))=tr(AdX)
tr(AX)X=AT tr(AX)X=AT
其实很简单，我们再看几个例子来加深理解：
先回忆一些非常有用的迹的性质：
矩阵的迹和转置的迹相同（转置性质）
矩阵乘积的迹和矩阵乘积轮换对称后的迹相同（循环排列）
考虑
tr(XTAX)Xtr(XTAX)X
d tr(XTAX)==========tr(d(XTAX))tr(XTAdX+d(XTA)X)tr(XTAdX+d(XTA)X)tr(XTAdX+d(ATX)TX)tr(XTAdX)+tr(d(ATX)TX)tr(XTAdX)+tr(d(ATX)TX)tr(XTAdX)+tr(XTd(ATX))tr(XTAdX)+tr(XTATdX)tr(XTAdX+XTATdX)tr((XTA+XTAT)dX)d tr(XTAX)=tr(d(XTAX))=tr(XTAdX+d(XTA)X)=tr(XTAdX+d(XTA)X)=tr(XTAdX+d(ATX)TX)=tr(XTAdX)+tr(d(ATX)TX)=tr(XTAdX)+tr(d(ATX)TX)=tr(XTAdX)+tr(XTd(ATX))=tr(XTAdX)+tr(XTATdX)=tr(XTAdX+XTATdX)=tr((XTA+XTAT)dX)
所以
tr(XTAX)X=(XTA+XTAT)T=(A+AT)Xtr(XTAX)X=(XTA+XTAT)T=(A+AT)X
这是一份简短的矩阵求导介绍，它的目的是告诉你如何更好的快速推导这些公式，避免查阅手册的麻烦。当然如果你觉得你完全是一个工程师，查阅手册感觉很方便，那么继续按照你的方式生活吧。如果你觉得很有用，那么请继续：Have fun with math!
Date:
Author: xuehy
Created: 2016-07-26 二 21:25
Emacs 24.5.1 (Org mode 8.2.10)
Validate