Intoducrtoi nt Gradioen tDsceen tAolgrthiamito
n2012.6.1
优化算法许多实际问题 用利数建模的学方法得下面到常的优化规形： min式f( )xs，t.. (g)x≥ ,0x D∈ .中，x是其一个n维矢，D量是题的定义域问f可行域。， 关于fx(：) 当x(=)x时f，x(是一)曲线条 当；=xx1( x,2时，)(f1x ,x)2是个一面； 当曲x=(x,1x ,2x3) 时f(x，, 12x ,3x是一个体密)度当 x(=x, x21 …,, nx)，时f(x1 ,x,2… x,n)一是个曲超。面
化优算法
部优化算局（经典 优化法算）法 局性优全算化（法 现优代算法）化以可 整在超曲个取面值围 范内索搜大值或最小最 值（随）机。
局
部化算优之法一：梯度降下法
见
右。图部局极小是C 点值x（0。 梯度）即，函的数数导，但是 方有向，一是矢个量。 曲情线况下，表达式
dy 为 ' f( )x d x
如果，’(xf>0，则)x增加y，增加，也当于B相点；果f如’x()0
A
部局化算法之优一梯度：降下法
假F定Rn → ：是R光函滑，数F（记x，1，…nx,函) 的数数为导度梯 F
x1 F F x) ( x 2 F x n
如果
(x,Fy,z)x2y=z22
F x1 22 F 2x zy F( x) 2x 2 x 2 zy2 22 2 xy z F xn
取 小值极的时点的梯度为
零
部局优算化之法一梯：度下法降
梯是一度向量个，点（1，x，…xn的)梯向量 F度 1 ,x nx 是总指F上升最向快的方向最，速 升方上向。此因- F x,1x n向的指就F是下最降
快的方，最向速降方向。下
Whic
hdirectoin sio ptialm
?-
xF ,1 xn
当
沿某个着给的点定0寻找F的极小x值，时沿着速下最 降向方比较理（合碗底的部
局）优部化法之一算：度下降法
沿-梯 (x0)F方向的，代迭，法 x设是初始0，值（ε最误小限差;）
α>0表 示最速沿降方下所向走距的 选离α择0 >使F x 1 F 0x - (F x )0尽可能的
小x1
x 0 - F (x0
)
一维索，搜代迭形式
为 xk1 x k- k F ( k )x
中每步αk 其选择的方是使法F k -x kF( xk )取 极小值 F(xk)F(xk-1+)小于某个误差作为限收判敛准则，通停用常(Fkx) 的 大小作收敛判停为则
准梯度降下法的迭步骤
代 ⑴定初给点 始X nE 允，许差 误 0 ， 令=0； k⑵ 算计 FXk ； ⑶检验 否是满收足敛的性别判则： 准F Xk ，0
若满足
则，止停代，迭 点 X *得 X k，否则进行⑷ ⑷；令 S FX k， X从 k发出 沿 S k，进 行维搜索一 即， 求 k使 ： 得in Fm Xk - K F
( x k) F - X k F (x k)
k
0
k
⑸
令，
x k
1 x k - k F ( x )k，k= k1+返 回⑵.
局
优部化法算一之：度下降法梯1 【举例
：】=y
2
x-2x
2计
过程：算任 一个初始出发给点设，x为0=4-。 1) 首(先给定两参数： α=1个5.，=0.01； (2 计)导算数：dy/xd x=2 (3) 计算当前-数导值y：’（x）0=6 x k 1 -x k- F kx (k )4()修改当前参 ：数 x1 =x0 α-*y’（x）0-4=-1.*5-6()5=0.;(5
)计 算当前数导：值y(’x)1=.30 (6 修)改前参数：x1当=.5 x2=50.0– .1*5(.3)0=0.;5
局部优
算法化之：一度梯下法
(降7) 计算前当导数：值 y’x2()=-1. (85)修改当前参 ：数x2= 0.5x=0.3-15.5*(1-.) 5=.27; 5()9计 当前导数值：算 y(’2)x0.75 =(10)修 当改参前： 数x32=7.5x 4= 2.75( 21)修改 当前参：x数=14.62 x5 =51.5 (0*7.)5 =162.5 1;6.2-15.*(5-037.)=2.1585; … (71)1 计当前算数值导：y’ (3)x-0=37.
5【例2】对函F数(x,)=yisn(x22y1)-用使 最速下法降 2 xy oc(s xy- 1 )
T- F（1， ） 1（ - c2so(),2 0cso()0 ） (-22,)
TF(x
y,)的梯度 取为x（,0y）0=1,(1,最)速下方向降为 其α中满足
00 m ni
a 0mi n a 0mn a i0
(x,F )y 2 2 xcoys(x 2 y2- 1)
2
2
2
(Fx (y,)
0 T
0
T
-
(xF ,0y 0))T
F( (,11 )- (22) ),
F (-21 1,2 )-
mi nsi(n1-2) - 1a
04 a
2 02 mni ins(1(-2 )(1-2 ) 1)
-
由正弦于函的第一个 数最小点值3π/为,所以 32 4 （ -12） -1 2 4 3 （1 -2） 12 1 4 3 1 1 2 2 0, 以所 .2710
3
0ɑ1=2.703这.样
1 x x0 1 2 1.-4605 1 - 1 .270 32 - 1.4650 y y - F0 (x 0, y ) 0 2 0
时
F此 0 ,xy 0 F 1,1( ) 0 ,(x1 F ,1y ) (-1.F5406,1-5.460 -）1
T（7E
- 16 ， E7 - 1）6 (1x,1y的梯度)为 F(-.5416,0-.5416)0
数
范(-F.14605-1,.456)0 1 0 E-61
F的值不能小于 1-，所所以求就是的极值点
小
部优局算法化一之：度梯降下
局部法化算优之法：一梯度降法下
局
部化算法优之：梯一度下法降
部优化算局之一：梯度下降法
局部法化优法算一之梯度：下降法
局优部算法之一：化梯度下法
降远极值点离时函下数的很快 距极值点较降时收敛近速变度得缓 慢使梯用度要法求目函标数须有必数导 邻两相次代迭程过中的进前向方是互垂相的直
考资参
料
黄
平非.性线优最化理与论方.北法京清：华大 学版出社,002. 8eJferfy JLead.er著张，，刘威志军，艳李红 等.译数分值析与学计科算北.
京：华清学大版 出社2008, .张光.非澄线性最优化计算法.高等教方出版 育社，025.0
Tha
n kyou！
Intoducrtoi nt Gradioen tDsceen tAolgrthiamito
n2012.6.1
优化算法许多实际问题 用利数建模的学方法得下面到常的优化规形： min式f( )xs，t.. (g)x≥ ,0x D∈ .中，x是其一个n维矢，D量是题的定义域问f可行域。， 关于fx(：) 当x(=)x时f，x(是一)曲线条 当；=xx1( x,2时，)(f1x ,x)2是个一面； 当曲x=(x,1x ,2x3) 时f(x，, 12x ,3x是一个体密)度当 x(=x, x21 …,, nx)，时f(x1 ,x,2… x,n)一是个曲超。面
化优算法
部优化算局（经典 优化法算）法 局性优全算化（法 现优代算法）化以可 整在超曲个取面值围 范内索搜大值或最小最 值（随）机。
局
部化算优之法一：梯度降下法
见
右。图部局极小是C 点值x（0。 梯度）即，函的数数导，但是 方有向，一是矢个量。 曲情线况下，表达式
dy 为 ' f( )x d x
如果，’(xf>0，则)x增加y，增加，也当于B相点；果f如’x()0
A
部局化算法之优一梯度：降下法
假F定Rn → ：是R光函滑，数F（记x，1，…nx,函) 的数数为导度梯 F
x1 F F x) ( x 2 F x n
如果
(x,Fy,z)x2y=z22
F x1 22 F 2x zy F( x) 2x 2 x 2 zy2 22 2 xy z F xn
取 小值极的时点的梯度为
零
部局优算化之法一梯：度下法降
梯是一度向量个，点（1，x，…xn的)梯向量 F度 1 ,x nx 是总指F上升最向快的方向最，速 升方上向。此因- F x,1x n向的指就F是下最降
快的方，最向速降方向。下
Whic
hdirectoin sio ptialm
?-
xF ,1 xn
当
沿某个着给的点定0寻找F的极小x值，时沿着速下最 降向方比较理（合碗底的部
局）优部化法之一算：度下降法
沿-梯 (x0)F方向的，代迭，法 x设是初始0，值（ε最误小限差;）
α>0表 示最速沿降方下所向走距的 选离α择0 >使F x 1 F 0x - (F x )0尽可能的
小x1
x 0 - F (x0
)
一维索，搜代迭形式
为 xk1 x k- k F ( k )x
中每步αk 其选择的方是使法F k -x kF( xk )取 极小值 F(xk)F(xk-1+)小于某个误差作为限收判敛准则，通停用常(Fkx) 的 大小作收敛判停为则
准梯度降下法的迭步骤
代 ⑴定初给点 始X nE 允，许差 误 0 ， 令=0； k⑵ 算计 FXk ； ⑶检验 否是满收足敛的性别判则： 准F Xk ，0
若满足
则，止停代，迭 点 X *得 X k，否则进行⑷ ⑷；令 S FX k， X从 k发出 沿 S k，进 行维搜索一 即， 求 k使 ： 得in Fm Xk - K F
( x k) F - X k F (x k)
k
0
k
⑸
令，
x k
1 x k - k F ( x )k，k= k1+返 回⑵.
局
优部化法算一之：度下降法梯1 【举例
：】=y
2
x-2x
2计
过程：算任 一个初始出发给点设，x为0=4-。 1) 首(先给定两参数： α=1个5.，=0.01； (2 计)导算数：dy/xd x=2 (3) 计算当前-数导值y：’（x）0=6 x k 1 -x k- F kx (k )4()修改当前参 ：数 x1 =x0 α-*y’（x）0-4=-1.*5-6()5=0.;(5
)计 算当前数导：值y(’x)1=.30 (6 修)改前参数：x1当=.5 x2=50.0– .1*5(.3)0=0.;5
局部优
算法化之：一度梯下法
(降7) 计算前当导数：值 y’x2()=-1. (85)修改当前参 ：数x2= 0.5x=0.3-15.5*(1-.) 5=.27; 5()9计 当前导数值：算 y(’2)x0.75 =(10)修 当改参前： 数x32=7.5x 4= 2.75( 21)修改 当前参：x数=14.62 x5 =51.5 (0*7.)5 =162.5 1;6.2-15.*(5-037.)=2.1585; … (71)1 计当前算数值导：y’ (3)x-0=37.
5【例2】对函F数(x,)=yisn(x22y1)-用使 最速下法降 2 xy oc(s xy- 1 )
T- F（1， ） 1（ - c2so(),2 0cso()0 ） (-22,)
TF(x
y,)的梯度 取为x（,0y）0=1,(1,最)速下方向降为 其α中满足
00 m ni
a 0mi n a 0mn a i0
(x,F )y 2 2 xcoys(x 2 y2- 1)
2
2
2
(Fx (y,)
0 T
0
T
-
(xF ,0y 0))T
F( (,11 )- (22) ),
F (-21 1,2 )-
mi nsi(n1-2) - 1a
04 a
2 02 mni ins(1(-2 )(1-2 ) 1)
-
由正弦于函的第一个 数最小点值3π/为,所以 32 4 （ -12） -1 2 4 3 （1 -2） 12 1 4 3 1 1 2 2 0, 以所 .2710
3
0ɑ1=2.703这.样
1 x x0 1 2 1.-4605 1 - 1 .270 32 - 1.4650 y y - F0 (x 0, y ) 0 2 0
时
F此 0 ,xy 0 F 1,1( ) 0 ,(x1 F ,1y ) (-1.F5406,1-5.460 -）1
T（7E
- 16 ， E7 - 1）6 (1x,1y的梯度)为 F(-.5416,0-.5416)0
数
范(-F.14605-1,.456)0 1 0 E-61
F的值不能小于 1-，所所以求就是的极值点
小
部优局算法化一之：度梯降下
局部法化算优之法：一梯度降法下
局
部化算法优之：梯一度下法降
部优化算局之一：梯度下降法
局部法化优法算一之梯度：下降法
局优部算法之一：化梯度下法
降远极值点离时函下数的很快 距极值点较降时收敛近速变度得缓 慢使梯用度要法求目函标数须有必数导 邻两相次代迭程过中的进前向方是互垂相的直
考资参
料
黄
平非.性线优最化理与论方.北法京清：华大 学版出社,002. 8eJferfy JLead.er著张，，刘威志军，艳李红 等.译数分值析与学计科算北.
京：华清学大版 出社2008, .张光.非澄线性最优化计算法.高等教方出版 育社，025.0
Tha
n kyou！