第一章 随机过程的基本概念与基本类型
一．随机变量及其分布
1．随机变量X， 分布函数F(x)=P(X≤x)
离散型随机变量X的概率分布用分布列 pk=P(X=xk) 分布函数F(x)=
连续型随机变量X的概率分布用概率密度f(x) 分布函数F(x)=
2．n维随机变量X=(X1,X2, ,Xn)
其联合分布函数F(x)=F(x1,x2, ,xn)=P(X1≤x1,X2≤x2, ,Xn≤xn,)
离散型 联合分布列 连续型 联合概率密度
３．随机变量的数字特征
数学期望：离散型随机变量X EX=
22∑pk ⎰x-∞f(t)dt ∑x2kpk 连续型随机变量X EX=⎰xf(x)dx -∞∞方差：DX=E(X-EX)=EX-(EX) 反映随机变量取值的离散程度
协方差（两个随机变量X,Y）：BXY=E[(X-EX)(Y-EY)]=E(XY)-EX⋅EY
相关系数（两个随机变量X,Y）：ρXY=BXY
DX⋅DY 若ρ=0，则称X,Y不相关。
独立⇒不相关⇔ρ=0
４．特征函数g(t)=E(eitX) 离散 g(t)=∑eitxkpk 连续 g(t)=⎰eitxf(x)dx -∞∞
kkk重要性质：g(0)=1，g(t)≤1，g(-t)=g(t)，g(0)=iEX
g(k)(0)'"''2母函数：g(z)=E(z)=∑pkz pk= E(X)=g(1) D(X)=g(1)+g(1)-[g(1)] k!k=0k∞k
５．常见随机变量的分布列或概率密度、期望、方差
０－１分布 P(X=1)=p,P(X=0)=q EX=p DX=pq
二项分布 P(X=k)=Cnpq
泊松分布 P(X=k)=e-λkkn-k EX=np DX=np qλk
k! EX=λ DX=λ 均匀分布略
(x-a)2
2σ22正态分布N(a,σ) f(x)=1
2πσe- EX=a DX=σ 2
⎧λe-λx,x≥011指数分布 f(x)=⎨ EX= DX=2 λx
６．Ｎ维正态随机变量X=(X1,X2, ,Xn)的联合概率密度X~N(a,B)
f(x1,x2, ,xn)=1
(2π)|B|n
2121exp{-(x-a)TB-1(x-a)} 2
a=(a1,a2, ,an)T，x=(x1,x2, ,xn)T，B=(bij)n⨯n正定协方差阵
3.随机向量的变换
二．随机过程的基本概念
１．随机过程的一般定义
设(Ω,P)是概率空间，T是给定的参数集，若对每个t∈T，都有一个随机变量X与之对应，则称随机变量
P)上的随机过程。简记为{X(t),t∈T}。 族{X(t,e),t∈T}是(Ω,
含义：随机过程是随机现象的变化过程，用一族随机变量才能刻画出这种随机现象的全部统计规律性。另一方面，它是某种随机实验的结果，而实验出现的样本函数是随机的。
当t固定时，X(t,e)是随机变量。当e固定时，X(t,e)时普通函数，称为随机过程的一个样本函数或轨道。 分类：根据参数集T和状态空间I是否可列，分四类。 也可以根据X(t)之间的概率关系分类，如独立增量过程，马尔可夫过程，平稳过程等。
２．随机过程的分布律和数字特征
用有限维分布函数族来刻划随机过程的统计规律性。随机过程{X(t),t∈T}的一维分布，二维分布，…，n维分布的全体称为有限维分布函数族。随机过程的有限维分布函数族是随机过程概率特征的完整描述。在实际中，要知道随机过程的全部有限维分布函数族是不可能的，因此用某些统计特征来取代。
（１）均值函数mX(t)=EX(t) 表示随机过程{X(t),t∈T}在时刻t的平均值。
（２）方差函数DX(t)=E[X(t)-mX(t)]表示随机过程在时刻t对均值的偏离程度。
（３）协方差函数2BX(s,t)=E[(X(s)-mX(s))(X(t)-mX(t))]
=E[X(s)X(t)]-mX(s)mX(t) 且有BX(t,t)=DX(t)
（４）相关函数RX(s,t)=E[X(s)X(t)] (3)和(4)表示随机过程在时刻s，t时的线性相关程度。
（５）互相关函数：{X(t),t∈T}，{Y(t),t∈T}是两个二阶距过程，则下式称为它们的互协方差函数。
BXY(s,t)=E[(X(s)-mX(s))(Y(t)-mY(t))]
=E[X(s)Y(t)]-mX(s)mY(t)，那么RXY(s,t)=E[X(s)Y(t)]，称为互相关函数。
若E[X(s)Y(t)]=mX(s)mY(t)，则称两个随机过程不相关。
３．复随机过程 Zt=Xt+jYt
均值函数mZ(t)=EXt+jEYt 方差函数DZ(t)=E[|Zt-mZ(t)|]=E[(Zt-mZ(t))(Zt-mZ(t))] 协方差函数2BZ(s,t)=E[(Zs-mZ(s))(Zt-mZ(t))]
=E[ZsZt]-mZ(s)mZ(t)相关函数RZ(s,t)=E[ZsZt]
４．常用的随机过程
（１）二阶距过程：实（或复）随机过程{X(t),t∈T}，若对每一个t∈T，都有EX(t)
该随机过程为二阶距过程。
（2）正交增量过程：设{X(t),t∈T}是零均值的二阶距过程，对任意的t1
E[(X(t2)-X(t1))(X(t4)-X(t3))]=0，则称该随机过程为正交增量过程。
其协方差函数BX(s,t)=RX(s,t)=σX(min(s,t))
（3）独立增量过程：随机过程{X(t),t∈T}，若对任意正整数n≥2，以及任意的t1
稳独立增量过程。
（4）马尔可夫过程：如果随机过程{X(t),t∈T}具有马尔可夫性，即对任意正整数n及t1
P(X(t1)=x1, ,X(tn-1)=xn-1)>0，都有
P{X(tn)≤xnX(t1)=x1, ,X(tn-1)=xn-1}=P{X(tn)≤xnX(tn-1)=xn-1}，则则称{X(t),t∈T}是马尔可夫过程。
（5）正态过程：随机过程{X(t),t∈T}，若对任意正整数n及t1,t2, ,tn∈T，（X(t1),X(t2) X(tn)）是n维正态随机变量，其联合分布函数是n维正态分布函数，则称{X(t),t∈T}是正态过程或高斯过程。 （6）维纳过程：是正态过程的一种特殊情形。
设{W(t),-∞
2
σ2>0。则称{W(t),-∞
另外：①它是一个Markov过程。因此该过程的当前值就是做出其未来预测中所需的全部信息。
②维纳过程具有独立增量。该过程在任一时间区间上变化的概率分布独立于其在任一的其他时间区间上变化的概率。③它在任何有限时间上的变化服从正态分布，其方差随时间区间的长度呈线性增加。 （7）平稳过程： 严（狭义）平稳过程：{X(t),t∈T}，如果对任意常数τ和正整数n及t1,t2, ,tn∈T，t1+τ,t2+τ, ,tn+τ∈T，（X(t1),X(t2) X(tn)）与（X(t1+τ),X(t2+τ) X(tn+τ)）有相同的联合分布，则称{X(t),t∈T}是严（狭义）平稳过程。
广义平稳过程：随机过程{X(t),t∈T}，如果①{X(t),t∈T}是二阶距过程；②对任意的t∈T，
mX(t)=EX(t)=常数；③对任意s，t∈T，RX(s,t)=E[X(s)X(t)]=RX(t-s)，或仅与时间差t-s有关。则满
足这三个条件的随机过程就称为广义平稳过程，或宽平稳过程，简称平稳过程。
第三章 泊松过程
一．泊松过程的定义（两种定义方法）
１，设随机计数过程{X(t),t≥0}，其状态仅取非负整数值，若满足以下三个条件，则称：{X(t),t∈T}是具有参数λ的泊松过程。①X(0=)
；0②独立增量过程，对任意正整数n，以及任意的
t1
③在任一长度为t的区间中，事件Ａ发生的次数服从参数
λt>0的的泊松分布，即对任意t,s>0，有
P{X(t+s)-X(s)=n}=e
E[X(t)]=λt，λ=
-λt
(λt)nn!
n=0,1,
E[X(t)]
，表示单位时间内时间Ａ发生的平均个数，也称速率或强度。 t
２，设随机计数过程{X(t),t≥0}，其状态仅取非负整数值，若满足以下三个条件，则称：{X(t),t≥0}是具有参数λ
的泊松过程。①X(0)=0；②独立、平稳增量过程；③⎨
⎧⎪P{X(t+h)-X(t)=1}=λh+o(h)
。
⎪⎩P{X(t+h)-X(t)≥2}=o(h)
第三个条件说明，在充分小的时间间隔内，最多有一个事件发生，而不可能有两个或两个以上事件同时发生，也称为
单跳性。 二．基本性质
１，数字特征 mX(t)=E[X(t)]=λt=D[X(t)] RX(s,t)=⎨
⎧λs(λt+1)⎩λt(λs+1)
s
BX(s,t)=RX(s,t)-mX(s)mX(t)=λmin(s,t) 推导过程要非常熟悉
２，Tn表示第n-1事件Ａ发生到第n次事件发生的时间间隔，{Tn,n≥1}是时间序列，随机变量Tn服从参数为λ的
⎧λe-λt,t≥0⎧1-e-λt,t≥01
指数分布。概率密度为f(t)=⎨，分布函数FTn(t)=⎨均值为ETn=
λt
证明过程也要很熟悉 到达时间的分布 略
三．非齐次泊松过程 到达强度是t的函数
⎧⎪P{X(t+h)-X(t)=1}=λ(t)h+o(h)
①X(0)=0；②独立增量过程；③⎨。 不具有平稳增量性。
⎪⎩P{X(t+h)-X(t)≥2}=o(h)
均值函数mX(t)=E[X(t)]=
⎰λ(s)ds
t
定理：{X(t),t≥0}是具有均值为mX(t)=
⎰λ(s)ds的非齐次泊松过程，则有
t
[mX(t+s)-mX(t)]n
P{X(t+s)-X(t)=n}=exp{-[mX(t+s)-mX(t)]}
n!
四．复合泊松过程
设{N(t),t≥0}是强度为λ的泊松过程，{Yk,k=1,2, }是一列独立同分布的随机变量，且与{N(t),t≥0}独立，令
N(t)
X(t)=
∑Y
k=1
k
则称{X(t),t≥0}为复合泊松过程。
重要结论：
{X(t),t≥0}是独立增量过程；若E(Y12)
第四章 马尔可夫链
泊松过程是时间连续状态离散的马氏过程，维纳过程是时间状态都连续的马氏过程。时间和状态都离散的马尔可夫过程称为马尔可夫链。
马尔可夫过程的特性：马尔可夫性或无后效性。即：在过程时刻t0所处的状态为已知的条件下，过程在时刻t>t0
所处状态的条件分布与过程在时刻t0之前所处的状态无关。也就是说，将来只与现在有关，而与过去无关。表示为
P{X(tn)≤xnX(t1)=x1, ,X(tn-1)=xn-1}=P{X(tn)≤xnX(tn-1)=xn-1}
一．马尔可夫链的概念及转移概率
∈I，条件概率满足1．定义：设随机过程{Xn,n∈T}，对任意的整数n∈T和任意的i0,i1, ,ni+1
P{Xn+1=in+1X0=i0,X1=i1, ,Xn=in}=P{Xn+1=in+1Xn=in}，则称{Xn,n∈T}为马尔可夫链。
马尔可夫链的统计特性完全由条件概率PXn+1=in+1Xn=in所决定。
2．转移概率 PXn+1=jXn=i相当于随机游动的质点在时刻n处于状态i的条件下，下一步转移到j的概率。记为pij(n)。则pij(n)=PXn+1=jXn=i称为马尔可夫链在时刻n的一步转移概率。若齐次马尔可夫链，则pij(n)与
{}
{}
{}
n无关，记为pij。
P=[pij]
i,j∈I
(n)
I=1,2, 称为系统的一步转移矩阵。性质：每个元素pij≥0，每行的和为1。
=PXm+n=jXm=i ；P
(l)ik
3．n步转移概率pij
{}
(n)
=[pij(n)]
i,j∈II=1,2, 称为n步转移矩阵。
重要性质：①pij(n)=
∑p
k∈I
pkj(n-l) 称为C-K方程，证明中用到条件概率的乘法公式、马尔可夫性、齐次性。
P{Xm=i,Xm+n=j}PXm=ipij(n)=P{Xm+n=jXm=i}==∑
掌握证明方法：
k∈T
P{Xm=i,Xm+l=k,Xm+n=j}
PXm=iP{Xm=i,Xm+l=k,Xm+n=j}P{Xm=i,Xm+l=k}
⋅
PXm=i,Xm+l=kPXm=ik∈I
=∑
k∈T
(n-l)(l)(l)(n-l)
=∑pkj(m+l)⋅pik(m)=∑pik⋅pkjk∈I
②P
(n)
=Pn 说明n步转移概率矩阵是一步转移概率矩阵的n次乘方。
4．{Xn,n∈T}是马尔可夫链，称pj=P{X0=j}为初始概率，即0时刻状态为j的概率；称pj(n)=P{Xn=j}为绝对概率，即n时刻状态为j的概率。P(0)={p1,p2, }为初始概率向量，P(n)={p1(n),p2(n), }为绝对概率
T
T
向量。
定理：①pj(n)=
∑pp
ii∈I
(n)
ij
矩阵形式：P(n)=P(0)P
TT(n)
②pj(n)=
∑p(n-1)p
ii∈I
ij
定理：P{X1=i1,X2=i2, ,Xn=in}=概率所决定。
二．马尔可夫链的状态分类
∑pp
ii∈I
ii1
pin-1in 说明马氏链的有限维分布完全由它的初始概率和一步转移
>0。若d>1，则称该1．周期：自某状态出发，再返回某状态的所有可能步数最大公约数，即d=GC⋅⋅Dn:pii
状态是周期的；若d=1，则称该状态是非周期的。 2．首中概率：fij表示由i出发经n步首次到达j的概率。
(n)
{
(n)
}
3．fij=
∑f
n=1
∞
(n)ij
表示由i出发经终于（迟早要）到达j的概率。
4．如果fii=1，则状态i是常返态；如果fii
∑nf
n=1
∞
(n)ii表示由i出发再返回到i的平均返回时间。若μi
返态。非周期的正常返态是遍历状态。 6．状态i是常返充要条件是
∑pii=∞；状态i是非常返充要条件是∑pii(n)=
(n)
n=0
∞∞
n=0
1
。 1-fii
7．称状态i与j互通，ij,即i→j且j→i。如果ij，则他们同为常返态或非常返态，；若i，j同为常返态，则他们同为正常返态或零常返态，且i，j有相同的周期。 8．状态i是遍历状态的充要条件是limpii=
n→∞
(n)
1
μi
>0。一个不可约的、非周期的、有限状态的马尔可夫链是遍历的。
9．要求：熟悉定义定理，能由一步转移概率矩阵画出状态转移图，从而识别各状态。 三．状态空间的分解
1．设C是状态空间I的一个闭集，如果对任意的状态i∈C，状态j∉C，都有pij=0（即从i出发经一步转移不能到达j），则称C为闭集。如果C的状态互通，则称C是不可约的。如果状态空间不可约，则马尔可夫链{Xn,n∈T}不可约。或者说除了C之外没有其他闭集，则称马尔可夫链{Xn,n∈T}不可约。 2．C为闭集的充要条件是：对任意的状态i∈C，状态j∉C，都有pij
(n)
=0。所以闭集的意思是自C的内部不能到
达C的外部。意味着一旦质点进入闭集C中，它将永远留在C中运动。 如果pii=1，则状态i为吸收的。等价于单点{i}为闭集。
3．马尔可夫链的分解定理：任一马尔可夫链的状态空间I，必可唯一地分解成有限个互不相交的子集
D,C1,C2, Cn 的和，①每一个Cn都是常返态组成的不可约闭集；②Cn中的状态同类，或全是正常返态，或全是
零常返态，有相同的周期，且fij=1。③D是由全体非常返态组成。 分解定理说明：状态空间的状态可按常返与非常返分为两类，非常返态组成集合D，常返态组成一个闭集C。闭集C又可按互通关系分为若干个互不相交的基本常返闭集C1,C2, Cn 。 含义：一个马尔可夫链如果从D中某个非常返态出发，它或者一直停留在D中，或某一时刻进入某个基本常返闭集Cn，一旦进入就永不离开。一个马尔可夫链如果从某一常返态出发，必属于某个基本常返闭集Cn，永远在该闭集Cn中运动。
4．有限马尔可夫链：一个马尔可夫链的状态空间是一个有限集合。
性质：①所有非常返态组成的集合不是闭集；②没有零常返态；③必有正常返态；④状态空间I=D+C1+C2+ +Cn，
D是非常返集合，C1,C2, Cn是正常返集合。
不可约有限马尔可夫链只有正常返态。
四．pij的渐近性质与平稳分布
1．为什么要研究转移概率pij的遍历性？
(n)
研究pij当n→∞时的极限性质，即PXn=jX0=i的极限分布，包含两个问题：一是limpij是否存在；二是
n→∞
(n)
(n)
{}
(n)
如果存在，是否与初始状态有关。这一类问题称作遍历性定理。
如果对i,j∈I，存在不依赖于i的极限limpij=pj>0，则称马尔可夫链具有遍历性。 一个不可约的马尔可夫
n→∞
(n)
链，如果它的状态是非周期的正常返态，则它就是一个遍历链。 具有遍历性的马尔可夫链，无论系统从哪个状态出发，当转移步数n充分大时，转移到状态j的概率都近似等于pj，这时可以用pj作为pij的近似值。 2．研究平稳分布有什么意义？
判别一个不可约的、非周期的、常返态的马尔可夫链是否为遍历的，可以通过讨论limpij来解决，但求极限时困难
n→∞
(n)
(n)
的。所以，我们通过研究平稳分布是否存在来判别齐次马尔可夫链是否为遍历链。一个不可约非周期常返态的马尔可夫链是遍历的充要条件是存在平稳分布，且平稳分布即极限分布limpij=
n→∞
(n)
1
μj
,j∈I。
3．{Xn,n≥0}是齐次马尔可夫链，状态空间为I，一步转移概率为pij，概率分布πj,j∈I称为马尔可夫链的平稳
{}
πj=∑πipij
分布，满足
j∈I
i∈I
∑π
j
=1
4．定理：不可约非周期马尔可夫链是正常返的充要条件是存在平稳分布，且此平稳分布就是极限分布
1
μj
,j∈I。 推
论：有限状态的不可约非周期马尔可夫链必存在平稳分布。
5．在工程技术中，当马尔可夫链极限分布存在，它的遍历性表示一个系统经过相当长时间后达到平衡状态，此时系统各状态的概率分布不随时间而变，也不依赖于初始状态。
6．对有限马尔可夫链，如果存在正整数k，使pij>0，即k步转移矩阵中没有零元素，则该链是遍历的。
第六章 平稳随机过程
一．定义（第一章）
严平稳过程：有限维分布函数沿时间轴平移时不发生变化。
宽平稳过程：满足三个条件：二阶矩过程E[X(t)]
2
(k)
⎤即RX(t,t-τ)=E⎡⎣X(t)X(t-τ)⎦=RX(τ)。
宽平稳过程不一定是严平稳过程，而严平稳过程一定是宽平稳过程。
二．联合平稳过程及相关函数的性质
⎤⎡⎤1．定义：设{X(t),t∈T}和{X(t),t∈T}是两个平稳过程，若它们的互相关函数E⎡⎣X(t)Y(t-)⎦及E⎣Y(t)X(t-)⎦
仅与时间差τ有关，而与起点t无关，则称X(t)和Y(t)是联合平稳随机过程。
⎤⎡⎤ 即，RXY(t,t-τ)=E⎡⎣X(t)Y(t-τ)⎦=RXY(τ) RYX(t,t-τ)=E⎣Y(t)X(t-τ)⎦=RYX(τ)
当然，当两个平稳过程联合平稳时，其和也是平稳过程。
２．相关函数的性质：①RX(0)≥0；②RX(τ)≥RX()，对于实平稳过程，RX(τ)是偶函数。③RX(τ)≤RX(0)④非负定。⑤若X(t)是周期的，则相关函数RX(τ)也是周期的，且周期相同。⑥如果X(t)是不含周期分量的非周期过程，X(t)与X(t+τ)相互独立，则
Rlimτ
||→∞
X
(τ)=mXmX。
RXY(-τ)=RYX(τ)。联合平稳过程X(t)和Y(t)RXY(τ)≤RX(0)RY(0)RYX(τ)≤RX(0)RY(0)；X(t)
和Y(t)是实联合平稳过程时，则，RXY(-τ)=RYX(τ)。 三．随机分析 略
四．平稳过程的各态历经性
1
１．时间均值X(t)=l..im
T→∞2T
⎰
T
-T
X(t)dt
T→∞
时间相关函数X(t)X(t-)=l..im
1
2T
⎰
T
-T
X(t)X(t-)dt
２．如果X(t)=E[X(t)]=mX(t)以概率１成立，则称均方连续的平稳过程的均值有各态历经性。
如果X(t)X(t-τ)=E[X(t)X(t-τ)]=RX(τ)以概率１成立，则称均方连续的平稳过程的相关函数有各态历经性。
如果均方连续的平稳过程的均值和相关函数都有各态历经性，则称该平稳过程是各态历经的或遍历的。 一方面表明各态历经过程各样本函数的时间平均实际上可以认为是相同的；另一方面也表明E[X(t)]与
E[X(t)X(t-τ)]必定与t无关，即各态历经过程必是平稳过程。
３．讨论平稳过程的历经性，就是讨论能否在较宽松的条件下，用一个样本函数去近似计算平稳过程的均值、协方差函数等数字特征，即用时间平均代替统计平均。 只在一定条件下的平稳过程，才具有各态历经性。 ４．均值各态历经性定理：均方连续的平稳过程的均值具有各态历经的充要条件是
1T→∞2Tlim
⎰
2T
-2T
(1-
τ
2T
)(RX(τ)-mX)dτ=0
2
５．相关函数各态历经性定理：均方连续的平稳过程的相关函数具有各态历经的充要条件是
1limT→∞2T
⎰
2T
-2T
(1-
τ1
2T
)[B(τ1)-RX(τ)]dτ=0 B(τ1)=E[X(t)X(t-τ)X(t-τ1)X(t-τ-τ1)]
2
第七章 平稳过程的谱分析 一．平稳过程的谱密度 推导过程：
随机过程{X(t),-∞
∞
2
T
⎧⎪X(t),t≤T
，由于XT(t)均方可积，所以存在
0,t>T⎪⎩
⎰
∞
-∞2
XT(t)e-jωtdt=⎰X(t)e-jωtdt，利用paserval定理及IFT定义得
-T
T
1
X(t)dt=X(t)dt=⎰-∞T⎰-T
2π
⎰
∞
-∞
F(ω,T)dω 该式两边都是随机变量，取平均值，这时不仅要对时间区间
2
[-T,T]取，还要取概率意义下的统计平均，即 ⎡1Elim⎢⎣2TT→∞
定义ψ=
2
1⎤2
X(t)dt=lim⎰-T⎥⎦T→∞2π
T12⎤⎡1
EF(ω,T)dω=⎰-∞⎢⎥2π⎣2T⎦
∞1⎡2
⎤dω EF(ω,T)⎰-∞lim⎣⎦T→∞2T
∞
⎡1
Elim⎢⎣2TT→∞⎤2
X(t)dt为{X(t),-∞
T
sX(ω)=lim
T→∞
1⎡2
EF(ω,T)⎤为{X(t),-∞
⎦2T⎣
可以推出当{X(t),-∞
ψ2=limE⎢
T→∞
⎡1
⎣2T⎤⎡12
X(t)dt=lim⎰-T⎥⎢⎦T→∞⎣2T
T⎤22
⎡⎤⎡EX(t)=EX⎰-T⎣⎦⎥⎣(t)⎤⎦=RX(0)
⎦
T
ψ2=
12π
⎰
∞
-∞
sX(ω)dω 说明平稳过程的平均功率等于过程的均方值，或等于谱密度在频域上的积分。
∞
２．平稳过程的谱密度和相关函数构成FT对。
1
RX(τ)=
2π
⎰
∞
-∞
sX(ω)e
jωτ
ωτ
dω sX(ω)=⎰RXτ(e-j)dτ
-∞
若平稳随机序列{Xn,n=0,±1,±2, }，则其谱密度和相关函数构成FT对
1
RX(n)=
2π
⎰
∞
-∞
sX(ω)e
jωn
=dω sX(ω)
n=-∞
∑R
∞
X
n(e-j)ωn
二．谱密度的性质
１．①sX(ω)是RX(τ)的FT。sX(ω)=
⎰
∞
-∞
RX(τ)e-jωτdτ
如果{X(t),-∞
=sX(ω)=2⎰RX(τ)cos(ωτ)dτ RX(τ)
∞
1
π
⎰
∞
-∞
sXω(
)ωτcodsω( )
②sX(ω)是ω的有理分式，分母无实根。
２．谱密度的物理含义，sX(ω)是一个频率函数，从频率域来描绘X(t)统计规律的数字特征，而X(t)是各种频率简谐波的叠加，sX(ω)就反映了各种频率成分所具有的能量大小。 ３．计算 可以按照定义计算，
也可以利用常用的变换对δ(t)1 12πδ(ω) e
-a
2a
ω2+a2
a>0 -
2
ω
2
cos(ω0τ)π[δ(ω+ω0)+δ(ω-ω0)] sin(ω0τ)-jπ[δ(ω+ω0)-δ(ω-ω0)] RX(τ)⋅e
jω0τ
sX(ω-ω0) RX(τ+T)sX(ω)⋅e
jωT
sinω0τ
πτ
⎧⎪1,⎨⎪⎩0,
ω
等
ω≥ω0
三．窄带过程及白噪声过程的功率谱密度
１．窄带随机过程：随机过程的谱密度限制在很窄的一段频率范围内。
２．白噪声过程：设{X(t),-∞
其相关函数为RX(τ)=N0δ(τ)。表明在任意两个时刻t1和t2，X(t1)和X(t2)不相关，即白噪声随时间的变换起伏极快，而过程的功率谱极宽，对不同输入频率的信号都有可能产生干扰。 四．联合平稳过程的互谱密度
互谱密度没有明确的物理意义，引入它主要是为了能在频率域上描述两个平稳过程的相关性。 １．互谱密度与互相关函数成ＦＴ对关系
∞1∞jωτ-jωτ
s(ω)edωs(ω)=Rτ(e)τ dXYXYXY⎰⎰-∞-∞2π
∞1∞jωτjωτ
RYX(τ)=sYX(ω)edω sYX(ω)=⎰RYτX(-e)τ d⎰-∞2π-∞
RXY(τ)=
２．性质
sXY(ω)=sXY(ω) sXY(ω)的实部是ω的偶函数，虚部是ω的奇函数，sYX(ω)也是。
sXY(ω)≤sX(ω)sY(ω)； 若X(t)和Y(t)相互正交，有RXY(τ)=0，则sXY(ω)=sYX(ω)=0 。
五．平稳过程通过线性系统
１．系统的频率响应函数H(ω)（也可以写成H(jω)）一般是一个复值函数，是系统单位脉冲响应的FT。
2
H(ω)=⎰h(t)e-jωtdt
-∞
∞
h(t)=
1
2π
⎰
∞
-∞
H(ω)ejωtdω
２．系统输入X(t)为实平稳随机过程，则输出Y(t)也是实平稳随机过程。即输出过程的均值为常数，相关函数是时间差的函数。且有RY(τ)=RXY(τ)*h(-)=RX(τ)*h(τ)*h(-)
说明输出过程的相关函数可以通过两次卷积产生。
RXY(τ)=RX(τ)*h(τ)的应用：给系统一个白噪声过程X(t)，可以从实测的互相关资料估计线性系统的未知脉
冲响应。因为RX(τ)=N0δ(τ)，RXY(τ)=RX(τ)*h(τ)=
⎰
∞
-∞
N0δ(τ-u)h(u)du=N0h(τ)，从而
h(τ)=
RXY(τ)
N0
2
=Hω(３．输入输出谱密度之间的关系 sY(ω)
2
s)Xω (
)
H(ω)=H(ω)H()称为系统的频率增益因子或频率传输函数。
有时，采用时域卷积的方法计算输出的相关函数比较烦琐，可以先计算输出过程的谱密度，然后反FT计算出相关函数。RX(τ)→sY(ω)=H(ω)sX(ω)→RY(τ)
另外RXY(τ)=RX(τ)*h(τ)，所以sXY(ω)=H(ω)sX(ω) ，sYX(ω)=H()sX(ω) 补充：排队轮
平均间隔时间=总时间/到达顾客总数 平均服务时间=服务时间总和/顾客总数 平均到达率=到达顾客总数/总时间 平均服务率=顾客总数/服务时间总和
2
一．当顾客到达符合泊松过程时，顾客相继到达的间隔时间T必服从负指数分布。对于泊松分布，λ表示单位时间平均到达的顾客数，所以
1
表示顾客相继到达的平均间隔时间。 λ
服务时间符合负指数分布时，设它的概率密度函数和分布函数分别为
f(t)=μe-μt
F(t)=P{T≤t}=⎰μe
0t
-μt
dt=-⎰d[e-μt] 其中μ表示单位时间能够服务完的顾客数，为服务率；而
t
1
表示一μ
=1-e-μt
个顾客的平均服务时间。 二．排队模型的求解
把系统中的顾客数称为系统的状态。若系统中有n个顾客，则称系统的状态是n。
瞬态和稳态：考虑在t时刻系统的状态为n的概率，它是随时刻t而变化的，用Pn(t)表示，称为系统的瞬态。求瞬态解是很不容易的，求出也很难利用。因此我们常用稳态概率Pn，表示系统中有n个顾客的概率。 各运行指标：
1）队长：把系统中的顾客数称为队长，它的期望值记作Ls，也叫平均队长，即系统中的平均顾客数。
而把系统中排队等待服务的顾客数称为排队长（队列长），它的期望值记作Lq，也叫平均排队长，即系统中的排队的平均顾客数。 显然有 队长＝排队长＋正被服务的顾客数。
2）逗留时间：一个顾客从到达排队系统到服务完毕离去的总停留时间称为逗留时间，它的期望值记作Ws。一个顾客在系统中排队等待的时间称为等待时间，它的期望值记作Wq。逗留时间＝等待时间＋服务时间。 3）忙期：从顾客到达空闲服务机构起，到服务台再次变为空闲为止。 4）顾客损失率：由于服务能力不足而造成顾客损失的比率。 5）服务强度（服务机构利用率）：指服务设备工作时间占总时间的比例。 三．几种典型的排队模型
1．M/M/1/∞/∞：单服务台，系统容量无限，顾客源无限。λ到达率，μ服务率，ρ=态转移图 ， 稳态概率方程 得
系统中无顾客的Pn=(1-ρ)ρ=P0ρ 0=1-ρ 系统中有n个顾客的概率P
n
n
λ
服务强度。 状μ
Ls=∑nPn=
λμ-λ
Lq=
LqLρρλ1
= Ws=s= Wq= λμ-λμ-λλμ-λ
Wq=
且必有Ls=Lq+
λ
u
Lq
λ
Ws=Wq+
1
μ
2．M/M/1/N/∞：单服务台，系统容量为N（说明若到了系统最大容量，顾客将不能进入系统），顾客源无限。λ到达率，μ服务率，ρ=
λ
服务强度。☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆ μ
状态转移图 ， 稳态概率方程 得
系统中无顾客的P0=
1-ρn
P=Pρ 系统中有个顾客的概率 nn0N+1
1-ρ
Ls(N+1)ρN+11
L=L-(1-P) Ls=-W=W=W-qs0ss
N+1qρ
1-ρ1-ρμ(1-P0)μ
3．M/M/1/∞/m：单服务台，系统容量无限，顾客源m。λ到达率，μ服务率。 状态转移图 ， 稳态概率方程 得 系统中无顾☆客的P1
0=
∑
m
m!系统中有n个顾客的概率Pm!n=
(m-n)!(λ
μ
)nP0 1≤n≤m
i=0
(m-i)!(μ
)i
Lμ
s=m-
(λλ(1-P+μ)(1-P0)m0)；Lq=m-λ
=Ls-(1-P0) Ws=
μ(1-P-1 W1q=Ws- 0)λμ4. M/M/c/∞/∞：多服务台，系统容量无限，顾客源无限。λ到达率，μ服务率，ρ=λ
cμ
服务强度。移图 ， 稳态概率方程 得☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆
⎡c-1⎛λ⎫k-1
=⎢⎢⎣∑k!k=0 ⎝μ⎪⎭+1⎛c! λ⎫c系统中无顾客的P⎝μ⎪1⎤
0⎭1-ρ⎥⎥
⎦⎧⎪1λn
n!(μ)P0
n≤c系统中有n个顾客的概率P⎪
n=⎨⎪1
⎪⎩
c!cn-c(λμ)nP0n>cλ(cc
L+ρ)ρs=Lqμ Lq=c!(1-ρ)
2P0
Ws=Lsλ Wq=Lqλ
eix
=cosx+isinx coseix+e-ixeix-e-ix x=2 sinx=2
状态转
⎰+∞-∞e-x22dx=2π
第一章 随机过程的基本概念与基本类型
一．随机变量及其分布
1．随机变量X， 分布函数F(x)=P(X≤x)
离散型随机变量X的概率分布用分布列 pk=P(X=xk) 分布函数F(x)=
连续型随机变量X的概率分布用概率密度f(x) 分布函数F(x)=
2．n维随机变量X=(X1,X2, ,Xn)
其联合分布函数F(x)=F(x1,x2, ,xn)=P(X1≤x1,X2≤x2, ,Xn≤xn,)
离散型 联合分布列 连续型 联合概率密度
３．随机变量的数字特征
数学期望：离散型随机变量X EX=
22∑pk ⎰x-∞f(t)dt ∑x2kpk 连续型随机变量X EX=⎰xf(x)dx -∞∞方差：DX=E(X-EX)=EX-(EX) 反映随机变量取值的离散程度
协方差（两个随机变量X,Y）：BXY=E[(X-EX)(Y-EY)]=E(XY)-EX⋅EY
相关系数（两个随机变量X,Y）：ρXY=BXY
DX⋅DY 若ρ=0，则称X,Y不相关。
独立⇒不相关⇔ρ=0
４．特征函数g(t)=E(eitX) 离散 g(t)=∑eitxkpk 连续 g(t)=⎰eitxf(x)dx -∞∞
kkk重要性质：g(0)=1，g(t)≤1，g(-t)=g(t)，g(0)=iEX
g(k)(0)'"''2母函数：g(z)=E(z)=∑pkz pk= E(X)=g(1) D(X)=g(1)+g(1)-[g(1)] k!k=0k∞k
５．常见随机变量的分布列或概率密度、期望、方差
０－１分布 P(X=1)=p,P(X=0)=q EX=p DX=pq
二项分布 P(X=k)=Cnpq
泊松分布 P(X=k)=e-λkkn-k EX=np DX=np qλk
k! EX=λ DX=λ 均匀分布略
(x-a)2
2σ22正态分布N(a,σ) f(x)=1
2πσe- EX=a DX=σ 2
⎧λe-λx,x≥011指数分布 f(x)=⎨ EX= DX=2 λx
６．Ｎ维正态随机变量X=(X1,X2, ,Xn)的联合概率密度X~N(a,B)
f(x1,x2, ,xn)=1
(2π)|B|n
2121exp{-(x-a)TB-1(x-a)} 2
a=(a1,a2, ,an)T，x=(x1,x2, ,xn)T，B=(bij)n⨯n正定协方差阵
3.随机向量的变换
二．随机过程的基本概念
１．随机过程的一般定义
设(Ω,P)是概率空间，T是给定的参数集，若对每个t∈T，都有一个随机变量X与之对应，则称随机变量
P)上的随机过程。简记为{X(t),t∈T}。 族{X(t,e),t∈T}是(Ω,
含义：随机过程是随机现象的变化过程，用一族随机变量才能刻画出这种随机现象的全部统计规律性。另一方面，它是某种随机实验的结果，而实验出现的样本函数是随机的。
当t固定时，X(t,e)是随机变量。当e固定时，X(t,e)时普通函数，称为随机过程的一个样本函数或轨道。 分类：根据参数集T和状态空间I是否可列，分四类。 也可以根据X(t)之间的概率关系分类，如独立增量过程，马尔可夫过程，平稳过程等。
２．随机过程的分布律和数字特征
用有限维分布函数族来刻划随机过程的统计规律性。随机过程{X(t),t∈T}的一维分布，二维分布，…，n维分布的全体称为有限维分布函数族。随机过程的有限维分布函数族是随机过程概率特征的完整描述。在实际中，要知道随机过程的全部有限维分布函数族是不可能的，因此用某些统计特征来取代。
（１）均值函数mX(t)=EX(t) 表示随机过程{X(t),t∈T}在时刻t的平均值。
（２）方差函数DX(t)=E[X(t)-mX(t)]表示随机过程在时刻t对均值的偏离程度。
（３）协方差函数2BX(s,t)=E[(X(s)-mX(s))(X(t)-mX(t))]
=E[X(s)X(t)]-mX(s)mX(t) 且有BX(t,t)=DX(t)
（４）相关函数RX(s,t)=E[X(s)X(t)] (3)和(4)表示随机过程在时刻s，t时的线性相关程度。
（５）互相关函数：{X(t),t∈T}，{Y(t),t∈T}是两个二阶距过程，则下式称为它们的互协方差函数。
BXY(s,t)=E[(X(s)-mX(s))(Y(t)-mY(t))]
=E[X(s)Y(t)]-mX(s)mY(t)，那么RXY(s,t)=E[X(s)Y(t)]，称为互相关函数。
若E[X(s)Y(t)]=mX(s)mY(t)，则称两个随机过程不相关。
３．复随机过程 Zt=Xt+jYt
均值函数mZ(t)=EXt+jEYt 方差函数DZ(t)=E[|Zt-mZ(t)|]=E[(Zt-mZ(t))(Zt-mZ(t))] 协方差函数2BZ(s,t)=E[(Zs-mZ(s))(Zt-mZ(t))]
=E[ZsZt]-mZ(s)mZ(t)相关函数RZ(s,t)=E[ZsZt]
４．常用的随机过程
（１）二阶距过程：实（或复）随机过程{X(t),t∈T}，若对每一个t∈T，都有EX(t)
该随机过程为二阶距过程。
（2）正交增量过程：设{X(t),t∈T}是零均值的二阶距过程，对任意的t1
E[(X(t2)-X(t1))(X(t4)-X(t3))]=0，则称该随机过程为正交增量过程。
其协方差函数BX(s,t)=RX(s,t)=σX(min(s,t))
（3）独立增量过程：随机过程{X(t),t∈T}，若对任意正整数n≥2，以及任意的t1
稳独立增量过程。
（4）马尔可夫过程：如果随机过程{X(t),t∈T}具有马尔可夫性，即对任意正整数n及t1
P(X(t1)=x1, ,X(tn-1)=xn-1)>0，都有
P{X(tn)≤xnX(t1)=x1, ,X(tn-1)=xn-1}=P{X(tn)≤xnX(tn-1)=xn-1}，则则称{X(t),t∈T}是马尔可夫过程。
（5）正态过程：随机过程{X(t),t∈T}，若对任意正整数n及t1,t2, ,tn∈T，（X(t1),X(t2) X(tn)）是n维正态随机变量，其联合分布函数是n维正态分布函数，则称{X(t),t∈T}是正态过程或高斯过程。 （6）维纳过程：是正态过程的一种特殊情形。
设{W(t),-∞
2
σ2>0。则称{W(t),-∞
另外：①它是一个Markov过程。因此该过程的当前值就是做出其未来预测中所需的全部信息。
②维纳过程具有独立增量。该过程在任一时间区间上变化的概率分布独立于其在任一的其他时间区间上变化的概率。③它在任何有限时间上的变化服从正态分布，其方差随时间区间的长度呈线性增加。 （7）平稳过程： 严（狭义）平稳过程：{X(t),t∈T}，如果对任意常数τ和正整数n及t1,t2, ,tn∈T，t1+τ,t2+τ, ,tn+τ∈T，（X(t1),X(t2) X(tn)）与（X(t1+τ),X(t2+τ) X(tn+τ)）有相同的联合分布，则称{X(t),t∈T}是严（狭义）平稳过程。
广义平稳过程：随机过程{X(t),t∈T}，如果①{X(t),t∈T}是二阶距过程；②对任意的t∈T，
mX(t)=EX(t)=常数；③对任意s，t∈T，RX(s,t)=E[X(s)X(t)]=RX(t-s)，或仅与时间差t-s有关。则满
足这三个条件的随机过程就称为广义平稳过程，或宽平稳过程，简称平稳过程。
第三章 泊松过程
一．泊松过程的定义（两种定义方法）
１，设随机计数过程{X(t),t≥0}，其状态仅取非负整数值，若满足以下三个条件，则称：{X(t),t∈T}是具有参数λ的泊松过程。①X(0=)
；0②独立增量过程，对任意正整数n，以及任意的
t1
③在任一长度为t的区间中，事件Ａ发生的次数服从参数
λt>0的的泊松分布，即对任意t,s>0，有
P{X(t+s)-X(s)=n}=e
E[X(t)]=λt，λ=
-λt
(λt)nn!
n=0,1,
E[X(t)]
，表示单位时间内时间Ａ发生的平均个数，也称速率或强度。 t
２，设随机计数过程{X(t),t≥0}，其状态仅取非负整数值，若满足以下三个条件，则称：{X(t),t≥0}是具有参数λ
的泊松过程。①X(0)=0；②独立、平稳增量过程；③⎨
⎧⎪P{X(t+h)-X(t)=1}=λh+o(h)
。
⎪⎩P{X(t+h)-X(t)≥2}=o(h)
第三个条件说明，在充分小的时间间隔内，最多有一个事件发生，而不可能有两个或两个以上事件同时发生，也称为
单跳性。 二．基本性质
１，数字特征 mX(t)=E[X(t)]=λt=D[X(t)] RX(s,t)=⎨
⎧λs(λt+1)⎩λt(λs+1)
s
BX(s,t)=RX(s,t)-mX(s)mX(t)=λmin(s,t) 推导过程要非常熟悉
２，Tn表示第n-1事件Ａ发生到第n次事件发生的时间间隔，{Tn,n≥1}是时间序列，随机变量Tn服从参数为λ的
⎧λe-λt,t≥0⎧1-e-λt,t≥01
指数分布。概率密度为f(t)=⎨，分布函数FTn(t)=⎨均值为ETn=
λt
证明过程也要很熟悉 到达时间的分布 略
三．非齐次泊松过程 到达强度是t的函数
⎧⎪P{X(t+h)-X(t)=1}=λ(t)h+o(h)
①X(0)=0；②独立增量过程；③⎨。 不具有平稳增量性。
⎪⎩P{X(t+h)-X(t)≥2}=o(h)
均值函数mX(t)=E[X(t)]=
⎰λ(s)ds
t
定理：{X(t),t≥0}是具有均值为mX(t)=
⎰λ(s)ds的非齐次泊松过程，则有
t
[mX(t+s)-mX(t)]n
P{X(t+s)-X(t)=n}=exp{-[mX(t+s)-mX(t)]}
n!
四．复合泊松过程
设{N(t),t≥0}是强度为λ的泊松过程，{Yk,k=1,2, }是一列独立同分布的随机变量，且与{N(t),t≥0}独立，令
N(t)
X(t)=
∑Y
k=1
k
则称{X(t),t≥0}为复合泊松过程。
重要结论：
{X(t),t≥0}是独立增量过程；若E(Y12)
第四章 马尔可夫链
泊松过程是时间连续状态离散的马氏过程，维纳过程是时间状态都连续的马氏过程。时间和状态都离散的马尔可夫过程称为马尔可夫链。
马尔可夫过程的特性：马尔可夫性或无后效性。即：在过程时刻t0所处的状态为已知的条件下，过程在时刻t>t0
所处状态的条件分布与过程在时刻t0之前所处的状态无关。也就是说，将来只与现在有关，而与过去无关。表示为
P{X(tn)≤xnX(t1)=x1, ,X(tn-1)=xn-1}=P{X(tn)≤xnX(tn-1)=xn-1}
一．马尔可夫链的概念及转移概率
∈I，条件概率满足1．定义：设随机过程{Xn,n∈T}，对任意的整数n∈T和任意的i0,i1, ,ni+1
P{Xn+1=in+1X0=i0,X1=i1, ,Xn=in}=P{Xn+1=in+1Xn=in}，则称{Xn,n∈T}为马尔可夫链。
马尔可夫链的统计特性完全由条件概率PXn+1=in+1Xn=in所决定。
2．转移概率 PXn+1=jXn=i相当于随机游动的质点在时刻n处于状态i的条件下，下一步转移到j的概率。记为pij(n)。则pij(n)=PXn+1=jXn=i称为马尔可夫链在时刻n的一步转移概率。若齐次马尔可夫链，则pij(n)与
{}
{}
{}
n无关，记为pij。
P=[pij]
i,j∈I
(n)
I=1,2, 称为系统的一步转移矩阵。性质：每个元素pij≥0，每行的和为1。
=PXm+n=jXm=i ；P
(l)ik
3．n步转移概率pij
{}
(n)
=[pij(n)]
i,j∈II=1,2, 称为n步转移矩阵。
重要性质：①pij(n)=
∑p
k∈I
pkj(n-l) 称为C-K方程，证明中用到条件概率的乘法公式、马尔可夫性、齐次性。
P{Xm=i,Xm+n=j}PXm=ipij(n)=P{Xm+n=jXm=i}==∑
掌握证明方法：
k∈T
P{Xm=i,Xm+l=k,Xm+n=j}
PXm=iP{Xm=i,Xm+l=k,Xm+n=j}P{Xm=i,Xm+l=k}
⋅
PXm=i,Xm+l=kPXm=ik∈I
=∑
k∈T
(n-l)(l)(l)(n-l)
=∑pkj(m+l)⋅pik(m)=∑pik⋅pkjk∈I
②P
(n)
=Pn 说明n步转移概率矩阵是一步转移概率矩阵的n次乘方。
4．{Xn,n∈T}是马尔可夫链，称pj=P{X0=j}为初始概率，即0时刻状态为j的概率；称pj(n)=P{Xn=j}为绝对概率，即n时刻状态为j的概率。P(0)={p1,p2, }为初始概率向量，P(n)={p1(n),p2(n), }为绝对概率
T
T
向量。
定理：①pj(n)=
∑pp
ii∈I
(n)
ij
矩阵形式：P(n)=P(0)P
TT(n)
②pj(n)=
∑p(n-1)p
ii∈I
ij
定理：P{X1=i1,X2=i2, ,Xn=in}=概率所决定。
二．马尔可夫链的状态分类
∑pp
ii∈I
ii1
pin-1in 说明马氏链的有限维分布完全由它的初始概率和一步转移
>0。若d>1，则称该1．周期：自某状态出发，再返回某状态的所有可能步数最大公约数，即d=GC⋅⋅Dn:pii
状态是周期的；若d=1，则称该状态是非周期的。 2．首中概率：fij表示由i出发经n步首次到达j的概率。
(n)
{
(n)
}
3．fij=
∑f
n=1
∞
(n)ij
表示由i出发经终于（迟早要）到达j的概率。
4．如果fii=1，则状态i是常返态；如果fii
∑nf
n=1
∞
(n)ii表示由i出发再返回到i的平均返回时间。若μi
返态。非周期的正常返态是遍历状态。 6．状态i是常返充要条件是
∑pii=∞；状态i是非常返充要条件是∑pii(n)=
(n)
n=0
∞∞
n=0
1
。 1-fii
7．称状态i与j互通，ij,即i→j且j→i。如果ij，则他们同为常返态或非常返态，；若i，j同为常返态，则他们同为正常返态或零常返态，且i，j有相同的周期。 8．状态i是遍历状态的充要条件是limpii=
n→∞
(n)
1
μi
>0。一个不可约的、非周期的、有限状态的马尔可夫链是遍历的。
9．要求：熟悉定义定理，能由一步转移概率矩阵画出状态转移图，从而识别各状态。 三．状态空间的分解
1．设C是状态空间I的一个闭集，如果对任意的状态i∈C，状态j∉C，都有pij=0（即从i出发经一步转移不能到达j），则称C为闭集。如果C的状态互通，则称C是不可约的。如果状态空间不可约，则马尔可夫链{Xn,n∈T}不可约。或者说除了C之外没有其他闭集，则称马尔可夫链{Xn,n∈T}不可约。 2．C为闭集的充要条件是：对任意的状态i∈C，状态j∉C，都有pij
(n)
=0。所以闭集的意思是自C的内部不能到
达C的外部。意味着一旦质点进入闭集C中，它将永远留在C中运动。 如果pii=1，则状态i为吸收的。等价于单点{i}为闭集。
3．马尔可夫链的分解定理：任一马尔可夫链的状态空间I，必可唯一地分解成有限个互不相交的子集
D,C1,C2, Cn 的和，①每一个Cn都是常返态组成的不可约闭集；②Cn中的状态同类，或全是正常返态，或全是
零常返态，有相同的周期，且fij=1。③D是由全体非常返态组成。 分解定理说明：状态空间的状态可按常返与非常返分为两类，非常返态组成集合D，常返态组成一个闭集C。闭集C又可按互通关系分为若干个互不相交的基本常返闭集C1,C2, Cn 。 含义：一个马尔可夫链如果从D中某个非常返态出发，它或者一直停留在D中，或某一时刻进入某个基本常返闭集Cn，一旦进入就永不离开。一个马尔可夫链如果从某一常返态出发，必属于某个基本常返闭集Cn，永远在该闭集Cn中运动。
4．有限马尔可夫链：一个马尔可夫链的状态空间是一个有限集合。
性质：①所有非常返态组成的集合不是闭集；②没有零常返态；③必有正常返态；④状态空间I=D+C1+C2+ +Cn，
D是非常返集合，C1,C2, Cn是正常返集合。
不可约有限马尔可夫链只有正常返态。
四．pij的渐近性质与平稳分布
1．为什么要研究转移概率pij的遍历性？
(n)
研究pij当n→∞时的极限性质，即PXn=jX0=i的极限分布，包含两个问题：一是limpij是否存在；二是
n→∞
(n)
(n)
{}
(n)
如果存在，是否与初始状态有关。这一类问题称作遍历性定理。
如果对i,j∈I，存在不依赖于i的极限limpij=pj>0，则称马尔可夫链具有遍历性。 一个不可约的马尔可夫
n→∞
(n)
链，如果它的状态是非周期的正常返态，则它就是一个遍历链。 具有遍历性的马尔可夫链，无论系统从哪个状态出发，当转移步数n充分大时，转移到状态j的概率都近似等于pj，这时可以用pj作为pij的近似值。 2．研究平稳分布有什么意义？
判别一个不可约的、非周期的、常返态的马尔可夫链是否为遍历的，可以通过讨论limpij来解决，但求极限时困难
n→∞
(n)
(n)
的。所以，我们通过研究平稳分布是否存在来判别齐次马尔可夫链是否为遍历链。一个不可约非周期常返态的马尔可夫链是遍历的充要条件是存在平稳分布，且平稳分布即极限分布limpij=
n→∞
(n)
1
μj
,j∈I。
3．{Xn,n≥0}是齐次马尔可夫链，状态空间为I，一步转移概率为pij，概率分布πj,j∈I称为马尔可夫链的平稳
{}
πj=∑πipij
分布，满足
j∈I
i∈I
∑π
j
=1
4．定理：不可约非周期马尔可夫链是正常返的充要条件是存在平稳分布，且此平稳分布就是极限分布
1
μj
,j∈I。 推
论：有限状态的不可约非周期马尔可夫链必存在平稳分布。
5．在工程技术中，当马尔可夫链极限分布存在，它的遍历性表示一个系统经过相当长时间后达到平衡状态，此时系统各状态的概率分布不随时间而变，也不依赖于初始状态。
6．对有限马尔可夫链，如果存在正整数k，使pij>0，即k步转移矩阵中没有零元素，则该链是遍历的。
第六章 平稳随机过程
一．定义（第一章）
严平稳过程：有限维分布函数沿时间轴平移时不发生变化。
宽平稳过程：满足三个条件：二阶矩过程E[X(t)]
2
(k)
⎤即RX(t,t-τ)=E⎡⎣X(t)X(t-τ)⎦=RX(τ)。
宽平稳过程不一定是严平稳过程，而严平稳过程一定是宽平稳过程。
二．联合平稳过程及相关函数的性质
⎤⎡⎤1．定义：设{X(t),t∈T}和{X(t),t∈T}是两个平稳过程，若它们的互相关函数E⎡⎣X(t)Y(t-)⎦及E⎣Y(t)X(t-)⎦
仅与时间差τ有关，而与起点t无关，则称X(t)和Y(t)是联合平稳随机过程。
⎤⎡⎤ 即，RXY(t,t-τ)=E⎡⎣X(t)Y(t-τ)⎦=RXY(τ) RYX(t,t-τ)=E⎣Y(t)X(t-τ)⎦=RYX(τ)
当然，当两个平稳过程联合平稳时，其和也是平稳过程。
２．相关函数的性质：①RX(0)≥0；②RX(τ)≥RX()，对于实平稳过程，RX(τ)是偶函数。③RX(τ)≤RX(0)④非负定。⑤若X(t)是周期的，则相关函数RX(τ)也是周期的，且周期相同。⑥如果X(t)是不含周期分量的非周期过程，X(t)与X(t+τ)相互独立，则
Rlimτ
||→∞
X
(τ)=mXmX。
RXY(-τ)=RYX(τ)。联合平稳过程X(t)和Y(t)RXY(τ)≤RX(0)RY(0)RYX(τ)≤RX(0)RY(0)；X(t)
和Y(t)是实联合平稳过程时，则，RXY(-τ)=RYX(τ)。 三．随机分析 略
四．平稳过程的各态历经性
1
１．时间均值X(t)=l..im
T→∞2T
⎰
T
-T
X(t)dt
T→∞
时间相关函数X(t)X(t-)=l..im
1
2T
⎰
T
-T
X(t)X(t-)dt
２．如果X(t)=E[X(t)]=mX(t)以概率１成立，则称均方连续的平稳过程的均值有各态历经性。
如果X(t)X(t-τ)=E[X(t)X(t-τ)]=RX(τ)以概率１成立，则称均方连续的平稳过程的相关函数有各态历经性。
如果均方连续的平稳过程的均值和相关函数都有各态历经性，则称该平稳过程是各态历经的或遍历的。 一方面表明各态历经过程各样本函数的时间平均实际上可以认为是相同的；另一方面也表明E[X(t)]与
E[X(t)X(t-τ)]必定与t无关，即各态历经过程必是平稳过程。
３．讨论平稳过程的历经性，就是讨论能否在较宽松的条件下，用一个样本函数去近似计算平稳过程的均值、协方差函数等数字特征，即用时间平均代替统计平均。 只在一定条件下的平稳过程，才具有各态历经性。 ４．均值各态历经性定理：均方连续的平稳过程的均值具有各态历经的充要条件是
1T→∞2Tlim
⎰
2T
-2T
(1-
τ
2T
)(RX(τ)-mX)dτ=0
2
５．相关函数各态历经性定理：均方连续的平稳过程的相关函数具有各态历经的充要条件是
1limT→∞2T
⎰
2T
-2T
(1-
τ1
2T
)[B(τ1)-RX(τ)]dτ=0 B(τ1)=E[X(t)X(t-τ)X(t-τ1)X(t-τ-τ1)]
2
第七章 平稳过程的谱分析 一．平稳过程的谱密度 推导过程：
随机过程{X(t),-∞
∞
2
T
⎧⎪X(t),t≤T
，由于XT(t)均方可积，所以存在
0,t>T⎪⎩
⎰
∞
-∞2
XT(t)e-jωtdt=⎰X(t)e-jωtdt，利用paserval定理及IFT定义得
-T
T
1
X(t)dt=X(t)dt=⎰-∞T⎰-T
2π
⎰
∞
-∞
F(ω,T)dω 该式两边都是随机变量，取平均值，这时不仅要对时间区间
2
[-T,T]取，还要取概率意义下的统计平均，即 ⎡1Elim⎢⎣2TT→∞
定义ψ=
2
1⎤2
X(t)dt=lim⎰-T⎥⎦T→∞2π
T12⎤⎡1
EF(ω,T)dω=⎰-∞⎢⎥2π⎣2T⎦
∞1⎡2
⎤dω EF(ω,T)⎰-∞lim⎣⎦T→∞2T
∞
⎡1
Elim⎢⎣2TT→∞⎤2
X(t)dt为{X(t),-∞
T
sX(ω)=lim
T→∞
1⎡2
EF(ω,T)⎤为{X(t),-∞
⎦2T⎣
可以推出当{X(t),-∞
ψ2=limE⎢
T→∞
⎡1
⎣2T⎤⎡12
X(t)dt=lim⎰-T⎥⎢⎦T→∞⎣2T
T⎤22
⎡⎤⎡EX(t)=EX⎰-T⎣⎦⎥⎣(t)⎤⎦=RX(0)
⎦
T
ψ2=
12π
⎰
∞
-∞
sX(ω)dω 说明平稳过程的平均功率等于过程的均方值，或等于谱密度在频域上的积分。
∞
２．平稳过程的谱密度和相关函数构成FT对。
1
RX(τ)=
2π
⎰
∞
-∞
sX(ω)e
jωτ
ωτ
dω sX(ω)=⎰RXτ(e-j)dτ
-∞
若平稳随机序列{Xn,n=0,±1,±2, }，则其谱密度和相关函数构成FT对
1
RX(n)=
2π
⎰
∞
-∞
sX(ω)e
jωn
=dω sX(ω)
n=-∞
∑R
∞
X
n(e-j)ωn
二．谱密度的性质
１．①sX(ω)是RX(τ)的FT。sX(ω)=
⎰
∞
-∞
RX(τ)e-jωτdτ
如果{X(t),-∞
=sX(ω)=2⎰RX(τ)cos(ωτ)dτ RX(τ)
∞
1
π
⎰
∞
-∞
sXω(
)ωτcodsω( )
②sX(ω)是ω的有理分式，分母无实根。
２．谱密度的物理含义，sX(ω)是一个频率函数，从频率域来描绘X(t)统计规律的数字特征，而X(t)是各种频率简谐波的叠加，sX(ω)就反映了各种频率成分所具有的能量大小。 ３．计算 可以按照定义计算，
也可以利用常用的变换对δ(t)1 12πδ(ω) e
-a
2a
ω2+a2
a>0 -
2
ω
2
cos(ω0τ)π[δ(ω+ω0)+δ(ω-ω0)] sin(ω0τ)-jπ[δ(ω+ω0)-δ(ω-ω0)] RX(τ)⋅e
jω0τ
sX(ω-ω0) RX(τ+T)sX(ω)⋅e
jωT
sinω0τ
πτ
⎧⎪1,⎨⎪⎩0,
ω
等
ω≥ω0
三．窄带过程及白噪声过程的功率谱密度
１．窄带随机过程：随机过程的谱密度限制在很窄的一段频率范围内。
２．白噪声过程：设{X(t),-∞
其相关函数为RX(τ)=N0δ(τ)。表明在任意两个时刻t1和t2，X(t1)和X(t2)不相关，即白噪声随时间的变换起伏极快，而过程的功率谱极宽，对不同输入频率的信号都有可能产生干扰。 四．联合平稳过程的互谱密度
互谱密度没有明确的物理意义，引入它主要是为了能在频率域上描述两个平稳过程的相关性。 １．互谱密度与互相关函数成ＦＴ对关系
∞1∞jωτ-jωτ
s(ω)edωs(ω)=Rτ(e)τ dXYXYXY⎰⎰-∞-∞2π
∞1∞jωτjωτ
RYX(τ)=sYX(ω)edω sYX(ω)=⎰RYτX(-e)τ d⎰-∞2π-∞
RXY(τ)=
２．性质
sXY(ω)=sXY(ω) sXY(ω)的实部是ω的偶函数，虚部是ω的奇函数，sYX(ω)也是。
sXY(ω)≤sX(ω)sY(ω)； 若X(t)和Y(t)相互正交，有RXY(τ)=0，则sXY(ω)=sYX(ω)=0 。
五．平稳过程通过线性系统
１．系统的频率响应函数H(ω)（也可以写成H(jω)）一般是一个复值函数，是系统单位脉冲响应的FT。
2
H(ω)=⎰h(t)e-jωtdt
-∞
∞
h(t)=
1
2π
⎰
∞
-∞
H(ω)ejωtdω
２．系统输入X(t)为实平稳随机过程，则输出Y(t)也是实平稳随机过程。即输出过程的均值为常数，相关函数是时间差的函数。且有RY(τ)=RXY(τ)*h(-)=RX(τ)*h(τ)*h(-)
说明输出过程的相关函数可以通过两次卷积产生。
RXY(τ)=RX(τ)*h(τ)的应用：给系统一个白噪声过程X(t)，可以从实测的互相关资料估计线性系统的未知脉
冲响应。因为RX(τ)=N0δ(τ)，RXY(τ)=RX(τ)*h(τ)=
⎰
∞
-∞
N0δ(τ-u)h(u)du=N0h(τ)，从而
h(τ)=
RXY(τ)
N0
2
=Hω(３．输入输出谱密度之间的关系 sY(ω)
2
s)Xω (
)
H(ω)=H(ω)H()称为系统的频率增益因子或频率传输函数。
有时，采用时域卷积的方法计算输出的相关函数比较烦琐，可以先计算输出过程的谱密度，然后反FT计算出相关函数。RX(τ)→sY(ω)=H(ω)sX(ω)→RY(τ)
另外RXY(τ)=RX(τ)*h(τ)，所以sXY(ω)=H(ω)sX(ω) ，sYX(ω)=H()sX(ω) 补充：排队轮
平均间隔时间=总时间/到达顾客总数 平均服务时间=服务时间总和/顾客总数 平均到达率=到达顾客总数/总时间 平均服务率=顾客总数/服务时间总和
2
一．当顾客到达符合泊松过程时，顾客相继到达的间隔时间T必服从负指数分布。对于泊松分布，λ表示单位时间平均到达的顾客数，所以
1
表示顾客相继到达的平均间隔时间。 λ
服务时间符合负指数分布时，设它的概率密度函数和分布函数分别为
f(t)=μe-μt
F(t)=P{T≤t}=⎰μe
0t
-μt
dt=-⎰d[e-μt] 其中μ表示单位时间能够服务完的顾客数，为服务率；而
t
1
表示一μ
=1-e-μt
个顾客的平均服务时间。 二．排队模型的求解
把系统中的顾客数称为系统的状态。若系统中有n个顾客，则称系统的状态是n。
瞬态和稳态：考虑在t时刻系统的状态为n的概率，它是随时刻t而变化的，用Pn(t)表示，称为系统的瞬态。求瞬态解是很不容易的，求出也很难利用。因此我们常用稳态概率Pn，表示系统中有n个顾客的概率。 各运行指标：
1）队长：把系统中的顾客数称为队长，它的期望值记作Ls，也叫平均队长，即系统中的平均顾客数。
而把系统中排队等待服务的顾客数称为排队长（队列长），它的期望值记作Lq，也叫平均排队长，即系统中的排队的平均顾客数。 显然有 队长＝排队长＋正被服务的顾客数。
2）逗留时间：一个顾客从到达排队系统到服务完毕离去的总停留时间称为逗留时间，它的期望值记作Ws。一个顾客在系统中排队等待的时间称为等待时间，它的期望值记作Wq。逗留时间＝等待时间＋服务时间。 3）忙期：从顾客到达空闲服务机构起，到服务台再次变为空闲为止。 4）顾客损失率：由于服务能力不足而造成顾客损失的比率。 5）服务强度（服务机构利用率）：指服务设备工作时间占总时间的比例。 三．几种典型的排队模型
1．M/M/1/∞/∞：单服务台，系统容量无限，顾客源无限。λ到达率，μ服务率，ρ=态转移图 ， 稳态概率方程 得
系统中无顾客的Pn=(1-ρ)ρ=P0ρ 0=1-ρ 系统中有n个顾客的概率P
n
n
λ
服务强度。 状μ
Ls=∑nPn=
λμ-λ
Lq=
LqLρρλ1
= Ws=s= Wq= λμ-λμ-λλμ-λ
Wq=
且必有Ls=Lq+
λ
u
Lq
λ
Ws=Wq+
1
μ
2．M/M/1/N/∞：单服务台，系统容量为N（说明若到了系统最大容量，顾客将不能进入系统），顾客源无限。λ到达率，μ服务率，ρ=
λ
服务强度。☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆ μ
状态转移图 ， 稳态概率方程 得
系统中无顾客的P0=
1-ρn
P=Pρ 系统中有个顾客的概率 nn0N+1
1-ρ
Ls(N+1)ρN+11
L=L-(1-P) Ls=-W=W=W-qs0ss
N+1qρ
1-ρ1-ρμ(1-P0)μ
3．M/M/1/∞/m：单服务台，系统容量无限，顾客源m。λ到达率，μ服务率。 状态转移图 ， 稳态概率方程 得 系统中无顾☆客的P1
0=
∑
m
m!系统中有n个顾客的概率Pm!n=
(m-n)!(λ
μ
)nP0 1≤n≤m
i=0
(m-i)!(μ
)i
Lμ
s=m-
(λλ(1-P+μ)(1-P0)m0)；Lq=m-λ
=Ls-(1-P0) Ws=
μ(1-P-1 W1q=Ws- 0)λμ4. M/M/c/∞/∞：多服务台，系统容量无限，顾客源无限。λ到达率，μ服务率，ρ=λ
cμ
服务强度。移图 ， 稳态概率方程 得☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆
⎡c-1⎛λ⎫k-1
=⎢⎢⎣∑k!k=0 ⎝μ⎪⎭+1⎛c! λ⎫c系统中无顾客的P⎝μ⎪1⎤
0⎭1-ρ⎥⎥
⎦⎧⎪1λn
n!(μ)P0
n≤c系统中有n个顾客的概率P⎪
n=⎨⎪1
⎪⎩
c!cn-c(λμ)nP0n>cλ(cc
L+ρ)ρs=Lqμ Lq=c!(1-ρ)
2P0
Ws=Lsλ Wq=Lqλ
eix
=cosx+isinx coseix+e-ixeix-e-ix x=2 sinx=2
状态转
⎰+∞-∞e-x22dx=2π