应用随即过程 复习资料.pdf

概率 可列可加:U∞=∞=∑=11)()(iiiiAPAP 交与并:)()()()(ABPBPAPBAP−+=U 极限:nA单增U∞=∞→=1limiinnAA,nA单减I∞=∞→=1limiinnAA 极限连恋:nA单调, )lim()(limnnnnAPAP ∞→∞→= 上极限: IU∞=∞=∆∞→=1suplimnniiiiAA 上极限概率: ∑∞=∞BP 条件概率: )(/ ),()|(iiiiiyYPyYxXPyYxXP====== X 在iyY =条件期望: ∑====iiiiyYxXPxyYXE)|()|( (X 关于 Y 的条件期望: ∑===jyYiwIyYXEYXE i)()|()|()(是 Y 的函数) 条件期望的期望, ∑===jiiyYPyYXEYXEE)()|())|(( 性质: )())|((XEYXEE=, XXXEE=))|(( ? 条件概率-连恋: 密度函数)(),()|(|yfyxfyxfYyYX==. 分布函数: ∫∞−====≤=xyYXyYXduyufyYxXPyxF)|()|()|(||条件期望: ∫+∞∞−===dxyxxfyYXEyYX)|()|(|区间情况: ∫∫∈∈=DyYDy DXdyyfdyyxfDxf)(),()|(|, )|()|(DyxXPDxF∈≤= 转化: ∫ ∈=∈=∈DyYdyyfyYXEDYPDYXE)()|()(1)|( 性质: ∫+∞∞−===dyyfyYXEEXYXEEY)()|()]|([ ????: P20 3.一般随机变量条件期望, 4…. ? 时齐泊松过程}0),({≥ttN 定义: 1. 计数过程0)0(=N; 2. 独立增量ntt∆>∀tt, 有)(] 1)()([tottNttNP∆+∆==−∆+λ )(]2)()([totNttNP∆=≥−∆+ 概率分布: 0, ≥∀ ts, 有tk ektksNtsNPλλ−==−+!)(])()([,0Ν∈k 即)(~)()(tPsNtsNλ−+为泊松过程 推导定义: 1. 计数0)0(=N; 2. 独立增量 3. 泊松过程0, ≥∀ ts, )(~)()(tPsNtsNλ−+ 事件发生时间nS: 00=S, })(,,inf{1ntNSttSnn=>=−(下确界) 事件发生间隔1−−=nnnSSX 等价事件: 1. }{})({tSntNn≤=≥ 2. }{}{}{})({11tStSStSntNnnnn≤−≤=−++−=>toudFxutWPtxFxtWP)())(()(1))(( 到达时间 性质: 1. tstNsXP==≤) 1)(|(12. n ntsntNsXP)())(|(==≤ ? 马尔可夫链 随机恅列}0,{≥nXn, 对于0110,, , ,,Ν∈∈∀+nSiiin, 0}, , ,{00>==nniXiXP 有}|{}, , ,|{110011nnnnnnnniXiXPiXiXiXP======++++. 无后效性 转移概率)(}|{1npiXjXPijnn===+, 齐次马尔可夫链ijijpnp=)( 转移概率矩阵: )(ijpP =为一步转移概率矩阵 性质: 1. 0≥ijp, Sji∈,; 且Si∈∀, 行和为 1∑∈=Sjijp1 概率分布向量),...)(),...,(),(()(21nnnniππππ=, 其中)()(iXPnni==π即 n 时刻取 i. 性质: Pnn)() 1(ππ=+, nPn)0()(ππ= (展开形式∑ ∈=Sin ijijpn)()0()(ππ) m 步转移概率矩阵)()()(m ijmpP=, m 步转移概率)|()(iXjXPpnmnm ij===+性质: )()()(nmnmnmnmPPPPPP===++C-K 方程: 证明? ? 状态分类 分类: 1. 吸收态1=iip. 2. 相通Ν∈∃n, 使0)(>n ijp, 则称ji → 相通ji ↔: ji → 且ij → 首达时间: },, 1:min{0iXjXnnTnij==≥=表示由 i 出发首次到达 j 的时间. 首达概率: }|11 ,,{}|{00)(iXnkjXjXPiXnTPfknijn ij=−≤≤≠===== 由 i 出发首次经过 n 步到达 j 的概率. ∑∞==1)(nn ijijff由 i 出发经过有限步到达 j 的概率 分类: 1. 常返态1=iif 性质: 1. ⇔∑∞=∞=0)(nn iip 2. 若ij →, ∞=∑∞=1)(nn jip; ij →\, 01)(=∑∞=nn jip 回转时间∑∞==1)(nn iiinfµ: 从 i 出发再(第一次)回到 i 的平均时间. 1.1. 正常返态∞−+=jknijnn kjikn ijIpIfpf) 1() 1()1()(3. 0>⇔→ijfji, 即“可到达=首达概率>0” 0, 0>>⇔↔jiijffji 分类: 集合Φ≠>≥}0, 1:{)(n iipnn, 则称该书籍的最大公约数最大公约数最大公约数最大公约数)(id为状态 i 的周期. 1. 周期1)(>id, )(id为周期 2. 非周期1)(=id 遍历态: {正常返+非周期}: {1=iif,∞= ∞→in iinpµ等价类: 相同的状态可以构成等价类. 不可约链: 马氏链中所有状态属于同一等价类. 性质: 与常返态(1=iif)相通的必定是常返态. 由 i 常返(1=iif), ji →; 可得 j 常返(1=jjf), 且1=jif; 进一步ij → 性质: 由ji ↔得 1. 状态 i 与 j 同为常返或非常返. 若为常返, 则它们同为正常返或零常返. 2. 状态 i 与 j 有相同的周期, 或同为非周期. TODO: P100, 例 4, 状态 常返态等价命题 1. 状态 i 为常返态 2. 1}| )({0 1===∞=iXiXPnnU3. 1)|)((01==+∞=iXiSP 4. ∑∞=+∞=0)(nn iip 5. +∞== }| )({01iXiSE 状态空间的分解 闭集 C: CjCi∉∈∀,, 都有0=ijp 若 C 中状态相通, 则称 C 为不可约闭集 所有常返态构成闭集 C, (非常返态组成的集合 T) 性质: 设常返态构成闭集Φ≠C, 则 C 可以分割为不相交闭集}{nC, 使得...21UUCCC =. 且 1. nC中任何两个状态相通 2. }{nC之间不相通. 结论: 1. 状态空间 S 可分解为...21UUUUCCTCTS== (T 不一定是闭集) 2. 若 S 有限, 则 T 一定是非闭集. (系统迟早悹进入常返闭集) 3. 有限不可约马氏链的所有状态都常返. 即Φ=T, CS = 4. 转移矩阵分解 =TC QRPP0,  =lC PPPP 00000021 , lP限制在lC上. …性质 ? nP极限性态与稳定分布 性质: 1. j 为非常返或零常返. 则对任意Si∈, 有0lim)(= ∞→n ijnp 2. 有限马氏链没有零常返. 3. 马氏链如果有一个零常返, 则有无穷多个零常返. 平稳分布: Pππ=(即∑ ∈=Siijijpππ), (显然nPππ=) 平稳过程: }0,{≥nXn ⇔ )),0(()0(Sii∈=ππ是平稳分布 性质: 1. 不可约遍历链有唯一的平稳分布}1{iiµπ=, 且)(limn ijnjp ∞→=π 2. 令+C为马氏链中所有正常返集合, 则 2.1. 平稳分布存在 ⇔ Φ≠+C 2.2. 平稳分布唯一存在 ⇔ 只有一个基本正常返闭集aCC =+2.3. 有限马氏链 ⇒ 存在平稳分布 极限分布: *)(limjjnnππ= ∞→存在, 则称,...},...,,,{** 3* 2* 1* jπππππ=为极限分布. 性质: 非周期不可约马氏链: 正常返 ⇔ 存在平稳分布Pππ=, 且π惁是极限分布*π ? 连恋参数马尔可夫链 定义: 随机过程}0),({≥ttX对于110...0+≤≤≤≤≤∀nntttt,Sik∈ 有 })(,...,)(,)(|)({110011nnnnitXitXitXitXP====++})(|)({11nnnnitXitXP===++齐次: Sjits∈≥∀,, 0,, 有)(})0(|)({})(|)({tPiXjtXPisXjtsXPij======+ 转移概率矩阵: ))(()(tPtPij=. 性质: 1. 0)(≥tPij 2. 1)(=∑ ∈SjijtP, 行和为 1 3. ∑ ∈=+SkkjikijtPsPtsP)()()( ,C-K 方程: )()()(tPsPtsP=+ 4. ijijPδ=)0(, 且1=iiδ, jiij≠= , 0δ: IP=)0( 5. ijijttPδ= →)(lim 0在原点连恋: ItP t= →)(lim 0性质: 1. Si∈∀, )(tPij在), 0[∞上一直连恋. 且与 j 无关. 2. 0)(>tPii 分布)),(()(Sitti∈=ππ,其中))(()(itXPti==π; )0(π为初始分布. 性质: )()0()(tPtππ=. h 离散骨架: }0),({≥nnhX其中0>h. 记为)()(nhXhXn= )(nhP为 n 步转移概率矩阵 极限总是存在: ijijttPπ= ∞→)(lim 分类: 1. 常返状态+∞=∫∞0)( dttPii 1.1. 正常返0)(lim> ∞→tPii t1.2. 零常返0)(lim= ∞→tPii t2. 非常返状态. 平稳分布: )(tPππ= 极限分布: *)(limiittππ= ∞→转移率矩阵][ijqQ =: 1. 主对角线iiq: ttPiitiii)(1lim 0−=−= →存在, 但可能无限. 2. 其他元素ttPPqijtijij)(lim)0( ' 0→==存在, 且有限. 性质: 1. 对Si∈∀,i ijij ≤≤∑≠0, 负主对角元优势. 2. 有限状态时: ∞=τ; 性质: }0),({≥ttX轨道右连恋, 则)exp(})0(|(1tqiXtPi−==>τ 分类: 1. 吸收态i, 0=iq 2. 瞬时态i, ∞=iq 3. 逗留态i, ∞=,, 0)),(()(λλλ, 其中∫∞−= 0)()(dttPerijt ijλλ. 性质: 1. 0)(≥λR, 0)(>λijr 2. ∑ ∈=Sjijr1)(λλ 3. 0)()()()()(=−+−∑ ∈Skkjikijijrrrrµλµλµλ !!!!!!! 4. ijijrδλλ λ= ∞→)(lim ? 生灭过程: 非周期, 不可约 定义: 马氏链}0),({≥=ttXX, 状态空间,...}2 , 1 , 0{=S, 且))(()(tPtPij=满足, h充分小时: 1. )(0)(1,hhhPiii+=+λ, 0, 0≥≥iiλ 2. )(0)(1,hhhPiii+=−µ, 0, 0≥≥iiµ 3. )(0)(1)(,hhhPiiii++−=µλ, 0, 00≥=iµ 4. ∑ ≥−=2||)()(ijijhohP, 0≥i 则 Q 矩阵有: 1. )(iiiqµλ+= 2. iiiqλ=+1,3. iiiqµ=−1,4. 其他0=ijq 有 Q 矩阵保守. 性质: 1. )(tP,Q满足向前向后方程. }),({SjtPj∈满足 F-P 方程. 2. 若0>iλ, 0>iµ. 则 X存在唯一的稳定分布(=极限分布) ⇔ ∑∞=−∞<021110 ......kkk µµµλλλ. 且∑∞=−−+=0121110 0)......1 (kkkPµµµλλλ且0 21110 ......PPkk kµµµλλλ−=, 1≥k ? 完 Made by RealZYC Tsinghua.Automation 2010-1-7 。