作业帮 > 数学 > 作业

马尔可夫过程状态停留时间是服从几何分布的?这个指的是离散的马尔可夫链呢还是状态离散参数连续的马尔可夫过程呢?有这方面的文

来源:学生作业帮 编辑:拍题作业网作业帮 分类:数学作业 时间:2024/04/29 00:48:59
马尔可夫过程状态停留时间是服从几何分布的?这个指的是离散的马尔可夫链呢还是状态离散参数连续的马尔可夫过程呢?有这方面的文献吗?跪求
指的是离散马链,而且必须是时间齐次的离散马链.如果找文献的话,一般马氏链的教程中可能不会直接把它作为什么重要结论给出的.
其实,这个完全可以自己推导的,推导过程除了马氏性之外,其他的都是初等概率论范围内的东西.
对于任何一个给定的状态,比如0,记p为单步转移停留概率(转出概率为1-p),T为该状态的停留时间,则利用时齐特点可知
P(T=n)=P{X(1)=X(2)=...=X(n-1)=0,X(n)≠0|X(0)=0}
=P{X(1)=0|X(0)=0}*P{X(2)=0|X(0)=0,X(1)=0}*...*P{X(n)≠0|X(0)=0,X(1)=X(2)=...=X(n-1)=0}
利用马氏性,
P(T=n)=P{X(1)=0|X(0)=0}*P{X(2)=0|X(1)=0}*...*P{X(n-1)=0|X(n-2)=0}*P{X(n)≠0|X(n-1)=0}
=p*p*...*p*(1-p) 这里有n-1个p,一个(1-p)
=(1-p)*p^(n-1), n=0,1,2,...
此即几何分布列.