个人认为定义是：已知目前状态(现在)的条件下,它未来的演变(将来)不依赖于它以往的演变(过去)特性称为马尔可夫性,具有这种性质的随机过程叫做马尔可夫过程.

　　马尔可夫链包含于它

　　马尔可夫过程

　　Markovprocess

　　一类随机过程.它的原始模型马尔可夫链,由俄国数学家A.A.马尔可夫于1907年提出.该过程具有如下特性：在已知目前状态(现在)的条件下,它未来的演变(将来)不依赖于它以往的演变(过去).例如森林中动物头数的变化构成——马尔可夫过程.在现实世界中,有很多过程都是马尔可夫过程,如液体中微粒所作的布朗运动、传染病受感染的人数、车站的候车人数等,都可视为马尔可夫过程.关于该过程的研究,1931年A.H.柯尔莫哥洛夫在《概率论的解析方法》一文中首先将微分方程等分析的方法用于这类过程,奠定了马尔可夫过程的理论基础.1951年前后,伊藤清建立的随机微分方程的理论,为马尔可夫过程的研究开辟了新的道路.1954年前后,W.费勒将半群方法引入马尔可夫过程的研究.流形上的马尔可夫过程、马尔可夫向量场等都是正待深入研究的领域.

　　类重要的随机过程,它的原始模型马尔可夫链,由俄国数学家Α.Α.马尔可夫于1907年提出.人们在实际中常遇到具有下述特性的随机过程：在已知它目前的状态(现在)的条件下,它未来的演变（将来）不依赖于它以往的演变（过去）.这种已知“现在”的条件下,“将来”与“过去”独立的特性称为马尔可夫性,具有这种性质的随机过程叫做马尔可夫过程.荷花池中一只青蛙的跳跃是马尔可夫过程的一个形象化的例子.青蛙依照它瞬间或起的念头从一片荷叶上跳到另一片荷叶上,因为青蛙是没有记忆的,当现在所处的位置已知时,它下一步跳往何处和它以往走过的路径无关.如果将荷叶编号并用X0,X1,X2,…分别表示青蛙最初处的荷叶号码及第一次、第二次、……跳跃后所处的荷叶号码,那么{Xn,n≥0}就是马尔可夫过程.液体中微粒所作的布朗运动,传染病受感染的人数,原子核中一自由电子在电子层中的跳跃,人口增长过程等等都可视为马尔可夫过程.还有些过程（例如某些遗传过程）在一定条件下可以用马尔可夫过程来近似.

　　关于马尔可夫过程的理论研究,1931年Α.Η.柯尔莫哥洛夫发表了《概率论的解析方法》,首先将微分方程等分析方法用于这类过程,奠定了它的理论基础.1951年前后,伊藤清在P.莱维和C.H.伯恩斯坦等人工作的基础上,建立了随机微分方程的理论,为研究马尔可夫过程开辟了新的道路.1954年前后,W.弗勒将泛函分析中的半群方法引入马尔可夫过程的研究中,Ε.Б.登金（又译邓肯）等并赋予它概率意义（如特征算子等）.50年代初,角谷静夫和J.L.杜布等发现了布朗运动与偏微分方程论中狄利克雷问题的关系,后来G.A.亨特研究了相当一般的马尔可夫过程（亨特过程）与位势的关系.目前,流形上的马尔可夫过程、马尔可夫场等都是正待深入研究的领域.

　　离散时间马尔可夫链以上述荷花池中的青蛙跳跃过程为例,荷叶号码的集合E叫做状态空间,马尔可夫性表示为：对任意的0≤n10,对一切i>0,αi>0,bi>0.具有上述形状的密度矩阵的齐次马尔可夫链称为生灭过程.

　　物理、化学、生物、医学等的许多实际模型都可以用生灭过程来描述,因此生灭过程有着广泛的实际应用.不仅如此,生灭过程还有重要的理论研究意义.关于生灭过程的结果已经十分丰富.当α0=0,b0>0时,只有一个生灭过程的充分必要条件是

　　.

　　对上述条件不成立的情形,中国学者王梓坤于1958年建立了“极限过渡法”,构造了全部生灭过程.这个方法的基本思想是用较简单的杜布过程的轨道来逼近一般过程的轨道.此外,甚至对α0≥0,b0>0的情形,或更一般的双边生灭Q矩阵（即为一切整数）的情形,全部Q广转移矩阵也都已构造出来.

　　一般马尔可夫过程设(E,B)为可测空间,X={X,t≥0}为一族取值于E的随机变量,如果对任意的B,以概率1有

　　(2)

　　则称X为马尔可夫过程.

　　马尔可夫过程的定义还可以进一步扩充.第一,所谓"过去"可以作更广泛的理解,即(2)中由,Xs所产生的σ域（见概率）可以扩大为一般的σ域Fs,只要Fs包含由｛X,u≤s｝产生的σ域,而当s0,A∈B,以概率1有

　　(3)

　　则称随机过程X={X,t≥0}为马尔可夫过程.第二,可以允许过程有寿命ζ,其中ζ是停时（见随机过程）.这时过程为X={X,t0,位移超过ε的概率和时间Δt相比可以忽略不计；在偏离不超过ε的范围内看,平均偏离与Δt成正比,平均方差也与Δt成正比.称(5)中的α(t,x)为偏移系数,它反映偏离的大小；称(6)中的b(t,x)为扩散系数,它反映扩散的程度.

　　设转移函数具有密度函数p(s,x,t,y),则在适当的附加条件下,p(s,x,t,y)满足方程

　　(7)

　　(8)

　　(7)和(8)分别称为柯尔莫哥洛夫向前方程和向后方程,也称为福克尔－普朗克方程.如果转移函数是齐次的,则α(s,x)=α(x),b(s,x)=b(x)与s无关,且p(t,x,y)满足

　　(9)

　　(10)α和b的某些假定下,可以求上述方程的转移密度解p,从而可以决定一个马尔可夫过程.然而,方程的转移密度解即使存在也未必惟一,因此还要对方程的解附加某些边界条件,以保持解的惟一性.例如,当α(t,x)=0,b(t,x)=2D(常数D>0)时的向前方程,附加边界条件=0的解是

　　这是称之为维纳－爱因斯坦过程的扩散过程的转移密度函数.又例如,当α(t,x)=-βx(β>0),b(t,x)=2D>0时的向前方程附加与上例同样的边界条件的解,是称之为奥恩斯坦－乌伦贝克过程的扩散过程的转移密度函数.

　　50年代,费勒引进了推广的二阶微分算子,用半群方法解析地研究了状态空间E=【r1,r2】的扩散过程,解决了在r1和r2处应附加哪些边界条件,才能使向后方程(10)有一个且只有一个转移密度函数解的问题,而且找出了全部这样的边界条件.对于E是开区间或半开半闭区间的情形也作了研究.登金、H.P.麦基恩及伊藤清等人对于扩散过程轨道的研究,阐明了费勒的结果的概率意义,从而使一维扩散过程有了较完整的理论.

　　多维扩散过程是和一个椭圆型偏微分算子联系在一起的,它还有许多未解决的问题,但核心问题之一是多维扩散过程的存在性和惟一性问题；借助于偏微分方程和概率论方法已经得到一些结果.有趣的是,概率论得到的结果反过来也可以解决微分方程的求解问题,例如,可以把方程的解用一个马尔可夫过程表现出来.

　　近年来,人们重视从轨道变化的角度来研究扩散过程.常用的方法是随机微分方程和鞅问题的求解.流形上的扩散过程理论是近十年来日益受人们重视的新领域,它是用随机微分方程研究扩散过程的必然延伸.