马氏链模型

资源描述随机过程的概念 一个随机试验的结果有多种可能性，在数学上用一个随机变量（或随机向量）来描 述。在许多情况下，人们不仅需要对随机现象进行一次观测，而且要进行多次，甚至接 连不断地观测它的变化过程。这就要研究无限多个，即一族随机变量。随机过程理论就 是研究随机现象变化过程的概率规律性的。 定义 1 设{ , t T} t ξ ∈ 是一族随机变量，T 是一个实数集合，若对任意实数 t t∈T,ξ 是一个随机变量，则称{ ,t T} t ξ ∈ 为随机过程。 T 称为参数集合，参数t 可以看作时间。t ξ 的每一个可能取值称为随机过程的一个 状态。其全体可能取值所构成的集合称为状态空间，记作E 。当参数集合T 为非负整 数集时，随机过程又称随机序列。本章要介绍的马尔可夫链就是一类特殊的随机序列。