马尔可夫链的历史
安德列·马尔可夫创建马尔可夫链，他在1907年间发表的研究中为证明随机变量间的独立性不是弱大数定律(weak law of large numbers)和中心极限定理(central limit theorem)成立的必要条件，构造一个按条件概率相互依赖的随机过程，并证明其在一定条件下收敛于一组向量，该随机过程被后世称为马尔可夫链。
在马尔可夫链被提出之后，物理学家Afanasyeva和保罗·埃伦费斯特(Paul Ehrenfest)在1907年使用马尔可夫链建立Ehrenfest扩散模型；1912年亨利·庞加莱研究有限群上的马尔可夫链并得到庞加莱不等式。1931年，柯尔莫哥洛夫在对扩散问题的研究中把马尔可夫链推广至连续指数集得到连续时间马尔可夫链(或马尔可夫过程)，并推出其联合分布函数的计算公式。
独立于柯尔莫哥洛夫，Sydney Chapman于1926年在研究布朗运动时得到该计算公式，即后来的Chapman-Kolmogorov方程。1950年代，苏联数学家Eugene Dynkin完善柯尔莫哥洛夫的理论并通过Dynkin公式把平稳马尔可夫过程与鞅过程(martingale process)相联系。此后以马尔可夫链和马尔可夫过程为基础，各类马尔可夫模型被相继提出并在实际问题中得到应用。
markov chain: http://t.cn/R3sjsSQ
python: http://t.cn/R17dJ2k