马尔科夫模型（未完）

马尔科夫模型

不考虑动作	考虑动作

状态完全可见 马尔科夫链(MC) 马尔可夫决策过程(MDP)
状态不完全可见 隐马尔可夫模型(HMM) 不完全可观察马尔可夫决策过程(POMDP)

马尔科夫链
状态空间中经过从一个状态到另一个状态的转换的随机过程。该过程要求具备“无记忆”的性质：下一状态的概率分布只能由当前状态决定，在时间序列中它前面的事件均与之无关。
在马尔可夫链的每一步，系统根据概率分布，可以从一个状态变到另一个状态，也可以保持当前状态。状态的改变叫做转移，与不同的状态改变相关的概率叫做转移概率。（随机漫步：每一步的状态是在图形中的点，每一步可以移动到任何一个相邻的点，在这里移动到每一个点的概率都是相同的（无论之前漫步路径是如何的）。）
假设状态序列为x1…xt-1,xt,xt+1…由马尔科夫链定义可知，时刻xt+1的状态只与xt有关，用数学公式来描述就是：p(x_(t+1)│x_1,〖⋯,x〗_t )=p(x_(t+1)│x_t )既然某一时刻状态转移的概率只依赖前一个状态，那么只要求出系统中任意两个状态之间的转移概率，这个马尔科夫链的模型就定了。
状态转移矩阵
马尔可夫链细致平稳条件：马尔科夫链要能收敛，需要满足以下条件：

1.可能的状态数是有限的。
2.状态间的转移概率需要固定不变。
3.从任意状态能够转变到任意状态。
4.不能是简单的循环，例如全是从x到y再从y到x。
以上是马尔可夫链收敛的必要条件。
设单纯型向量V=( v1…vn)，状态转移矩阵Pnn，∑_(i=1)^n▒〖vi 〗= 1，且每一行P都为一个单纯型向量。
细致平衡条件（Detailed Balance Condition）：给定一个马尔科夫链，分布π和概率转移矩阵P，如果下面等式成立:πipij=πjpji，则此马尔科夫链具有一个平稳分布，反之不一定成立。∑_(I=1)^{∞▒〖πipij=∑_(i=1)}∞▒〖πjpji=πj∑_(i=1)^∞▒〖pji=πj〗〗〗
马尔可夫链收敛性质：如果一个非周期的马尔可夫链收敛，有状态转移矩阵P，并且任何两个状态都是连通的，那么lim┬(n→∞)⁡〖p_ij^n 〗=πj；lim┬(n→∞)⁡〖p_^n 〗=π_(mm)。
隐马尔科夫模型https://www.cnblogs.com/skyme/p/4651331.html
马尔可夫决策过程https://www.cnblogs.com/jinxulin/p/3517377.html
马尔可夫随机场
简易版理解：https://blog.csdn.net/weixin_40349368/article/details/79576445
进阶版理解：https://blog.csdn.net/pipisorry/article/details/78396503

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！