【AI】浅析马尔可夫家族（MC, HMM, MDP, POMDP, MOMDP）

1 马尔可夫（Markov）的前驱知识点

• 马尔可夫性：又被称之为“无后效性”，即系统的下个状态只与当前状态信息有关，而与更早之前的状态无关
  • 个人解读：由于“过去的过去”的所有后果都在“过去”的状态中展示，因此在预测“未来”时已经有了足够的信息量。本质上所有的问题都可以转化为具有马尔可夫性的模型，只要在他的状态中存储足够的信息。但问题在于现实世界受限于“算力”、“存储力”等原因无法做到，因此需要在某些条件需要模糊化假设
• 马尔可夫分析：是一种用于预测变量值的方法，预测值具有马尔科夫性，通常用于预测一大群人的行为和决策，但它不提供解释。
• 多种马尔可夫模型的分类：
  • 状态是否可见：系统并不能直接观测到当前的状态，就是系统不确定现在处于哪个状态。举例而言，在恋爱场景下女生是否喜欢男生是未知的，只能通过微信文本、聊天频率、细微动作等信息推测
  • 是否考虑动作：系统为了观测到状态转移的机制，设计不同的动作帮助判断转移的概率。举例而言，在恋爱场景下男生为了判断女生是否喜欢自己，选择“表白”这个action
  • 归纳而言，MP - MDP 用复杂网络的思路是就是“化边为点”，或者说普通网和Perti网；MP - HMM 用复杂网络的思路是“从显性网络中挖掘出映射的隐形网络”，这种“挖掘”也证明其适用于深度学习背景。

–	不考虑动作	考虑动作
状态完全可见	马尔可夫过程（MP)	马尔可夫决策过程（MDP)
状态不完全可见	隐马尔可夫模型（HMM）	不完全可观测马尔可夫决策过程（POMDP）

2 相关资料与简析

2.1 马尔可夫链（MC）与马尔可夫过程（MP）：

• https://www.jiqizhixin.com/graph/technologies/fdebe132-cd51-43ba-8bda-a42abc478cbb，该链接讲述了马尔科夫链的知识。其中涉及的细致平衡条件在以下一篇文章中做了证明：https://blog.csdn.net/guolindonggld/article/details/79597491

2.2 隐马尔可夫过程(HMM）

• https://www.cnblogs.com/skyme/p/4651331.html，该文章讲述了隐马尔科夫的知识，和求解算法（个人感觉求解算法讲的不是很清楚）。
• 相对于公式推导计算的过程，比较推荐参考徐亦达老师的视频。链接为：https://www.youtube.com/watch?v=sqDDNCI1xp0

2.3 马尔可夫决策过程(MDP)

• https://zhuanlan.zhihu.com/p/28084942 讲述了从马尔可夫奖励过程到决策过程的变化。
• 该文章中涉及一些公式，其中符号表达并没有写得很清楚，推荐一个youtubu视频：https://www.youtube.com/watch?v=1Di3Q8kHL94
• 这一部分如何结合强化学习课程，在决策课上有讲过，可以琢磨一下ppt

2.4 部分可观测马尔可夫决策过程（POMDP）

• 这个模型国内资料比较少，youtube上的资料
• 同样如何结合强化学习，决策课也有讲过

2.5 MOMDP 多目标马尔可夫决策过程：

• 暂时只找到一篇论文比较适合个人借鉴的：讲解（https://blog.csdn.net/aitime_hy/article/details/122295419 - 微信公众号链接容易过期，这一版排版不行），Pre（https://www.bilibili.com/video/BV1LU4y1u7KQ?spm_id_from=333.999.0.0）
• https://www.zhihu.com/question/361424791/answer/964913115 知乎这个问题不错

致谢：
https://blog.csdn.net/weixin_42018112/article/details/87908428
https://blog.csdn.net/qq_34801341/article/details/104768684
https://zhuanlan.zhihu.com/p/28084942