马可夫模型是什么？
是一种随机模型，这种模型假设系统将来的状态是由当前的状态转变而来的, 并且不受当前状态之前的状态影响。
－ 以城市旅游为例子： 我先去纽约 然后去波士顿 最后去华盛顿, 那么我们认为 到波士顿是基于纽约而来的，同理到华盛顿是基于 波士顿而来的。
马可夫链是什么？
就是系统状态转移的路径。 从以下的例子可以得出 4条 序列, 那么将这 4 条
－ 以城市旅游为例子： A 同学的路径是从 纽约 -> 波士顿-> 华盛顿
B 同学的路径是从 华盛顿 -> 纽约 -> 波士顿
C 同学的路径是从 纽约 -> 华盛顿 -> 波士顿
D 同学的路径是从 波士顿 -> 华盛顿 -> 纽约
以上就是一个完整的markov chain, 从这个chain我们能得到什么信息呢？
首先 从纽约出发的下一个城市有两种可能 1. 波士顿 2. 华盛顿 那么从纽约出发到波士顿的概率就是 2/3. 到华盛顿的概率就是 1/3。
另外， 那我们能不能得到从哪个城市出发呢？ 一共有四个人， 出发城市总数为4. 那么从纽约出发的概率为 2/4 。
由此我们能得到以下
由此我们就很容易的可以预测 某个人的旅游路线。为了更好的阐述该问题我们可以讲问题转化为一个maximization问题！
假设我需要去 四个城市旅游，已知markov model, 那么我们可以通过优化以下公式来找出最受欢迎的路线(即概率最大的路线)
定义 Y 属于(0, 1, 2, 3) 为四个城市 / P(Y) 为出发城市的概率 / P(Yi | Yi-1) 是 以 Yi-1 为出发城市 到Yi 城市的概率
什么是隐马可夫模型, 它是在马可夫模型上包含的一个隐形变量，但是这个隐形变量就是我们想要观察的变量。换句话说就是， 我们不能直接观察我们的目标变量，但是我们能观 察到的是一个和目标变量有关的变量。
还是以城市旅游为例子。
－ 以城市旅游为例子：（但是这次我们不仅仅知道旅游的城市也知道了在城市的花费）
A 同学的路径是从 纽约( $800) -> 波士顿($400)-> 华盛顿($600)
B 同学的路径是从 华盛顿($550) -> 纽约($900) -> 波士顿($450)
C 同学的路径是从 纽约($750) -> 华盛顿($650) -> 波士顿($325)
D 同学的路径是从 波士顿($425) -> 华盛顿($600) -> 纽约($750)
根据 在各个城市的花费，我们能分别对各个城市花费找出相对应的 Normal Distribution
例如 纽约就是 N(800, 61)
通过以上信息我们能得出一个 Hidden Markov Model 如下
当准备好 hidden markov model 能做什么呢？
我们现在知道了一个人在旅途中的花费是这样的. 875 (城市1)
纽约 N(800, 61) 波士顿 N(400, 47) 华盛顿 N(600, 35)
例如： 将 875 分别带入三个城市的分布中求出概率 发现 纽约的概率最大， 即该城市1为纽约
一次类推我们能找到所有的最优解。
例题
加入我们已知 在四个城市的花费 x1 = 355 / x2 = 339 / x3 = 148 / x4 = 50, 预测这四个城市各是什么？
通过以上我们知道，就是找出这四个城市概率的最大值，转化问题为一个maximization 问题。
定义 Y 属于(0, 1, 2, 3) 为四个城市 / P(Y) 为出发城市的概率 / P(Yi | Yi-1) 是 以 Yi-1 为出发城市 到Yi 城市的概率
