机器学习（五）------最大熵模型

1.最大熵原理：

               

     

         

2.最大熵模型的学习：

第一步：

            

                

第二步：

                      

                                     

第三部：求导得到：

                                             

第四部：

              

更一般的表达：

                                                                     

3.改进的迭代尺度算法：

                                 

                                    

参考资料：

1. 《统计学习》李航