逆向强化学习

不念不忘少年蓝@ 2022-01-21 09:07 500阅读 0赞

摘录自：[https://blog.csdn.net/philthinker/article/details/79778271][https_blog.csdn.net_philthinker_article_details_79778271]

概述  
我们先介绍下逆向强化学习的概念预分类：  
什么是逆向强化学习呢？当完成复杂的任务时，强化学习的回报函数很难指定，我们希望有一种方法找到一种高效可靠的回报函数，这种方法就是逆向强化学习。我们假设专家在完成某项任务时，其决策往往是最优的或接近最优的，当所有的策略产生的累积汇报函数期望都不比专家策略产生的累积回报期望大时，强化学习所对应的回报函数就是根据示例学到的回报函数。即逆向强化学习就是从专家示例中学习回报函数。当需要基于最优序列样本学习策略时，我们可以结合逆向强化学习和强化学习共同提高回报函数的精确度和策略的效果。逆向强化学习的基本理论可参考如下论文：

Ng A Y, Russell S J. Algorithms for Inverse Reinforcement Learning. ICML, 2000

逆向强化学习一般流程如下：

随机生成一个策略作为初始策略；  
通过比较“高手”的交互样本和自己交互样本的差别，学习得到回报函数；  
利用回报函数进行强化学习，提高自己策略水平；  
如果两个策略差别不大，就可以停止学习了，否则回到步骤2。

逆向强化学习分类如下：

最大边际形式化：学徒学习、MMP方法、结构化分类、神经逆向强化学习。  
基于概率模型的形式化：最大熵IRL、相对熵IRL、深度逆向强化学习。

最大边际化方法的缺点是很多时候不存在单独的回报函数使得专家示例行为既是最优的又比其它任何行为好很多，或者不同的回报函数挥导致相同的专家策略，也就是说这种方法无法解决歧义问题。基于概率模型的方法可以解决此问题。  
逆向强化学习项目可参考：

https://github.com/MatthewJA/Inverse-Reinforcement-Learning  
\---------------------   
作者：止于至玄   
来源：CSDN   
原文：https://blog.csdn.net/philthinker/article/details/79778271   
版权声明：本文为博主原创文章，转载请附上博文链接！

[https_blog.csdn.net_philthinker_article_details_79778271]: https://blog.csdn.net/philthinker/article/details/79778271