Supervised Policy Update for Deep Reinforcement Learning
-
Supervised Policy Update (SPU);
- 在非参数化近端策略空间中制定并解决约束优化问题;
- 监督回归，将最优的非参数化策略转换为参数化策略，从中采样新样本;
- 适用于离散和连续动作空间，并且可以处理非参数化优化问题的各种邻近约束;
- 以自然政策梯度和信任区域政策优化（NPG / TRPO）问题和近端政策优化 （PPO）问题的解决为例
- 效率方面:SPU在Mujoco模拟机器人任务中优于TRPO，在Atari视频游戏任务中 优于PPO.
Deep Neuroevolution: Genetic Algorithms Are a Competitive Alternative for Training Deep Neural Networks for Reinforcement Learning
- 进化策略（ES）可以被认为是基于梯度的算法，因为它通过类似于梯度的有限差分近似的操作来执行随机梯度下降.
- 基于非梯度的进化算法是否可以在DNN尺度上工作?
- 使用简单，无梯度，基于种群的遗传算法（GA）来演化DNN的权重，并且它在硬的深RL问题上表现良好，包括Atari和人形运动。
- Deep GA成功地发展了具有超过四百万个自由参数的网络, 迄今为止使用传统进化算法的最大的神经网络。
- 扩展了我们对GA运行规模的认识
- 在某些情况下，遵循梯度并不是优化性 能的最佳选择
- 提供多种神经进化技术提高性能
- DNN与新奇搜索相结合,可以解决奖励最大化算法的高维失败问题.
- Deep GA比ES，A3C和DQN更快
ORDERED NEURONS: INTEGRATING TREE STRUCTURES INTO RECURRENT NEURAL NETWORKS
- 在NLP的自然语言中,较小的单元（例如，短语）嵌套在较大的单元（例如，子句）中
- 当一个更大的单元结束时，嵌套在其中的所有较小的组成部分也必须被关闭.
- 标准LSTM架构没有明确偏向建模成分的层次结构, 通过对神经元进行排序来添加这样的归纳偏差.
- 一个输入和遗忘门的向量确保当给定神经元被更新 时，在序列中跟随它的所有神经元也被更新.
- 新型recurrent架构，有序神经元LSTM（ON-LSTM），在语言建模，无监督解析，有针对性的句法评估和逻辑推理取得优秀效果.