《强化学习导论》之doubleQ-Learning的理解

我的理解是这个最大化偏差来源于Q学习中的求取的最大化这个步骤可能得到的值不准确。然后这个期望，我觉得是讲动作和值解耦，然后从E的表达式来看，求得期望就是从另一个Q得到的动作的期望，默认第一个Q学到的是最大动作，然后第二个Q只求期望。两个没有干扰

同时，在周博磊的视频课程中，也可以认识到，因为我们采取的max这个操作的时候，用的还是待优化的东西，因此不是很准确，有偏差。