论文理解 —— Curriculum Offline Imitating Learning

• 标题：Curriculum Offline Imitating Learning
• 文章链接：Curriculum Offline Imitating Learning
• presentation: 【RLChina 论文研讨会】第2期 刘明桓 Curriculum Offline Imitation Learning
• 发表：NIPS 2021
• 领域：离线强化学习（offline/batch RL）—— IL-based 方法

---

• 摘要：Offline RL 任务要求 agent 在不和环境进一步交互的情况下，从 pre-collected dataset 中学习。RL-based 方法尝试将普通 RL 算法的思想应用于 Offline 数据集，尽管这类方法有可能超越（收集 Offline 数据集的）behavioral policies，但这类方法通常训练不稳定，且有着严重的 extrapolation error（价值估计不准），通常需要通过在线评估 (Online evaluation) 仔细调整超参数，并不实用。相比之下，IL-based 不估计价值函数直接学习策略，因而不存在此类问题。然而，IL 通常受限于 behavioral policies 的性能，且倾向于从混合策略收集的数据集中学习平庸的行为，本文中我们致力于缓解 IL 的这种问题。我们观察到，行为克隆方法 (BC) 能够以较少的数据模仿相邻策略，并基于此提出了 Curriculum Offline Imitating Learning（COIL）方法，它自适应地挑选轨迹，模仿更高回报的邻近策略，逐课程地做 BC 改进策略。在连续控制 benchmarks 上，我们对比了 COIL 与其他 IL-based 和 RL-based 方法的性能，结果表明，COIL 不仅避免了在混合数据集上学习平庸行为，而且能与 SOTA Offline RL 方法媲美
  

1. Offline RL 背景

• Offline RL 是这样一种问题设定：Learner 可以获取由一批 episodes 或 transitions 构成的固定交互数据集，要求 Learner 直接利用它训练得到一个好的策略，而且禁止 Learner 和环境进行任何交互，示意图如下
  
• 关于 Offline RL 的详细介绍，请参考 Offline/Batch RL简介

2. 本文方法

• 本文方法属于 IL-based 方法

2.1 现象、实验与分析

2.1.1 Quantity-quality dilemma

• 作者注意到在多策略混合数据集（mixed dataset）上直接做行为克隆（BC）会出现 Quantity-quality dilemma 问题，就是说

  1. 来自最优 behavior policy 的交互轨迹质量很高，但是数量少，覆盖的 $\mathcal{S}\times \mathcal{A}$ 空间也就很小，直接 BC 会导致严重的 compounding error，性能不佳
  2. 使用更多交互数据样本，compounding error 问题缓解，但是样本平均性能会变差，直接 BC 学到的混合策略只有平庸的（mediocre）性能

• 作者也做了一个实验验证此现象
  
  作者在 Walker2d 环境中从零开始训练一个 Online RL agent 至收敛（训练过程见左图蓝线），然后分别用 top 10%，top 25%，top 50% 和全部交互数据做 BC，得到的策略性能如右图所示，可见使用最好的样本学到的策略性能反而是最差的，而使用全部样本，只能得到平庸的性能（约数据集上最佳策略性能的一半），而作者提出的 COIL 则能突破此限制，到达数据集上最佳策略性能

2.1.2 使用不同初始策略做 BC

• 一个重要现象：随着初始策略和目标策略越来越相似，使用 BC 方法达到目标策略性能所需的目标策略交互数据的可以大大减少

2.1.2.1 直观实验

• 首先从实验角度体现这一点
  
  图（a）中蓝色曲线显示了 Online RL 算法 SAC 在 Hopper 环境下的训练过程，在红圈处保存一些策略，然后图（b）显示了用这些保存策略作为初始策略进行 BC 的效果，BC 使用的示范数据来自（a）中 SAC 得到的最优策略（右上角蓝圈），看需要多少示范轨迹才能把性能提升至和它差不多。可见：初始策略越接近示范策略，模仿示范策略所需的样本就越少

2.1.2.2 理论证明

• Theorem 1 (Performance bound of BC)：令 $\Pi$ 是所有可能的确定性策略的集合，$|\Pi |=|\mathcal{A}{|}^{|\mathcal{S}|}$ 。假设 Offline 数据集中数据来自一个带随机试探的单一 behavior policy，这时不存在某确定性策略 $\pi \in \Pi$ 使得 π ( s i ) = a i , ∀ s i ∈ { 1 , 2 , . . . , ∣ D ∣ } \pi(s^i) = a^i,\forall s^i \in \{1,2,...,|\mathcal{D}|\} π(si)=ai,∀si∈{ 1,2,...,∣D∣}（就是说 Offline 数据集上存在冲突的 transition）

  1. 收集数据的 behaviour policy 记为 ${\pi }_b$（占用度量 ${\rho }_{{\pi }_b}$）
  2. 在 Offline 数据集上可以学到对 ${\pi }_b$ 的估计，empirical behaviour policy ${\hat{\pi }}_b$ （占用度量 ${\rho }_{{\hat{\pi }}_b}$）
  3. 记 BC 的 initial policy 为 ${\pi }_0$（占用度量 ${\rho }_{{\pi }_0}$）
  4. 最终学到策略为 $\pi$（占用度量 ${\rho }_{\pi }$）

  对于任意小量 $\delta >0$，下式以至少 $1-\delta$ 的概率成立（证明参见原文）
  

• 记住我们现在要考虑学到的策略 $\pi$ 一定时，“${\pi }_0$ 和 ${\pi }_b$ 的距离” 与 “$|\mathcal{D}|$” 的关系。分析上式：$D_{TV}({\rho }_{\pi }(s,a)||{\rho }_{{\pi }_b}(s,a))$ 是 ${\rho }_{\pi }$ 和 ${\pi }_b$ 占用度量的总变差（total variation distance），这里是说 $\pi$ 和 ${\pi }_b$ 的差距受到 $c({\pi }_0,{\pi }_b,|\mathcal{D}|)$ 这个上界的限制，此上界又可以拆开成几项

  1. $\frac{1}{2}{\sum }_{s\notin \mathcal{D}}{\rho }_{{\pi }_b}(s)$：这是个常数，不管他

  2. $\pi$ 和 ${\pi }_0$ 在数据集之外的 empirical discrepancy：$\frac{1}{2}{\sum }_{s\notin \mathcal{D}}|{\rho }_{\pi }(s)-{\rho }_{{\pi }_0}(s)|$，此项不好直观解释，作者做了下面的实验，说明 在$|\mathcal{D}|$ 一定时，此项随 ${\pi }_0$ 靠近 ${\pi }_b$ 而减小；在${\pi }_0$ 和 ${\pi }_b$ 的距离一定时，此项随 $|\mathcal{D}|$ 增大而减小。可以这样理解：这部分主要考察数据集 $\mathcal{D}$ 覆盖不到的状态分布情况，因此在 $\mathcal{D}$ 上 BC 不能对其产生定向的影响，主要是初始策略 ${\pi }_0$ 影响着 $\pi$ 在 $s\notin \mathcal{D}$ 上的占用度量，而 ${\pi }_0$ 靠近 ${\pi }_b$，本质上是训练 ${\pi }_0$ 使用的数据量增加了，这样得到的 $s\notin \mathcal{D}$ 部分的策略相对更稳定
     

     可见，横坐标从左到右，${\pi }_0$ 接近 ${\pi }_b$，$\pi$ 和 ${\pi }_0$ 在 $s\notin \mathcal{D}$ 的差距不断减少；另一方面，BC 数据量 $|\mathcal{D}|$ 增大时，这个差距也会减小

  3. initialization gap：${\pi }_0$ 和 ${\pi }_b$ 在数据集之外的 empirical discrepancy，此项随 ${\pi }_0$ 靠近 ${\pi }_b$ 而减小

  4. BC gap：前半段是经验行为策略 ${\hat{\pi }}_b$ 和学得策略 $\pi$ 之间的经验差异；后半段是学得策略 $\pi$ 的经验误差，此项与训练算法相对应，和初始策略无关

  5. data gap：此项取决于 BC 使用的 transition 样本数量 $|\mathcal{D}|$ 和状态空间的复杂性，对于固定的 Offline dataset 和 environment 而言是固定的，用于 BC 的数据量 $|\mathcal{D}|$ 越大，这一项越小

• 可见，以下两种方式都能使 BC 性能的 upper bound $c({\pi }_0,{\pi }_b,|\mathcal{D}|)$ 变紧

  1. 令 initial policy ${\pi }_0$ 更接近 behaviour policy ${\pi }_b$
  2. 增加 BC 数据量 $|\mathcal{D}|$

  这意味着，在维持 BC 性能（也就是 $\pi$ 和 ${\pi }_b$ 的距离）基本不变的情况下，可以通过使 ${\pi }_0$ 更接近 ${\pi }_b$ 的方式，减少对数据量 $|\mathcal{D}|$ 的需求。直观地看，这是因为 BC 面临严重的 compounding error 的问题，当初始策略 ${\pi }_0$ 和 ${\pi }_b$ 相差太远时，级联错误问题严重，需要额外的数据来缓解它，而当二者足够靠近时，级联错误问题就可以近似忽略

2.2 思想

• 利用上述分析，可以发现：过去我们从 random 策略开始直接对混合数据集进行 BC，不得不使用很多差的 transition 扩展数据集覆盖的 $\mathcal{S}\times \mathcal{A}$ 空间，导致最好的那些 transition 的作用被抵消掉；但事实上我们可以构造一系列 BC 课程，令每个迭代课程中的 ${\pi }_0$ 和 ${\pi }_b$ 接近，这时级联错误问题可以近似忽略，那些略优于每个 BC 课程初始策略 ${\pi }_0$ 的 transition 能最大限度地发挥作用，高效地将 ${\pi }_0$ 提升为接近 ${\pi }_b$ 的 $\pi$，最终学得策略的性能可以接近混合数据集中最好的行为策略
  

• 为了给出形式化描述，首先从 BC 视角考虑 Online RL 的一步迭代：从初始策略 ${\pi }_0$ 开始，第 $i$ 轮迭代中，agent 使用 ${\pi }_i$ 和环境交互收集轨迹 ${\tau }_i$ 加入 replay buffer $\mathcal{B}$，然后从中采样多个 transition，优化策略得到 ${\pi }_{i+1}$，以最大化累积收集期望
  $$\underset{\pi }{\max }{\mathbb{E}}_{\tau \sim \pi }[R(\tau )]$$ 基于最大熵思想，将最优策略 ${\pi }^{\ast }$ 采样的轨迹分布建模为玻尔兹曼分布，则有
  $$P^{\ast }(\tau )\propto \text{exp}(R(\tau ))$$ 在这种情况下，通过 RL 找最优策略，等价于模仿上公式中的最优轨迹分布 $P^{\ast }(\tau )$，即
  $$\underset{\pi }{\min }{D}_{KL}(P_{\pi }(\tau )||P^{\ast }(\tau ))$$其中 $P_{\pi }(\tau )=\rho (s_0){\sum }_{t=0}^T\mathcal{T}(s_{t+1}|s_t,a_t)\pi (a_t|s_t)$ 是 $\pi$ 诱导的轨迹分布，注意到参数仅有 $\pi$，更新 ${\pi }^{i+1}$ 时可以看作向减小上述 KL 散度的方向更新，即
  $${\pi }^{i+1}={\pi }^i-{▽}_{\pi }{D}_{KL}(P_{\pi }(\tau )||P^{\ast }(\tau ))$$ 注意这可以看作是以 $P_{\pi }(\tau )$ 作为当前策略，$P^{\ast }(\tau )$ 作为目标策略进行 BC

• 下面对 “在 Offline 数据集进行自适应 BC 模仿，以解决混合数据集上的 Quantity-quality dilemma” 的过程给出形式化描述：我们要构造一个有限策略序列 ${\pi }^0,{\tilde{\pi }}^1,{\pi }^1,{\tilde{\pi }}^2,{\pi }^2,...,{\tilde{\pi }}^N,{\pi }^N$，其中

  1. ${\pi }^i⪯{\pi }^{i+1}$，也就是说学到的策略越来越好
  2. ${\tilde{\pi }}^i$ 是基于策略 ${\pi }^{i-1}$ 选出的轨迹 $\tau$ 描述的 “虚拟策略”，也就是说我们认为 $\tilde{\pi }$ 最有可能诱导出轨迹 $\tau$，要求略优于 ${\pi }^i$
  3. 使用 ${\tilde{\pi }}^i$ 为目标进行模仿得到策略 ${\pi }^i$

  形式化地讲，给定数据集 D = { τ } 1 N \mathcal{D} = \{\tau\}_1^N D={ τ}1N​，第 $i$ 轮迭代中，agent 构建这样的任务课程 $G_i$：自适应地从 $\mathcal{D}$ 中选取轨迹 $\tau \sim {\tilde{\pi }}^{i+1}$ 作为模仿目标，使用损失 ${\mathcal{L}}_i=D_{KL}(P_{{\tilde{\pi }}^{i+1}}(\tau )||P_{{\pi }^i}(\tau ))$ 更新策略 ${\pi }^i$，即
  $$\begin{gathered} {\pi }^{i+1}={\pi }^i-{▽}_{\pi }{D}_{KL}(P_{{\tilde{\pi }}^{i+1}}(\tau )||P_{{\pi }^i}(\tau )) \\ \begin{array}{rl}s.t.& {\mathbb{E}}_{\tilde{\pi }}\left[D_{KL}\right({\tilde{\pi }}^{i+1}(\cdot |s)||{\pi }^i(\cdot |s)\left)\right]\le ϵ\\ & R_{{\tilde{\pi }}^{i+1}}-R_{{\pi }^i}\ge \delta \end{array} \end{gathered}$$ 这里 $ϵ,\delta$ 是两个小正数，第一个条件限制 demonstrated 策略 $\tilde{\pi }$ 和 Learner 策略 $\pi$ 的差异不能太大，第二个条件防止 $\pi$ 从更差的策略中学习

2.3 算法细节

2.3.1 选出代表 Neighboring Policy 的轨迹

• 考虑如何满足条件 ${\mathbb{E}}_{\tilde{\pi }}\left[D_{KL}\right(\tilde{\pi }(\cdot |s)||\pi (\cdot |s)\left)\right]\le ϵ$ ，即要求选出的轨迹 ${\tau }_i\in \mathcal{D}$ 是由邻近策略 $\tilde{\pi }$ 产生的。注意到这相当于找重要度采样比接近 1 的轨迹，可以借助一些 density ratio 估计的工作加以实现，然而，这种估计需要额外训练神经网络的成本，并且由于数据点较少，估计是不准确的

• 设当前策略为 $\pi$， τ π ~ = { ( s 0 , a 0 , s 0 ′ , r 0 ) , . . . , ( s h , a h , s h ′ , r h ) } \tau_{\tilde{\pi}}= \{(s_0,a_0,s_0',r_0),...,(s_h,a_h,s_h',r_h)\} τπ~​={ (s0​,a0​,s0′​,r0​),...,(sh​,ah​,sh′​,rh​)} 是由一个未知的确定性策略 $\tilde{\pi }$ 混合探索噪音后收集到的，设 $\beta$ 代表探索比例，则有 ${\mathbb{E}}_{(s,a)\in {\tau }_{\tilde{\pi }}}[\log \tilde{\pi }(a_t|s_t)]\ge \log (1-\beta )$。这种设定下，要满足条件 ${\mathbb{E}}_{\tilde{\pi }}\left[D_{KL}\right(\tilde{\pi }(\cdot |s)||\pi (\cdot |s)\left)\right]\le ϵ$ ，只要找到满足以下条件的轨迹 ${\tau }_{\tilde{\pi }}$
  $${\mathbb{E}}_{(s,a)\in {\tau }_{\tilde{\pi }}}[\mathbb{I}(\pi (a_t|s_t)\ge {ϵ}_c)]\ge 1-\beta$$ 其中 ${ϵ}_c\ge \frac{1}{e^{ϵ}}$，选这个值是为了便于进行误差分析（详见原文附录 B.2），可以简单理解为一个很大的数，这就是说要求至少有 $1-\beta$ 占比的 $(s,a)$ 二元组有以大概率来自当前策略 $\pi$，这样的轨迹可以看作是由 Neighboring Policy 采集的

• 在实践中，对轨迹 $\tau$ 上每个时刻 $t$ ，计算动作 $a_t$ 是使用策略 $\pi$ 在 $s_t$ 处选择的的概率，得到 τ π ~ ( π ) = { π ( a 0 ∣ s 0 ) , . . . , π ( h 0 ∣ h 0 ) } \tau_{\tilde{\pi}}(\pi)=\{\pi(a_0|s_0),...,\pi(h_0|h_0)\} τπ~​(π)={ π(a0​∣s0​),...,π(h0​∣h0​)}（$h$ 是此轨迹的 horizon），将每个 $(s,a)$ 对应的概率从小到大排序，使用第 $\lfloor \beta h\rfloor$ 个概率值作为此轨迹来自 $\pi$ 的邻近策略 $\tilde{\pi }$ 的概率 $s(\tau )$，从整个 Offline 数据集上选出 $s(\tau )$ 最大的那些轨迹即可

• 参数部分，启发式地将探索比例直接设为 $\beta =0.05$ ，另一个参数 ${ϵ}_c$ 由 agent 自适应地调整，以保证找出 $N$ 条来自邻近策略 $\tilde{\pi }$ 的轨迹（也可以看作找出 $N$ 条轨迹描述邻近策略 $\tilde{\pi }$），这里 $N$ 是一个超参数

2.3.2 Return Filter

• 考虑如何满足条件 $R_{\tilde{\pi }}-R_{\pi }\le \delta$ 以免模仿到更差的策略。在 Offline 设定下，不能和环境交互，没法评估当前策略 $\pi$ 的准确性能，但是可以基于已经学过的课程进行估计。得到当前策略 $\pi$ 的性能后，就可以用它作为指标过滤掉来自更差策略的轨迹

• 用 $V$ 代表 return filter，初始化为 0。第 $k$ 轮迭代时，设从 $\mathcal{D}$ 中选择了轨迹 { τ } 1 n \{\tau\}_1^n { τ}1n​，如下更新 $V$
  V k = ( 1 − α ) ⋅ V k − 1 + α ⋅ min ⁡ { R ( τ ) } 1 n V_k= (1-\alpha)·V_{k-1}+\alpha·\min\{R(\tau)\}_1^n Vk​=(1−α)⋅Vk−1​+α⋅min{ R(τ)}1n​ 这里其实是做了一个滑动均值计算， { R ( τ ) } 1 n \{R(\tau)\}_1^n { R(τ)}1n​ 是轨迹 { τ } 1 n \{\tau\}_1^n { τ}1n​ 的回报，$V_k$ 可以近似看作前 $k$ 个课程选出的最差轨迹的平均回报。完成第 $k$ 个课程的模仿后，我们认为 $V_k$ 可以代表当前策略 ${\pi }^k$ 的性能（下限），因此从 $\mathcal{D}$ 中排除那些更差的轨迹，即 D = { τ ∈ D ∣ R ( τ ) ≥ V } \mathcal{D} = \{\tau\in\mathcal{D}|R(\tau)\geq V\} D={ τ∈D∣R(τ)≥V}就能避免下一个课程中选出更差的轨迹。这里 $\alpha$ 是一个超参数

2.3.3 Overall Algorithm

• 具体来说，COIL 每轮迭代会根据 相似度 和 性能 两个条件从 Offline dataset 中选出一个候选轨迹经验池作为模拟目标，通过 BC 进行学习。策略更新之后，从 Offline dataset 中清除使用过的轨迹，并用 Return Filter 进一步过滤掉性能不佳的轨迹
• 伪代码如下
  
• COIL 的一个吸引人的特性是：它会在 $\mathcal{D}$ 清空时自动停止，不需 Online 评估 Policy 性能并设计停止条件，因而完全不需要可用的交互环境，可以更简单地应用于 real-world application

  注：很多 Offline RL 算法需要可用环境在线评估来调整超参数和确定停止条件，所以仍要访问环境，这其实有点违背了 Offline RL 的问题设定，没有完全达到去掉可交互环境以降低成本的目的

3. Experiments

3.1 使用 Online RL agent 的训练数据集实验

• 这一节研究使用 COIL 在 online agent 学习过程数据集上的表现，这种数据集中的交互轨迹来自各种不同水平策略，数据集上可以看作一个高度混合的策略，因此直接 BC 性能不佳。作者在 Gym-MuJoCo 的三个环境中分别从零开始训练一个 SAC agent 至收敛，保留其所有交互轨迹（含探索行为）作为 Offline dataset，交互轨迹按生成的历史顺序排序如下
  
  注：由于存在随机试探，所以轨迹 return 并非严格单调增

• 性能对比如下，可见，COIL性能明显优于其他算法
  

  1. COIL 的性能几乎达到 optimal behavior policy 的性能（即 SAC 训练最后阶段的最优策略），这是一个很好的特性，因为学到的最后一个模型可以直接作为一个很好的部署模型
  2. BAIL 和 AWR 不是总能达到 optimal behavior 性能，这是由于 hyper-parameters tuning 和 value regression 的困难
  3. BC 学到了平庸的策略

• 进一步考察 offline agent 训练过程中性能的提升情况和先后使用样本轨迹的生成顺序（两行的横轴都是 COIL 的迭代轮数）

  
  可见，由于经验挑选策略和 return filter，COIL保持了与 online agent 类似的训练路径，学习曲线很稳定

3.2 使用 D4RL benchmark 进行实验

• D4RL 是一个专门针对 Offline RL 情景设计的 benchmark，具体介绍见 Offline/Batch RL简介 第 3 节

• Gym-MuJoCo 中相同的三个连续控制任务上的实验结果如下
  

  • 数据集说明：

  1. “random” 代表用随机策略交互 $10^6$ 步的全部样本；
  2. “medium” 代表先训练一个 SAC，在收敛前提前停止，使用训练一半的策略交互 $10^6$ 步的全部样本；
  3. “medium-replay” 代表 SAC 训练至 “medium” 水平的全部样本，这几个环境中都不少于 $10^6$ 步；
  4. “medium-expert” 代表 $10^6$ medium 样本混合 $10^6$ 专家样本

  • 算法说明：

  1. Expert(D4RL)：D4RL 给出的专家策略
  2. Behavior：数据集全体数据代表的混合策略（平均策略）
  3. Best 1%：数据集最优 1% 数据代表的 optimal behavior policy （最优策略）
  4. BC(D4RL)：D4RL 实现的 BC 学到的策略
  5. BC(Ours)：作者实现的 BC 学到的策略
  6. COIL(Ours)：本文方法学到的策略
  7. BAIL：BAIL方法学到的策略，详见 论文理解 —— BAIL: Best-Action Imitation Learning for Batch Deep Reinforcement Learning
  8. MOPO: 使用 model-based 方法 MOPO 学到的策略
  9. SpTA(D4RL)：D4RL 实现的全部 Offline RL 算法中学到的最佳策略

• 结果分析

  1. BC 能够在单个策略（标记为 “random” 和 “medium”）生成的数据集上接近或优于行为策略的性能，但和最佳行为策略（Best 1%列）之间仍然存在差距
  2. COIL 在大多数数据集上都达到了最佳行为策略（Best 1%列）的性能，可以媲美甚至超越 SOTA 结果
  3. 令人惊讶的是，在 halfcheetah 任务中，过去的 RL-based offline 方法（SoTA列倒数3/4行）有可能超过 Best 1% 的最优行为策略（尽管经过仔细的超参数调整），显示了 RL-based 方法的优势
  4. 值得注意的是，对于 model-based 算法，如MOPO，由于有足够的数据学习良好的环境模型，它在 medium-replay 数据集上表现良好，但很难在其他数据集上超过 SoTA 的 model-free 方法

3.3 Ablation Study

• 本文的消融实验就是测试了一下超参数该怎么选，COIL 共有两个超参数

  1. return filter 中的滑动滤波系数 $\alpha$：这个会影响从数据集中排除的样本，当数据集上 return 波动较大时，应选择较小的 $\alpha$ 使得对当前策略性能下界的估计更平滑；反之使用较大的 $\alpha$，实验如下
     

  2. 找 Neighboring Policy 时选择的轨迹数 $N$：注意 2.1.2.2 节给出的定理1，它说明当 BC 的初始策略和目标策略接近时，使用的样本数可以减少。当 Offline 数据集中轨迹 retrurn 比较平滑时，我们每个课程构造的目标策略都是和当前策略很接近的，这时使用的样本数 $N$ 可以小一点；反之则需要更大的样本数 $N$ 已保证学习效果，实验如下
     

3.4 Compared with Naive Strategies

• 针对本文不断选择邻近 policy 进行 BC 的核心思想，有两种更加简单更加 Naive 的实现方式，即

  1. Return-ordered BC (RBC)：对所有样本轨迹按 return 从小到大排序，每次选择 return 最小的 $N_{RBC}$ 条轨迹样本做 BC 然后排除，直到数据集空为止
  2. Buffer-shrinking BC (BBC)：对所有样本轨迹按 return 从小到大排序，每次使用整个数据集做 BC，执行固定次梯度步骤后按比例去掉最 return 最低的轨迹样本，直到数据集空为止

• 实验结果和原文分析如下
  
  在 Online Learning 数据集上的学习结果如图所示

  1. 由于探索噪音的影响，类似的 return 并不总是来自类似的 policy，因此 Return-ordered BC 学到了平庸的行为（有可能 return 高的那些轨迹是较差的策略运气好试探出来的，因此训练后期性能下降了）
  2. 另一方面，Buffer-shrinking BC 通常不稳定，由于其收缩策略完全是 hand-crafted 的，因此无法消除 quantity-quality dilemma，上一个课程中的平庸轨迹会影响性能，且最后当 dataset 较小时，级联错误问题会变得严重
  3. COIL 使用最高的训练效率（最小梯度步数）学到了最佳行为策略，表明了 policy-distance-based curriculum 的优势

• 其实两种 Naive 设定都是同一个问题：return 差的轨迹不一定来自差的策略，return 高的轨迹不一定来自好的策略

  最简单的例子是：考虑一个稀疏奖励的情况，执行特定的 100 步动作可以获得奖励，长 100 的轨迹 A 恰好全部执行了，对应的 return 很高；长 100 的轨迹 B 执行了相同的 99 步，第 100 步执行的动作不对，因而没有奖励，它的 return 就是 0。这时虽然二者的 return 差很多，但是背后的策略几乎没有差别

  因此，Naive 方法无法保证后期剩下的轨迹代表更好的策略，如图也可以看到训练到最后 Naive 方法的性能都掉下来了

• BAIL 这篇也考虑了类似的问题，就是轨迹长度有限的情况下，return 计算可能不准，详见 论文理解 —— BAIL: Best-Action Imitation Learning for Batch Deep Reinforcement Learning 2.2.3 节

4. 结论

1. 从实验和理论两个角度分析了行为克隆（BC）的 quantity-quality dilemma，并提出 COIL 方法
2. COIL 自适应地选择相邻策略做 BC，在改进当前策略时可以充分利用模仿学习的优势。实验表明其具有良好的性能，与 SOTA 的 Offline RL 算法相媲美
3. COIL 具有自动停止的特性，不需要 Online 地评估来确定终止条件或调整超参数，简单有效，是一种实践中的实用方法
4. 但是，COIL 的性能受到数据集上最优性能的限制