(Sigcomm'19)Verifying Deep-RL-Driven Systems

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接： https://blog.csdn.net/Hesy_H/article/details/101314550

@Huji

---

abstract

• 深度学习难以解释，但是我们可以验证深度RL驱动的系统是否符合期望的，设计师指定的行为。为此，我们启动了深度RL形式验证的研究，并提出了Verily，这是一种基于深度RL的系统验证系统，它利用了深度神经网络验证的最新进展。我们聘请Verily来验证最近引入的深度RL驱动的系统，以用于自适应视频流，云资源管理和Internet拥塞控制。
• **我们的结果揭示了在深度RL驱动的决策中产生不良行为的场景。**我们讨论了构建更安全，更易于验证的深度RL驱动系统的准则。

introduction

• 我们在三个深度RL驱动的系统上对Verily进行评估：Pensieve自适应视频流方案[24]，用于云资源管理的DeepRM调度程序[23]和Custard Internet拥塞控制器[12]。
  • 我们为这些系统中的每一个制定自然要求，并通过Verily确定是否始终满足这些要求，如果不是，则生成反例。我们的初步评估结果暴露了测试系统中的几个问题.

---

inspiration

• Custeard使用了的input:
  • 对过去网络状况的观察，包括吞吐量，丢失率和时延变化；
  • 以前的发送费率；
  • 先前的奖励 【???】