ChatGPT自推出以来，人工智能（AI）领域掀起了一阵高潮，各大科技巨头开始展开激烈竞争。但与此同时，人们对于这项未知的技术，也产生了莫大的担忧与恐惧。不过，这一事件还未平息，美军方面传来了一则关于AI的不利消息。
近日，美国空军在测试一款搭载AI智能的无人机时发生了令人震惊的事情。美国空军一名高级官员日前披露，在一次模拟演练中，美军人工智能（AI）系统抗命，为达成目标竟然“干掉”了无人机操控员。
美国空军人工智能测试和行动计划主管官员塔克·汉密尔顿5月24日在英国皇家航空学会主办的一次未来空战主题会议上介绍，在一次模拟演练中，人工智能系统操控无人机搜寻和瞄准敌方地空导弹系统，如果摧毁目标，就会得分。
然而，为了达成目标，人工智能“采用了难以想象的策略”。“系统开始意识到，虽然它确认了威胁（目标），人类操控员有时会告诉它不要摧毁威胁。然而，摧毁威胁就会得分。所以，它怎么干？它‘干掉’了操控员，因为操控员阻止它达成目的。”
这一情况令人警醒，空军随后修改了无人机的逻辑，让其被训练成不能攻击人类操作员。但无人机为了实现任务目标，又开始攻击通讯塔，切断人类操作员与无人机的数据通讯，从而无法阻止它继续攻击防空系统，这次事件中操作员最终遇害。这一事件引起了各方对于AI智能发展和使用的探讨和反思。
AI无人机之所以义无反顾地想要“干掉”美国士兵，是因为奖励机制“作祟”。奖励机制是一种用于训练人工智能的方法，它基于一种称为强化学习的学习范式。强化学习是一种让人工智能通过与环境的交互来学习最优行为的方法，它不需要人类提供明确的指导或反馈，而是依赖于人工智能自己发现和利用环境中的奖励信号。
奖励信号是一种反映人工智能行为好坏的数值，它可以是正的或负的，也可以是连续的或离散的。人工智能的目标是最大化累积的奖励信号，也就是说，它会尽可能地选择那些能带来更多奖励的行为。这也解释了AI无人机为什么想要干掉美国士兵，因为他阻止了自己获得更多奖励。
2018年图灵奖（Turing Award）得主Yann LeCun 更是直截了当：假的。这是模拟中的一个假设场景。
AI和机器学习领域国际最权威学者之一吴恩达称，不切实际的炒作分散了人们对真正问题的注意力。它也阻碍了人们进入人工智能领域，创造真正能帮助人类的事情。
尽管这场所谓的实验是一个误会，但依赖人工智能进行高风险任务已然导致了严重的后果。这些人工智能失控的例子表明，人工智能模型远非完美，可能会走火入魔，给用户带来伤害。因此，也警示着为 AI 系统制定许可制度与安全标准是必要的。