【新智元】现在是开始思考如何治理超级智能的好时机——未来的AI系统将比通用人工智能（AGI）更强大。
AI，从来没有像今天这样，如此广泛地影响着人类的生活，以及给人类带来如此多的担忧和麻烦。
像所有以往其他重大技术革新一样，AI 的发展亦有两面，一面向善，一面向恶，这也是当前全球各国监管机构开始积极介入的重要原因之一。
无论如何，AI 技术的发展好似已经是大势所趋、势不可挡，如何让 AI 在符合人类价值观和伦理的前提下更加安全地开发和部署，是当前所有 AI 从业者都需要认真思考的问题。
今天，OpenAI 的三位联合创始人——CEO Sam Altman、总裁 Greg Brockman、首席科学家 Ilya Sutskever 共同撰文探讨了如何治理超级智能（superintelligence）的问题。他们认为，现在是开始思考超级智能治理的好时机了--未来的人工智能系统甚至比AGI的能力还要大。
根据我们目前看到的情况，可以设想，在未来十年内，人工智能（AI）将在大多数领域达到超越人类专家的技能水平，并能开展与今天最大的公司之一一样多的生产活动。
无论是潜在的好处和坏处，超级智能将比人类过去不得不面对的其他技术更加强大。我们可以拥有一个不可思议般繁荣的未来；但我们必须管理好风险才能到达那里。考虑到存在风险（existential risk）的可能性，我们不能只是被动地应对。核能便是其中具有这种特性的技术的例子；另一个是合成生物学。
同样，我们必须减轻当前AI技术的风险，但超级智能将需要特殊的处理和协调。
一个起点
在我们成功引领这一发展的机会中，有许多重要的想法；在这里，我们对其中三个想法进行了初步思考。
首先，我们需要在领先的开发努力之间进行一些协调，从而确保超级智能的开发是以一种既能让我们保持安全又能帮助这些系统与社会顺利融合的方式进行。有许多方法可以实现这一点；世界上的主要政府可以共同建立一个项目，让许多当前的努力成为其中一部分，或者我们可以通过「集体同意」（有一个新组织的支持力量，如下面建议的那样）的方式，将前沿AI能力的增长限制在每年一定的速度。
当然，个别公司也应该以极高的标准被要求负责任地进行开发。
其次，我们最终可能需要类似于国际原子能机构（IAEA）的机构来监管超级智能的开发；任何超过一定能力（或计算等资源）门槛的努力都需要受到这一国际机构的监督，该机构可以检查系统、要求审计、测试是否符合安全标准、对部署程度和安全级别进行限制等。追踪计算和能源使用情况会有很大的帮助，并给我们一些希望，这个想法实际上是可以实现的。作为第一步，公司可以自愿同意开始实施这样一个机构有朝一日可能要求的要素，而第二步，各个国家可以实施它。重要的是，这样一个机构应专注于减少「存在风险」，而不是应该留给各个国家的问题，如定义AI应该被允许说什么。
第三，我们需要有足够的技术能力来使超级智能安全。这是一个开放的研究问题，我们和其他人正在投入大量的精力。
不在讨论范围内的内容
我们认为，允许公司和开源项目在显著能力门槛以下开发模型是很重要的，而不需要我们在这里描述的那种监管（包括繁琐的机制，如许可证或审计）。
如今的系统将为世界创造巨大的价值，虽然它们确实存在风险，但这些风险水平似乎与其他互联网技术相当，而且社会的应对方式似乎是合适的。
相比之下，我们关注的系统将拥有超越迄今为止任何技术的力量，我们应该注意不要通过将类似的标准应用于远低于这个门槛的技术来淡化对它们的关注。
公共参与和潜力
但对，最强大的系统的治理，以及有关其部署的决定，必须有强大的公众监督。我们相信，世界各地的人们应该民主地决定AI系统的界限和默认值。我们还不知道如何设计这样一个机制，但我们计划做一些试验。我们依然认为，在这些广泛的界限内，个人用户应该对他们使用 AI 的行为方式有很大的控制权。
考虑到风险和困难，值得思考的是，我们为什么我们要构建这项技术。
在 OpenAI，我们有两个基本原因。首先，我们相信它将带来一个比我们今天所能想象的更好的世界（我们已经在教育、创造性工作和个人生产力等领域看到了这方面的早期例子）。世界面临着很多问题，我们需要更多的帮助来解决它们；这项技术可以改善我们的社会，而每个人使用这些新工具的创造力肯定会让我们感到惊讶。经济增长和生活质量的提高将是惊人的。
其次，我们相信，停止构建超级智能将是一个具有非直观风险且困难重重的决策。由于其巨大的优势，构建超级智能的成本每年都在降低，构建者的数量也在迅速增加，而且它本质上是我们所处技术路径的一部分，要停止它需要类似于全球监控制度的存在，而即使有这样的制度也不能保证成功。因此，我们必须做到正确无误。
参考资料：
https://openai.com/blog/governance-of-superintelligence
*以上内容转载自新智元，逆向思维对内容或做细微删改，不代表本网站赞同其观点和对其真实性负责。
超级智能的发展是科学家们争论不休的话题。
OpenAI强调了超级智能的巨大潜力和相关风险，超级智能是更传统的通用人工智能(AGI)概念的演变。该企业认为，这种功能强大的技术可能在目前的十年内出现，可能解决重大的全球问题。OpenAI的策略包括创建一个具有人类水平能力的自动对齐研究员，并利用大量计算资源迭代地训练和对齐超级智能。这个过程被称为超级智能校准，需要人工智能校准技术的创新、广泛的验证和对抗性压力测试。OpenAI正在投入大量资源和研究来应对这一挑战，并鼓励优秀的研究人员和工程师加入。然而，术语从AGI到超级智能的转变是否会对围绕人工智能的风险和收益的持续辩论产生深远影响，还有待观察。
OpenAI强调了超级智能的潜力，这可能是有史以来最具影响力的技术，能够解决重大的全球问题。然而，其也承认与超级智能相关的巨大风险。
虽然超级智能看起来很遥远，但OpenAI认为其可能会在这十年内出现。管理这些风险将需要新的治理机构，并应对将超级智能与人类意图结合起来的挑战。有趣的是，OpenAI正在使用这个术语，而不是更传统的通用人工智能(AGI)。其理由如下：
“在这里，我们关注的是超级智能，而不是AGI，以强调更高的能力水平。在未来几年里，我们对这项技术的发展速度有很多不确定性，所以我们选择了更困难的目标，以校准一个更有能力的系统。目前的人工智能校准技术，如从人类反馈中强化学习，不足以控制潜在的超智能人工智能。人类无法可靠地监督比我们聪明得多的系统，现有的技术也无法扩展到超级智能。OpenAI强调需要科技突破来克服这些挑战。”
OpenAI的方法包括建立一个具有大致人类水平能力的自动校准研究员。大量的计算资源将被用来扩展其努力，并反复调整超级智能。关键步骤包括开发可扩展的训练方法，验证结果模型，以及对校准管道进行压力测试。根据OpenAI公告的标题，这个概念被称为超级智能联盟。
为了解决评估对人类具有挑战性的任务的困难，人工智能系统可以用于可扩展的监督。对无监督任务的监督的泛化，以及检测问题行为和内部的检测对于验证一致性至关重要。对抗性测试，包括训练错位模型，将有助于确认校准技术的有效性。
OpenAI预计，随着对这个问题的了解越来越多，其研究重点将会不断发展，其计划在未来分享自己的路线图。OpenAI组建了一个由顶尖机器学习研究人员和工程师组成的团队，致力于解决超级智能校准问题。OpenAI将在未来四年内将其20%的安全计算投入到这项工作中。
虽然不能保证成功，但OpenAI仍然乐观地认为，集中一致的努力可以解决这个问题。其目标是提供证据和论据，让机器学习和安全社区相信问题已经解决。其正在积极与跨学科专家合作，考虑更广泛的人类和社会问题。
OpenAI鼓励优秀的研究人员和工程师，即使是那些以前没有从事校准工作的人，加入其工作。OpenAI认为超级智能校准是最重要的未解决技术问题之一，并认为这是一个可操作的机器学习问题，具有潜在的重大贡献。
在关于人工智能、AGI以及从效用到人类毁灭等复杂的相互关联问题的激烈辩论中，似乎出现了新的分歧。现在，词汇已经发生了一些变化，但这是科学还是语义还有待观察。
文章链接：智能制造网 https://www.gkzhan.com/news/detail/158824.html