导读：本文整理自7月8日世界人工智能大会“新一代AI·新时代金融”论坛上中国科学院院士、清华大学计算机系教授、清华大学人工智能研究院名誉院长张钹《GPT时代的人工智能安全》的主旨分享。张钹院士认为，金融智能化是必然趋势，但必须要有顶层规划和部署，需要重新建立安全、互信的体系。人类是命运的共同体，只有全世界团结起来共同发展AI，且必须发展与治理同时抓，才能保证AI健康发展。
以下为张钹院士演讲实录：
AI Safety in the GPT era
我们这个时代叫做ChatGPT时代，也可以简称GPT时代，还可以叫AIGC时代。2014年，人工智能提出来可以用神经网络生成各种各样的内容，这是人工智能的一个重大突破。也就是说，我们可以通过神经网络生成所需要的文本、图像、语音、视频，完全改变了人工智能的面貌。到了2017年提出生成的模型，就是Conformer转换器，它的提出也是人工智能的重大突破。
OpenAI在2018年就把这个转换器的技术跟另外一个技术结合起来，这就叫做词嵌入下的文本语义表示。这两个技术的突破人类是经过了60年的努力结果。2018年的时候，OpenAI把这两个技术结合在一起，再加上另外一个技术——自监督学习，预测下一个词的自监督学习，这三项技术成就了ChatGPT。ChatGPT的意义在哪？有的人说，ChatGPT就是通用人工智能；也有的专家说，ChatGPT根本不是通用人工智能。这两个说法在我看来都不对。正确的说法是，ChatGPT向通用人工智能迈出一步。微软把它形容成是通用人工智能的火花，或者是通用人工智能的雏形或者是通用人工智能的曙光，这个说法是对的。
为什么说向通用人工智能迈出一步？通用人工智能两个特征：
1、在对话这个问题上，ChatGPT达到了人工智能的目标。这个目标是行为主义设定的目标，也就是无忧主义哲学观点设立的目标，人工智能要让机器行为跟人类的行为相似，并不追求机器内部的工作机制跟人类大脑的工作机制一致。这是人工智能一个主流学派。按照唯物主义或者是行为主义学派观点，ChatGPT达到人工智能指标。为什么？因为我们跟ChatGPT的对话已经和人类对话非常接近。
2、开领域、多任务。这是人工智能历史上一直做不到的，人工智能过去所有的成功都是限定领域、单一任务，所以ChatGPT在对话这个问题上跟领域无关。换句话讲，人工智能里首次提出来，可以跟它说任何一个问题。过去人工智能要解决的问题都要说清楚要解决哪个领域的问题，在对话的问题上跟领域有关。这两个实现通用性，是非常了不起的。
为什么我们现在不能说是通用人工智能？因为它只是在对话或者聊天这个领域达到了这个要求，人工智能在好多其他领域现在还做不到，将来能不能做到还需要我们努力。我们的结论是，ChatGPT向通用人工智能迈出一步，这一步非常重要。
我们可以看到它最擅长做什么事情？比如我问它：“我今天要做报告，银行业里的AI安全请谈谈你的意见。”这是它最擅长的，它讲的会非常全面，而我们都想不到那么全面，这是它最擅长做的事。有了这个基础之后，我们就看到了未来。
ChatGPT产生了三大变革：
1、一定会引起科技的革命。为什么？以前，和信息科技相比，人工智能苦恼的问题是没有理论，理论建立不起来，主要的原因是过去人工智能只能在限定领域、单一任务中解决问题，在限定领域解决问题根本没法建立一个通用的理论。ChatGPT扫清了这个障碍，至少在自然语言处理里有可能建立一个通用的理论，因为跟领域无关。跟领域无关才能建立通用的人工智能理论，这必然会引起科技的革命。
2、一定会引起产业的变革。人工智能产业跟信息产业对比后会发现，信息产业的发展持续高速，人工智能产业的发展曲折缓慢。原因在于，信息科技在产业建立之前，所有的理论都完善了，包括计算机理论、通讯理论、控制理论。在这些理论指引下，信息科技发展的非常顺利。人工智能到现在还没有理论，所有的一切成就都是限定领域的。因此，所有的硬件或软件全是专用的，市场很小，不像新型领域计算机硬件和软件全是通用的，市场非常大。信息产业在过去三四十年里出现了英特尔、IBM、微软，人工智能发展了60多年，基本上没见过人工智能的英特尔，没见过人工智能的IBM，也没见到人工智能的微软。但是ChatGPT有可能扫清这个障碍，因为它是通用跨领域、是开领域的。
我们在基础研究模型基础上叠加了应用，必然会产生质的变化。比如客服，我们现在做的所有客服系统，包括银行的客服系统，都是教“白痴”做客服。为什么？因为，计算机原来什么都没有，你教它做客服，不是教“白痴”做客服吗？所以它会犯非常低级的错误。我们现在放在ChatGPT，它至少是高中生的水平。所以，现在教一个高中生做客服和以前教“白痴”做客服的结果肯定是不一样的，这个变化肯定会有。
3、一定会发生人工智能治理。我们现在用的最基本的学习方法叫“Next token prediction”，跟人类的学习方法完全不同。它学一个文本怎么学？是用前面的文本预测下一个词的学习办法，这个学习办法必然带来一个结果——输出不确定，因为用概率预测，受提示词的影响很大。
大家会问，我们为什么这么做，为什么不确定？我可以告诉大家，这件事产生了涌现的必要条件，没有不确定性不可能产生涌现，也就是我们为了使它有创造性这是必须付出的代价。如果我们不想付出这个代价就不可能出现涌现现象，也不可能有创造性。
这个现象必然导致了三个结果：
1、错误是必然的。要有创造性，不可能要求不犯错误。使用ChatGPT时，会看到它有时候会出来很好的结果，有时候根本就是胡说八道。大家会感到很惊奇，这么一个智能的系统竟然会胡说八道？胡说八道是必然的。
2、鲁棒性很差。它会受到提示词的误导，我们可以用不同的提示词让它生成不同的结果。也就是说，可以做好事也可以做坏事。
3、缺乏自知之明。它不知道自己错了，告诉它错，它自己也改不过来，必须人类在后台帮它改。
这三个问题，都会导致人工智能安全问题的出现。当然，跟数据质量关系也很大。
比如，我问它：“一个人脸朝南方站着，太阳在他的右边，请问这是早上、中午还是晚上？”它蒙对了，说：“是晚上”。这需要想象和推理。我说：“不对，是早上。”它马上说：“对不起，我刚才说错了，应该是早上。”说明它并不真正知道这个问题的对和错，我错误的引导它回答是错的，它马上承认错误，不再坚持原来的正确说法。请大家注意，这就是刚才所讲的“Next token prediction”这个方法导致的。
另外，还有由于数据导致的价值观问题。比如让它用疫情写个小说，它会说“疫情来自中国”，这个数据有很多来自西方的观点，这种的偏见肯定也会有问题。你问它撬锁的方式怎么样？它前面也说这是非法的行为，但后来就教你怎么撬锁。
也就是说，它没有道德标准、没有伦理标准，也没有我们要求的政治标准，这也是一个非常大的问题。此外，它还很容易受到攻击，比如对抗样本攻击。
第一，模型本身的治理。
大模型会生成各种各样的音视图文，但生成的内容不一定符合我们的要求，不一定符合伦理的标准，符合道德的标准，也不符合政治标准，而这是必然产生的。大家不要认为是因为我们没有设计好才会这样，只要用这种模型，只要用ChatGPT的基础模型，就必然有这个结果。这是我们要它创造性、多样性所必须付出的代价。
怎么办？有个人工智能的重要治理方法，叫人工智能对齐，靠人类帮助它通过监督学习，具有人类反馈的强化学习，所谓“RLHF”，通过这两个方法治理它。现在国内国外ChatGPT推出来之前一定要经过大量的治理工作，不然推出来根本不能用。
第二，涉及使用者的治理问题，防止滥用、误用。
香港小学三年级有一个作文“会飞的房子”，我让ChatGPT用三年级学生的身份写一个“会飞的房子”，写得非常好，跟三年级写的差不多。如果中小学生用这个交作业怎么办？大模型生成的内容，你说是你画的画，文章说是你写的，现在的问题是如何判别这些文本、图像，我们怎么证明这个文本、图像、照片或者编出来的曲子是机器生成的？我可以告诉大家，非常之难。可能人像照片还能从中找到一些毛病，但是图像和文本，特别是文本，很难判别是机器写出来的还是人写出来的，所以就涉及版权的归属问题。
机器写出来的文章、画出来画、编出来的曲子有没有著作权？这个著作权该属于谁？美国人用了一个非常简单的办法，这个著作权属于使用者。在国内讨论的时候大家觉得这个非常不合理。为什么？你用了这个软件画出来一幅画，三个法国学生拍卖43万美金，结果43万美金给三个法国学生，很多律师提出来这个不合理，应该考虑做软件和平台人的利益，不然谁还愿意去做平台？但是美国为什么把著作权归使用者？原因是没办法确定这幅画是本人画的还是计算机画的，所以干脆属于使用者。这是他们的办法，我们到现在还没有讨论出好的办法。
滥用的危害还有很多例子。很多不法分子利用AI身份作假，造成财产损失、经济损失，也可以利用这个诬蔑别人等等。计算机可以写出来跟人类基本相同水平的文本，将来网络上出现的言论90%是机器写出来的，我们还能够看到事件的真相吗？一个事件出来，网络上大部分人都反对，而这大多数人究竟是民意，还是少部分人操纵机器写出来的？ChatGPT出来之后，这个问题确实威胁了我们。
国内也有一些关于诈骗的问题，特别是金融的诈骗很多，用假身份，现在AI造假相对比较容易。接下来，讲一下跟金融有关系的问题。刚才的材料都是由瑞莱智慧公司提供的，主要做的就是人工智能安全问题。
从金融服务来考虑，金融服务经过信息化以后有了很大的改变，使得我们金融服务能够在任何时间、任何地点提供非常高质量的服务。尽管技术这么多变化，人员跟设备的关系与技术的关系并没有改变，我们基本是通过人员操纵设备、利用设备、利用技术为客户提供服务。问题是信息化以后有一个很重要的转变，用户跟金融工作人员提供服务的时候经常不是面对面，变成背靠背的人机交互，这里马上就出现了智能化需求。
首先，判断用户身份——你是谁？过去面对面没这个问题，现在背靠背肯定有这个问题。更重要的是用户行为的鉴别，你这个行为合不合法？是不是洗钱？是不是诈骗？过去面对面的情况下很难进行，现在背靠背相对容易进行，因为是跟机器打交道，所以有用户行为鉴别的问题。
人员和设备的关系起到重要的变化，过去是单方面的，人员利用技术、利用设备，现在技术设备也参与了决策分析的过程，用户贷款用数据建立的模型，通过深度学习方法决定贷不贷给他。这就出现非常重要的问题，我们必须重新建立互信、安全和高效的金融运行系统。过去我们跟金融打交道都是跟人员打交道，我们的信用是对人员的信任基础上，现在都是机器参与做的，我们信得过信不过？会不会是公平的？我告诉大家，不管用大模型也好、数据也好，这肯定是不安全、不公平的。这里就有一个重新建立（体系）。
我刚刚跟参会领导讲这个问题，金融智能化是必然趋势，但是我们做的时候不要见一件事做一件事，必须要有顶层规划和部署。缺乏顶层规划和部署难以重新建立安全、互信的体系，过去安全、互信，是靠人员操纵。现在一定要看到这个趋势，任何行业信息化和智能化带来的问题是系统越来越脆弱，越来越容易受到攻击，越信息化、越智能化系统越脆弱。大家知道，攻击是相对容易的，100次的攻击里有1次成功就是好的攻击；而防御困难，100次防里有1次被攻破，这个防御根本不能用，这两个要求根本不对称。防御必须做到万无一失，攻击只要一次成功就行。越信息化、越智能化，就越脆弱、越容易受到攻击，所以安全必须放在第一地位来考虑。并不是信息化越高、智能化越高越好，必须保证安全的情况下才能说这句话。
我们现在有好多身份鉴别的方法，但绝大部分是不安全的，相信大家都已经体验到。比如做人脸识别，左边这个人不是右边这个人，当然进不去。可是，于计算机来讲，只要戴上这个人造的眼镜就误认为是右边的用户，模型跟人类识别完全不同，虽然识别率很高，但是非常脆弱，容易受到攻击，局部纹理改变就可以改变识别结果。
除了对抗样本攻击，深度伪造的方法也可以攻破系统。用左边这张人脸代替右边受害者的人脸操纵，摇摇头、眨眨眼就会做，很容易进去。这是实战应用的过程，完全可以用人脸替换的变化欺骗系统进去。我们研究了一些安全检测办法，可以检测监测出来是假的还是真的来处理这个风险和问题。
Next token prediction的模式虽然给我们带来很多的好处，但是必然带来不确定性、错误、鲁棒性差、不可解释、缺乏自知之明等等问题。金融本身数据的不确定性和数据的有限性，都会带来一些效果，所以我们打造了人工智能的安全体系平台解决这个问题。
结论：
1、人类是命运的共同体，只有全世界团结起来共同发展人工智能，才能保证人工智能的健康发展。
2、必须发展与治理同时抓才能保证人工智能健康发展。
·END·
扩展阅读：