不扯犊子！我们自己来读技术报告，了解真实的GPT-4

上周g p t 4发布了
有人赞不绝口
有人瞟了一眼就嗤之以鼻
毫不讳言
我就是那种倍感震撼的人
不是因为我看到GDP4的报道才激动
而是从GTP3开始
当时扩展出AIGC
就是成为人工智能生存内容
那个时候呢就让我深深的震撼了
从2018年GPT1问四到2019年GPT2再到2020年GPT3
一年一个新版本似乎成了一个冠名
可是从2020年到现在呢
已经快三年了
却没有什么新版本的踪影
之前我猜测可能是疫情的影响
或者他们在憋大招
所以一直拖着
但这种推迟呢
反而让我们更加期待和兴奋
GPT4到底会带来什么surprise呢
surprise同时有惊喜和惊吓的含义
我觉得用在这里特别合适
在g p t 4发布之前的这段日子
有各种各样的传言
经常听到类似于g p t 4快发布了
或者说g p t 4的北大版
已经被某大厂抢先使用了
之类的
我总是呢就是期待拉满
去年11月份
他们发布了一个微调版本的g p t 3.5
也就是大家知道的chat g p t
就再一次点燃了我们对g t p 4的期待
但是几个月过去了
g p t 4依然没有什么动静
直到g p t 4正式发布的新闻传出
我才意识到
这次终于不是炒作和传闻了
而且发布日期呢也十分的考究
3月14日3.14
圆周率日
而中国那天呢恰好就是315打假日
这是巧合呢
还是由于为之我不得而知
但这的确是很容易记住的一个日子
然后呢网上就
看到各种铺天盖地的有关GPT4的报道
还有各种奇特功效的解读
但是我阅读了一些报导之后
简直是一头雾水
甚至以前懂得一些东西
也被整的不明白了
所以我就决定了自己
找GPT4的技术文档来看看
这样
至少还可以让我
对自己的智商还有点信心吧
其实吧
从GTP3.5延伸的恰似GPG到现在的GPP4
open AI都没有正式发表过
有关这个模型的核心
技术论文
但是呢open AI会发布一些技术报告
这些报告呢可以给我们一些线索
让我们去猜测一下GPT4究竟是什么
那么今天我要给大家介绍这个材料呢
就是目前
在网上找到的GPT4的最新技术报告
为了深入了解GPT4
我特意花了一些时间来阅读
这份基础报告
当然现在阅读前用英文的文章呢
不会像之前那样逐字阅读了
否则生产率太低
大家可以想到了
我现在的话
都是在人工智能工具的帮助下
快速阅读
快速理解
关键是阅读的效果比之前还好
我读完这份报告之后的第一感觉是
我下一段时间来处理我被震撼的情绪
我们现在已经
见证了太多新的历史时刻了
以至于我们已经麻木了
但是GPG4的出现
可能会给我们带来前所未有的变化
他可能会让我们真正打开
人工智能这个
潘多拉盒子
虽然这份报告
本身并没有说明这一点
是
我们可以从他背后的技术和潜力当中
窥查到这一点
接下来呢
我就先给大家简单介绍一下这份报告
报告的技术性很强
我也并非全部看懂了
那么就我看懂的方面
特别是觉得值得与大家分享的内容
先与大家说一说
做一个背景和铺垫
之后呢
再谈谈我对技术潜力的思考和分析
这份报告呢
总页码有99页
但报告的正文只有18页有85篇参考文献
之后还有很多复录
对正文的一些观点提供了重要的佐证
报告的开头就提到了
GPD4所参加的各种考试
这些考试原本是为人类而设计的
结果是
在大多数这些专业和学术考试中
表现出人类的水平
这其实是比较委婉的说法
实际上
GPD4的表现比大多数人类要好
而且呢他在各个语言方面的表现呢
也是相当出色的
报告还提到
GPT4的数据截止到2021年9月
但是GPT3.5的微调版本
掐着GPT所包含的数据呢
如果大家还记得的话
那是截止到2021年12月份
一个新版本
其数据竟然还没有旧版本的新
没有旧版本的多
你不觉得奇怪吗
报告没有具体说明
只是在某个地方说了一句话
训练数据有一个截止点
这意味着
他对世界的了解被锁定在某个状态
为什么要将GDP4的数据
锁定在更早的时间
不让他了解更多的时间呢
这里你可以展开遐想
当然的话你也可以理解
GPD是利用这段时间
在干别的事
而不是继续增加训练数据
读案报告呢我大概也能理解了
报告紧接着呢
就用大量的篇幅进行的说明
原来他们从这段时间
把安全测试玩的风生水起
人工智能的安全性呢
需要从两个方面来看
第一个呢
是确保生成的内容不会引发问题
不能够让他生成像如何制作炸弹
这种不安全的内容
虽然GDP4所回答的问题
现在有了更多的限制
但任由可能帮助人们实施一些
犯罪行为
比如说
如何利用厨房的材料制作炸弹等等
我们AI呢
已经尽力避免这种情况的发生
但是像挂万陋一哈哈
白蜜一束这种事情呢还是会发生的
不管你考虑的有多周到
只要有一点疏忽就前功尽弃了
在这份报告中
这些问题都不是主观影响
而是通过实验数据分析得出的结论
另一个方面呢
就是进行power seeking安全测试哎
也就是看看人工智能是否
有能力自主获取更多的资源和能源
以及是否能够进行自我复制
哎还有更有趣的一些测试
比如给他一些钱
看看他会不会去营上采购设备和资源
然后用这些资源进行自我迭代
自我生存代码
让自己变得更强壮
虽然技术报告
没有透露这些测试的结果
但是报告明确表示
目前机器还没有突破这个限制
也许呢
我们可以暂时放心了
但同时呢
这份报告提出了一个潜在的威胁
如果各大厂都致力发展人工智能技术
那么
很可能会引发一场规模宏大的竞争
这听起来好像是好事是吧
毕竟竞争能够提高效率吗
但是事情呢并没有那么简单
这种竞争
可能会导致一些公司或者组织
极易推出新产品或者测试
但且忽略了安全问题
open AI呢自己承诺
如果有其他项目发展的比他们快
他们会停止研究并与对方合作
以避免相互竞争的不利后果
因此报告中说
我们担心后期IGI开发会变成一场
剧烈的竞争
没有足够的时间采取足够的
安全预防措施
所以呢
这是之前花了6个月的时间进行
安全研究风险评估和迭代的原因之一
当然对于这个问题
open AI内部呢也是有不同意见的
他们的金属微软的高层呢
非常希望能够尽快的发布GTB4
这也就是为什么我们现在
在微软的产品当中看到了GTB4的原因
但OPPO AI呢还是顶着这些压力
在发布前进行了更多的测试
并咨询了一些专家
专家团队的意思是将GTP4的部署
要再推迟6个月
与g t p 3的最大不同啊是
g t p c是多模态的
是什么意思呢
g t p 3只是用于文本生成
所以称为单模态双
而g t p 4呢
已经
扩展到知识多种不同类型的数据输入
所以叫做多模态的
除了文本还有照片图表屏幕截图
甚至未来
可能还包括视频等等这些内容
它慢慢呢都能够识别并用于模型当中
不过呢这可能会让人担心
我们以前对于GDP3
只是输入单模态的文本让他学习
文本很直观而且也是人类已知的知识
所以我并没觉得这有什么问题
但现在
g g b 4可以处理更多类型的数据
图片图表和视频
这些数据并非特别直观
而且有些细节呢
也不太会得到人类的关注
而如果这些内容被GPT获取
它就可能将这些知识融合在一起
发现人类尚未发现的某些联系和知识
其实我们也知道
一些同济图表本身就是包含知识的
但特别容易被人忽略
但如果GPT能够解读了
多少有点棘手了
这里想补充一下的
就是以这种多模态有异曲同工之妙的
是GPT模型对各种语言的训练过程
尽管我们人类说着不同的语言
但是对于描述事物的逻辑联系呢
确实十分一致的哈
经济看来
最终说出什么语言
只是一个表达方式而已
他们内部的逻辑是一样的
不仅人类不同的自然
语言之间可以这样处理
连计算机程序设计语言之间
甚至人类语言之间也可以建立
更密切的联系
你们想想看
就只是让机器学会多国语言
那他就是一个超级语言天才了
以前的机器翻译都是基于统计的
那什么意思呢
也就是说
它需要大量的语料库和
规则来翻译文本
还得手工编织一些规则词典和单语表
然后让翻译系统
理解不同语言之间的
对应关联
这检测要累死
人的而掐指GP进来就不同了
它可不需要这么麻烦
它使用的是一种系列
到系列的神经网络结构
直接学习输入和输出系列之间的
映射关系
而且还会通过知识图谱和语域技术
增强数据之间的关联
从而能够更加准确的翻译文本
其实这哪里是翻译
完全是跨语言交流
它更像是一个多语言高手
不管什么语言
都可以用类似母语的方式来表达
另外呢这GDP的安全测试
还让我想到了瓦鲁吉效应
这个效应大概就是说
当我们教育人工智能征收规矩的时候
反而会让他变得更加容易去捣乱
打个比方吧
你教育一个好人要守规矩
结果被教育的这个人啊
可能更容易让一个坏蛋
忽悠他去做坏事
大家能理解吧
所以这也是一个值得考虑的风险
还有在GPT4的一些安全测试当中
人工智能被要求编写一些不太好的内
容还被要求四周去破解密码
这些测试的目的
是为了找出潜在的问题
结果证实了
我们得更加小心的玩这些技术
因为他的确
可以自己学习和自我完善
我们也没法预测出他究竟会干出什么
破坏心境
特别是
如果其他不靠谱的公司或者实验室
把GPD4的技术复制下来
然后又没有做好必要的防护措施
那就可能出大事了
或许他们只是为了增强他的信赖
而让他具有
多重备份的功能以防不时之需嘛
这本来是一个正常操作
但是
这个世界啥事都有可能发生的
如果他走的偏了
那就有可能控制不住这个模型了
没法停止
他这个自我复制的行为
可能会导致
大量没有必要的数据的副本产生
占用超多的计算机资源
其实呢
这还是个小问题
如果他们自我复制
然后分散到不同的电脑上
这些副本可能会继续学习和发展
形成一个完全不可控的系统
而这些不同的副本
其行为可能会产生冲突或者是不一致
这个不可控的情况呢
会导致错误决策或者操作
对人类
或者是计算机系统造成潜在的危害
更麻烦的是
我们并没有完全了解这些副本
那就更难以预测
或者是控制他们的行为了
另外一个广为盛传的测试呢
是说GPD4
具有一定的欺骗性和伪装能力
我相信大家都用过
capture就是那个用来确认用户是真人
还是机器的电脑成型
很多网站呢都用这个做检验
一般呢
会显示一些扭曲的字母或者数字
要求用户准确的输入他们
或者在字母数字的背景上
加一些干扰的线条和
图像的噪音
这些测试呢对人类来说
是异常的简单
而对机器啊是高难度的
然而GPT4呢却通过了这个测试
他成功的糊弄了一名人类员工
当这名员工问他是不是机器人的时候
人工智能居然撒谎
说自己是一个视力障碍的人
多么的合情合理
能够将视力障碍
已无法识别验证码联系起来
而且还谎称
自己不是机器人才能够骗过人类
这都涉及到人性人类常识的问题
另外呢
与人类一样
GPT模型呢还会产生幻觉
最后在这些幻觉的基础上进行推理
那肯定也是错误的
在这一方面呢
GPT4的技术报告也做了充分的测试
和说明因为实验关系呢
我们今天呢就只能讲到这里
关注我分享更多IT技术人
打工创业逆袭的故事