微软工程师带你解密大模型 ChatGPT

29ccdaa75990b717f81b0e2c1e6782b4.gif

ChatGPT 是如何做到打破聊天机器人“人工智障”的刻板印象?在众多实测体验中,它已具备轻松通过图灵测试的能力(即让人误以为是与真人对话),且其回答的详实程度、说服力与连续逻辑推理能力远超当前主流会话机器人。

传统认知里,我们觉得难以被替代的创意、研究、代码类工作,都有可能受到这位背靠海量高质量参数的AI新贵的挑战。

ChatGPT 如何为过亿用户创造 Wow moment 的?其背后 OpenAI 这家公司又是何方来历,为何可以一骑绝尘,独领风骚?

063db27115cbedeee8d729243919b907.png

▍OpenAI 与微软

2015 年 12 ⽉

Elon Musk  和  Greg Brockman(前 Stripe CTO,现董事长&总裁)、Sam Altman(前 YC 总裁,现 CEO) 以及  Ilya Sutskever (师从神经网络之父  Geoffery Hinton,现首席科学家)等人在旧金山创立  OpenAI。

2018 年

OpenAI 与 Microsoft  合作,推出了 Azure AI Platform,这是⼀个新的项⽬,旨在让开发⼈员更容易构建和部署 AI 应⽤程序。

2019 年 7 月

微软向 OpenAI 注资10亿美元。这笔战略投资使微软 Azure 成为 OpenAI 的“独家”云计算服务提供商。

2022 年 11 月 30 日

OpenAI 发布 ChatGPT,一周时间内吸引过百万用户,可回答知识性与开放性问题,也可根据上下文持续互动,可创作流畅的诗歌、小说,乃至代码内容。

2023 年 1 月

微软宣布以 290 亿美元估值加注投资 OpenAI 100 亿美元,其旗下所有产品将全线整合 ChatGPT,除此前宣布的搜索引擎 Bing、Office 外,微软还将在云计算平台 Azure 中整合 ChatGPT,Azure 的 OpenAI 服务将允许开发者访问 AI 模型。微软 CEO 纳德拉表示,微软的的每个产品都将具备相同的 AI 能力,彻底改头换面。

2df53549317ef31bb12c34c043dc8985.jpeg

OpenAI 商业模式| 图源:FourWeekMBA Blog

▍ChatGPT 能做什么

ChatGPT 能结合不同的场景做不同的事,拯救了万千网友,让我们来看看它给出的10个回答吧!

a11f99b85332c8a51d86a7441531989b.png
  • 按照人提出的问题或者指令给予回复的能力

 ChatGPT 除了可以用狭义的基于「问答」形式交互以外,还能够按照输入的要求进行回复。

例如,在应对「文本生成」这类指令式的要求时,它同样也展现出了优秀的能力。这种能力让它不仅是一个提供答案的「高级搜索引擎」,更是一种可以用自然语言来交互的文字处理工具。

6c1cbbe75bd314bd0b8b4700c51bfacf.jpeg

  • 文字创作职业的效率倍增

ChatGPT 的核心能力在于文本输出,包含优质的逻辑,举例与论述,这对于所有需要文本输出的办公室白领职业都有所影响,可以预见的是,未来能灵活运用的 AIGC 的创作者将具备更强的生产力与职场竞争力。

7fd70ae7a1ff2c1dbb5e21182cb10565.jpeg

  • 强大的编程能力

目前 ChatGPT 已显示出强大的编程能力,甚至可以输出完整的 APP 编程,且在 debug 上也有所建树,程序员完全可以利用 ChatGPT 来搭建基础架构,并在其基础上通过不断提示新的需求来让 ChatGPT 优化代码或者人工优化代码。

ac2a2599a55d096be421845861fbafa2.jpeg

▍ChatGPT 背后的大模型

f2c6399f10a05c44b9ccaf8970b97062.jpeg

  • “模型”是什么?“大”在哪里?

2018年,OpenAI  出品了一个初代  GPT( Generative Pre-Training) 模型。

GPT 主要出论文《Improving Language Understanding by Generative Pre-Training》,GPT  是"Generative Pre-Training"的简称,从名字看其含义是指的生成式的预训练。

aa12a2ec4bf2f110d72be24dbafb1937.jpeg

简单地说,语言模型就是用来计算一个句子的概率的模型,也就是判断一句话是否是“人话”的概率?就像下图的“提示语”为古诗“床前明月”,输入模型,根据概率判断输出“光”或者“亮”等其他字。由于现实生活中,“光”字出现的概率最大,所以模型会输出“光”字。

8871d362b025984a5adb1c9f3f5d6a92.jpeg

从 2001 年,首次使用神经网络对自然语言进行建模,根据前 N 个词对第 N+1 个词进行预测;2013 年出现了一种新的训练方法,使用自然标签,不需要数据标注,提升了词嵌入的效果,在各种任务中使用通用知识成为主流。随后慢慢发展出了基于 Transformer 的大规模语言模型 GPT ……

ChatGPT 所拥有的丰富知识储备,来自于它的训练数据,以及它足够大的体量,得益于互联网的普及,它可以轻松地获得海量的由真人写出的文本内容,以便在训练中学会这些内容。

e4bc80fe0ef7ee4477fff9fcc936104d.jpeg

可想而知,ChatGPT 的出现大大降低了 NLP 技术的应用门槛。但它目前还不是全能的。最重要的一点在于它缺乏准确可靠的垂直领域知识,为了让它的回答更可靠,最直接的方式是为它提供外部的知识来源,比如微软将 Bing 的搜索结果作为它回答的信息来源等。

更多 AI 课程欢迎关注我们,带你学习更多 AI 前沿知识!

欢迎关注微软ATP官方账号

微软ATP一手资讯抢先了解

195e2ce15ce7f920ec2e52192b48570d.png

68d32a22866cf08cf9bf03b90148ff8c.png

24dc9976de33c2719309e029d0b116d4.png

d362fbe33e104e1e2c15e512be27790c.png

73a547d02c8160e2069d15f48ceac052.gif

点击“阅读原文” | 更多AI赋能案例

猜你喜欢

转载自blog.csdn.net/YeJuliaLi/article/details/129722532