2023年7月第3周大模型荟萃
- 2023.7.25
- 版权声明：本文为博主chszs的原创文章，未经博主允许不得转载。
1、华为发布大模型时代 AI 存储新品
7 月 14 日华为在深圳发布了大模型时代 AI 存储新品，为基础模型训练、行业模型训练，细分场景模型训练推理提供存储解决方案。华为此次推出的AI 存储新品包括 OceanStor A310 深度学习数据湖存储与 FusionCube A3000 训/推超融合一体机。其中，OceanStor A310 深度学习数据湖存储可实现从数据归集、预处理到模型训练、推理应用的 AI 全流程海量数据管理。FusionCube A3000 训/推超融合一体机面向行业大模型训练/推理场景，针对百亿级模型应用，可提供拎包入住式的部署体验。
2、英特尔发布高性价比 Gaudi2 加速卡
7 月 11 日，Intel 面向中国市场推出第二代 Gaudi 深度学习加速器 Habana Gaudi2。在大语言模型 GPT-3 的评测上，Gaudi2 也展示了其较优的性能。对于在中国运行深度学习训练和推理工作负载的客户来说，与市场上其他面向大规模生成式 AI 和大语言模型的产品相比，Gaudi2 是更理想的选择。除了在性能表现上超过 A100 之外，Gaudi2 在各种最先进的模型上相对于 A100 提供了约两倍的性价比。
在 GPT-3 的训练上，英特尔使用 384 块 Gaudi 2 加速器使用 311 分钟训练完成；相比之下，英伟达在 512 块 H100 GPU 上的训练时间则为 64 分钟。这意味着，基于 GPT-3 模型，每个 H100 的性能领先于 Gaudi2 3.6 倍。性价比是影响 H100 和 Gaudi2 相对价值的重要考量因素，Gaudi2 服务器的成本要比 H100 低得多。
3、Meta 发布最强免费可商用大模型 Llama 2
一直以来 Llama 可以说是 AI 社区内最强大的开源大模型。但因为开源协议问题，一直不可免费商用。2023年7月19日，在今天的微软的Inspire 合作伙伴大会上，Meta宣布和微软深化合作，正式推出新一代开源大型语言模型Llama 2，并将该模型免费开放给商业和研究使用。
面对OpenAI和谷歌正在努力构建的技术围墙，Meta似乎想要另辟蹊径、通过生态开放来切入这场巨头间的大模型竞赛。此次Meta高调开源Llama 2，无疑是在正面硬刚走“技术保密路线”的GPT-4和谷歌的PaLM 2。
此次 Meta 发布的Llama 2 模型系列包含 70 亿、130 亿和 700 亿三种参数变体。根据官方的介绍，相比于 Llama 1，Llama 2 的训练数据多了 40%，上下文长度也翻倍，并采用了分组查询注意力机制。具体来说，Llama 2 预训练模型是在2 万亿的 token上训练的，精调 Chat 模型是在100 万人类标记数据上训练的。根据公布的测评结果显示，Llama 2 在包括推理、编码、精通性和知识测试等许多外部基准测试中都优于其他开源语言模型。
此举意味着，国内大多数大模型又将升级新一代了。
- 论文地址：https://ai.meta.com/research/publications/llama-2-open-foundation-and-fine-tuned-chat-models/
- 项目地址：https://github.com/facebookresearch/llama
4、LG发布多模态大语言模型EXAONE 2.0
7 月 20 日消息，LG 公司正式发布多模态大语言模型 EXAONE 2.0，支持韩语、英语两种语言，可用于新材料、新药开发等领域。据介绍，EXAONE 2.0 学习了“约 4500 万件通过合作伙伴关系获得的专利和论文等专业文献，以及 3.5 亿张图片”。为了解决超大型 AI 的高成本问题，EXAONE 2.0 在处理大规模语言模型（LLM）、图像和语言等多种信息的同时，还进行了轻量化设计。目前，EXAONE 2.0 仅为 B2B（企业与企业之间）领域提供服务。
点评：推测是基于开源大模型项目+自己训练。
5、斯坦福研究发现GPT-4“变笨”
近日，来自斯坦福、UC Berkeley 的一篇 arXiv 预印本论文给出了对这一问题的定量实验结果并公布了相关评估和响应数据。在论文公布不久，这篇研究就引起了大家广泛的关注与讨论，很多网友都认同论文阐述的结果。
具体而言，通过四个任务研究过 GPT-3.5 和 GPT-4 的 2023 年三月版和六月版的生成结果后，研究者发现这两个 LLM 确实在一些指标上变得更差了，尤其是 GPT-4 求解数学问题的能力，可以说是雪崩式下降 —— 三月版 97.6% 的准确度到六月只剩 2.4%。研究者还推测了这些变化的原因。需要指出，更新版的 LLM 并不总是能生成更好的结果。事实上，尽管 GPT-4 的整体表现变得更好了，但六月版却会在三月版答对的问题上犯错。
目前此问题还没有准确的结论。
6、IDC 最近最新发布《AI大模型技术能力评估报告，2023》
7月20日，国际数据公司IDC 最新发布《AI大模型技术能力评估报告，2023》，从算法、生态、服务能力等多个维度评估中国大模型的整体实力。其中，百度和阿里的大模型得分比较高。
7、多国出台法规监管AIGC技术
- 中国：近日，国家网信办等7部门联合发布《生成式人工智能服务管理暂行办法》(以下称《办法》)，自2023年8月15日起施行。《办法》的公布为中国生成式人工智能服务的健康发展提供了重要法制保障。
- 欧盟：当地时间6月14日，欧盟的主要立法机构欧洲议会通过了一项名为《人工智能法案》(AI Act)的法律草案，该法案将对被视为该技术最危险的用途施加新的限制——投票禁止实时远程生物识别技术，欧盟禁令意味着不能在公共场合实时扫描人脸；同时要求OpenAI和谷歌等公司必须进行风险评估，并披露更多用于创建程序的数据。欧盟在监管生成式AI方面的进展可能对该领域产生巨大影响，据估计，未来10年，该领域的价值将超过1.3万亿美元。而违反欧盟的监管规定，可能导致一家公司面临高达年收入6%的罚款。
- 美国：6月下旬，美国商务部宣布其下属的国家标准与技术研究所(NIST)将启动一个政府工作小组，制订指导方针应对生成式人工智能带来的风险，同时有助于抓住这种新技术带来的机遇。
- 当地时间7月21日，美国总统拜登与美国人工智能领域的7家领军科技企业负责人会面。这七家公司是亚马逊、Anthropic、谷歌、Inflection、Meta、微软和OpenAI。这些公司自愿向白宫承诺为AI生成内容添加水印。
- 澳大利亚：近日，澳大利亚政府表示，将弥补现有法律漏洞，对新形式的人工智能技术采取“保障措施”。澳大利亚联邦工业、创新和科学部部长埃德·胡斯克(Ed Husic)发布了澳大利亚国家科学技术委员会的建议，以及一份关于人工智能的讨论文件，其主旨是考虑有针对性的监管措施。
- 英国：据路透社消息，在英国有几家国家监管机构负责起草内容涵盖人工智能的监管规则，这些机构中就包括金融行为监管局。目前，该机构正在与艾伦·图灵研究所和其他法律与学术机构协商，提高其对人工智能技术的理解。