OpenAI最新突破性进展：语言模型可以解释语言模型中的神经元
大家好，我是zenRRan。OpenAI在昨天发布了一篇论文：《Language models can explain neurons in language models》，可谓是深度学习可解释性又向前迈了一大步！谁又能想到，使用GPT-4来解释模型的可解释性，用魔法打败魔法，666。链接：https://openai.com/research/language-models-can-expla...
微软官方亲自出教程，拿捏「Prompt工程」高级玩法
选自微软博客机器之心编译大模型有了，下一步就是设计 Prompt 了。几个月来，ChatGPT、GPT-4 等大模型陆续发布。这些模型表现出了强大的涌现能力，但模型生成的结果是随机的，时好时坏，部分原因与 Prompt 的设计密切相关。很多人将 Prompt 比喻为大模型的咒语，在引导模型生成内容方面影响很大，如何选择 Prompt 成了每个 AI 研究者关注的问题。最近微软官方出了一份教程，该教...
多模态GPT：国内发布一款可以在线使用的多模态聊天机器人！快来把玩~
论文:MultiModal-GPT:AVisionandLanguageModelforDialoguewithHumans代码:https://github.com/open-mmlab/Multimodal-GPT（包含代码、数据、demo）作者：OpenMMLab深度学习自然语言处理 原创作者: 林哲乐使用视觉和语言指令训练一个多模态聊天机器人！基于开源多模态模型 O...
LlamaIndex ：面向QA 系统的全新文档摘要索引
来自：ChallengeHub在这篇博文中，我们介绍了一种全新的 LlamaIndex 数据结构：文档摘要索引。我们描述了与传统语义搜索相比，它如何帮助提供更好的检索性能，并通过一个示例进行了介绍。https://github.com/jerryjliu/llama_index后台回复：入群，加入NLP交流大群~1背景大型语言模型 (LLM) 的核心场景之一是对用户自己的数据进行问答。为此，我们将...
AAAI 2023 | 基于自监督逻辑归纳的可解释模糊时序常识推理
论文名称：Self-Supervised Logic Induction for Explainable Fuzzy Temporal Commonsense Reasoning论文作者：蔡碧波，丁效，孙洲浩，秦兵，刘挺，王宝军，尚利峰原创作者：蔡碧波出处：哈工大SCIR进NLP群—>加入NLP交流群动机介绍理解自然语言中与事件相交织的时间概念是理解事件演化的重要内容。人可以具有对事件的典型...
“超越”(MMCU)中文通用大语言模型测试集--国内首个多领域多任务数据集
来自：甲骨易进NLP群—>加入NLP交流群近期，中文大语言模型蓬勃发展，但却一直没有出现可应用于评测大模型能力的测试。甲骨易AI研究院提出一种衡量中文大模型处理多任务准确度的测试，并在此基础上制作了一套适配测试中文大模型的数据集，并将其命名为“超越”。数据集的测试内容涵盖四大领域：医疗、法律、心理学和教育。通过综合评估模型在多个学科上的知识广度和深度，能够帮助研究者更精准地找出模型的缺陷，并...
震惊！使用RNN就能达到超越GPT的对话效果！甚至超越LLaMA？ Github已近万star
大家好，我是zenRRan，最近在群里发现小伙伴分享了一篇极为震撼的文章：通过纯RNN架构竟然达到甚至超越以GPT为base的大语言模型的性能。刚开始我还以为是民科呢，但是细细了解后发现作者知乎关注达十几万该项目的github名为The RWKV Language Model[1]项目的star竟然快接近万了。项目介绍：RWKV是具有Transformer级LLM性能的RNN，也可以像GPT tr...
首个中文医学知识LLM：真正的赛华佗—华驼(HuaTuo)
出品| OSC开源社区（ID：oschina2013)进NLP群—>加入NLP交流群先划重点：中文医学知识，不是「中医」。自从 Meta（原 Facebook）的 LLaMA 大语言模型发布以来，相信大家看到了许多以“驼类动物”命名的 LLM。比如斯坦福用了 Alpaca，伯克利用了 Vicuna，Joseph Cheung 等开发者团队用了 Guanaco。据说南美洲的无峰驼类动物一共...
与Bard竞争，OpenAI急了 官宣：ChatGPT用户无需排队，直接可用上联网和插件功能...
OpenAI和谷歌，已经打得急红了眼，ChatGPT Plus用户，下周就可以体验联网和插件功能，无需再排队。鲨疯了，真的鲨疯了！来自：新智元排版：深度学习自然语言处理进NLP群—>加入NLP交流群ChatGPT，下周开始联网，并开放插件功能！OpenAI ChatGPT和谷歌Bard的竞争，已经到了白热化的阶段。前几天谷歌I/O大会上，劈柴展示PaLM 2和Bard等新产品，让人们眼前一亮...
华为诺亚提出新型Prompting (PHP)，GPT-4拿下最难数学推理数据集新SOTA
模拟人类推理过程，华为诺亚提出 Progressive-Hint Prompting (PHP) 引导大模型渐近正确答案。来自：机器之心分享：深度学习自然语言处理进NLP群—>加入NLP交流群近期，华为联和港中文发表论文《Progressive-Hint Prompting Improves Reasoning in Large Language Models》，提出 Progressive...
上海AI lab提出VideoChat：可以与视频对话啦
夕小瑶科技说 原创 作者 | 小戏、ZenMoore进NLP群—>加入NLP交流群视频相比语言、图像，是更复杂更高级的一类表征世界的模态，而视频理解也同样是相比自然语言处理与计算机视觉的常见工作更复杂的一类工作。在当下大模型的洪流中，自然而然的想法就是大规模语言模型（LLMs）可以基于语言训练的强大理解推理能力，完成视频理解的工作吗？现在答案到来了，上海 AI Lab 提出了以 Cha...
大模型的涌现能力介绍
原创作者：崔涵，宋岩奇出处：哈工大SCIR进NLP群—>加入NLP交流群摘要一个一直以来的共识是，模型的规模越大，模型在下游任务上的能力越多、越强。随着最近的新的模型的提出，大规模的语言模型出现了很多超乎研究者意料的能力。我们针对这些在小模型上没有出现，但是在大模型上出现的不可预测的能力——“涌现能力”做了一些归纳和总结，分别简要介绍了涌现能力的定义、常见的激发手段和具体的分类和任务。缩...
小模型媲美2000倍体量大模型，谷歌提出新思路：蒸馏也能Step-by-Step
深度学习自然语言处理 原创作者：林哲乐论文：Distilling Step-by-Step! Outperforming Larger Language Models with Less Training Data and Smaller Model Sizes地址：https://arxiv.org/pdf/2305.02301.pdf录取：ACL2023进NLP群—>加入NLP交流群个人...
百度文心一言在国产模型中倒数？我看懵了
进NLP群—>加入NLP交流群夕小瑶科技说 原创作者 | 卖萌酱最近几天，我们公众号的社群在纷纷转发一张名为SuperClue 评测的截图。科大讯飞甚至在官号进行了宣传：由于讯飞星火大模型刚发布，笔者玩的少，它是不是真的是国产最强这个笔者不敢下结论。但在该评测截图中，当下国产模型中热度最高的百度文心一言竟然连一个小型的学术开源模型ChatGLM-6B都打不过。这不仅与笔者自己的使用体验严重不...
如何大幅度延长语言模型输入长度
本文着重于对各种的方法的思想总结，非严谨推导来自：无数据不智能进NLP群—>加入NLP交流群ChatGPT从入门到深入（持续更新中）循环记忆输入Recurrent Memory Transformer (RMT)总体思想：将长文本分段之后得到嵌入向量与记忆向量拼接，得到新的记忆向量之后与下一段再循环输入transformer。注意：此论文实验结果在bert-base-cased（encode...
大语言模型的多语言机器翻译能力分析
来自：南大NLP进NLP群—>加入NLP交流群01研究动机以ChatGPT为代表的大语言模型（Large Language Models, LLM）在机器翻译（Machine Translation, MT）任务上展现出了惊人的潜力。通过情景学习（In-Context Learning，ICL），大语言模型可以根据任务示例和任务指令，在不更新模型参数的情况下，完成特定下游任务。然而，值得注意...
VPGTrans: 10%的成本定制你自己的类GPT-4多模态大模型
夕小瑶科技说 分享 作者 | 张傲进NLP群—>加入NLP交流群最近的多模态（对话）大模型将基于文本的ChatGPT的强大能力扩展到了多模态输入，实现强大的多模态语义理解，比如GPT-4、BLIP-2、Flamingo等。但咱们普通玩家训练一个多模态GPT代价非常昂贵。来自于新加坡国立大学和清华大学的研究工作提出一个VPGTrans框架，帮助小伙伴们实现极低成本训练一个高性能多模态大模...
综述｜如何利用LLM做多模态任务？
作者｜胡安文（知乎同名）进NLP群—>加入NLP交流群大型语言模型LLM（Large Language Model）具有很强的通用知识理解以及较强的逻辑推理能力，但其只能处理文本数据。虽然已经发布的GPT4具备图片理解能力，但目前还未开放多模态输入接口并且不会透露任何模型上技术细节。因此，现阶段，如何利用LLM做一些多模态任务还是有一定的研究价值的。本文整理了近两年来基于LLM做vision...
[ MySQL高频面试]VARCHAR(50)中的50到底是能存50个字还是50个字节？
了解 MySQL 的数据类型是开发人员在使用 MySQL 数据库的时候，必备的基础技能之一。也正因为此，这部分知识也是面试官面试的时候屡屡提及的高频问题，所以尽量不要在这个地方栽跟头。今天我们就一起探讨下MySQL面试中的高频问题：在数据建模设计时使用非常频繁的字符串类型 – VARCHAR。
今日推荐
周排行