活动报名|超越Transformer?RetNet设计原则与应用前景

ddf56f29a9d376b3678a2946c7f331f7.png

智源LIVE第48期将于2023年07月27日11:00-12:00线上召开,本期活动邀请了清华大学在读博士孙宇涛进行线上报告,题目为《RetNet的设计原则与应用前景》。

2ea1ace40b2cbeb3fae442571ffbb44e.jpeg

孙宇涛

清华大学在读博士

孙宇涛于2023年获得清华大学学士学位,并将于同年继续攻读计算机博士学位,师从王建勇教授。同时,他从2022年7月开始在微软亚洲研究院开展研究工作至今。他的主要研究兴趣是大模型的基本架构、长文本的建模与推理、以及大模型在其他领域的应用。

思维链如何解锁并释放大模型的隐藏能力

RetNet作为一个全新的神经网络架构,拥有强大的建模性能和推理速度,展示了其作为自然语言基座的应用潜力。在本次报告中,将讲述RetNet的设计思想,分析已有的方法的优势和缺陷,以及实验中的一些结论;除此以外,作者还将介绍未来延续该工作的计划,以及在更多场景下的可能性。

活动时间:7月27日(周四)11:00-12:00(上午)

活动形式:线上直播,点击“阅读原文”进行预约;扫描二维码进入交流群

f6def77e2205da8f85135247d0b7da67.png

猜你喜欢

转载自blog.csdn.net/BAAIBeijing/article/details/131908009