- 340M 参数
BERT
自监督学习的目标跟目标越接近越好。
一个任务：预测句子中被mask的词：
BERT通过Masking Input来获得训练数据
mask有两种做法：
-
将某个字token换成一个特殊符号（代表盖住）
-
随机把某个字换成另外一个字
盖住的部分输出的向量作为Linear层的输入，然后送入softmax得到所有感兴趣词的概率分数。
盖住的字就能作为标签
另外一个任务：预测下一句 -
cls
-
sep
两个句子应不应该接到一起，这项任务太简单了。改进的方法：RoBERTa，SOP（前后句子都能互相组队）
使用BERT
- 填空题
- 预测下一句
基于上面功能可以做一些downstream任务
用Pre-train训练，fine-tune Bert模型
模型评估
九个任务上的平均分是多少表示模型的好坏。
基于Bert模型，自然语言处理能力有比较大的提升。
使用
- case1: 输入是序列，输出是类别。
bert提取特征，加线性层+softmax分类，仍然需要一些标注数据
主要是学线性层的参数，bert得到的权重比随机初始化的要好。
- case2: 输入是序列，输出也是序列，类似于输入，比如词性标注
- case3: 输入两个句子，输出一个类别，比如推理（基于输入能否推出某个论点）
- case4： 问答系统（有点限制的问答，答案一定出现在文章里面）
输入一个问题，输出两个正整数，表示第s个字到第e个字作为答案。
正确答案在文章中的起始位置和结束位置。
把文章截成一小段一小段作为训练数据。
- BERT
- ALBERT
时间：
- TPU V3 花费8天
将句子弄坏，看看后续能不能还原出来。
- T5 训练，公开数据1PB
BERT工作原理
将字转成embeeding后，相近的字特征空间里比较接近
计算特征之间的相似性：
BERT的输出，每个向量代表那个对应的输入的字。一个词汇的意思取决于上下文：
早期的cbow技术的思想与BERT的想法一样，word embedding, 两层线性层。Bert就是深度学习版本的cbow，还考虑上下问：
DNA转成对应的文字，然后再做分类：
Multi-lingual BERT
用多种语言混合的训练填空题，结果在QA时候用英文训练，能够比较好的回答中文的QA；
不同语种之间相同意思在特征空间比较
两天没有变，一周突然就变了：
资料变多，训练效果就变好。
矛盾点：英文输出英文，中文输出中文，假如BERT能够学习不同语言的embedding，假如是英文句子空着的地方，为什么不推理出来的是中文呢？说明BERT还是能够识别出语种的差距：
加上差距后就能英文输入，中文输出：
GPT
任务是预测接下来后出现的token是什么
应用的是Transformer的decoder，不会看到之后的词：
有生成文字的能力：
使用
- few shot learning
- one-shot learning
- zero-shot learning
第3代GPT在42个任务上进行测试，效果还不是很好，但是在3.5及以后，效果基本上达到人类水平。
GTP3的细节：
其他方面
语音mask版本的bert和gpt，预测接下来出现的内容。缺评测的benchmark，文本类的有GLUE，语音上有superb
