SCIERC语料格式解读
一、观察语料二、利用下面的代码将语料打印出来三、解读由上面打印的信息可知，句子对就是文档中的句子，这里是以列表的形式给出来的。实体信息就是实体在前面文档的中（起始位置，终止位置，实体类型）三部分构成。关系对以（主体起始位置，主体终止位置，客体起始位置，客体终止位置，关系类型构成）五个部分构成。最后的集群指的是同一个指代的实体在文章中出现的不同位置，已用（起始位置，终止位置）的形式给出。
Keras深度学习实战（18）——语义分割详解
语义分割 (Semantic Segmentation) 是为了便于图像分析而为图像中的每个像素分配标签的过程，可以将语义分割认为是一种为场景理解提供支持的高层任务。本节将介绍语义分割的基本概念，并实现交通图像语义分割模型，以便我们能够区分图像中的多个对象。...
略解深度学习优化策略
常见的优化算法：SGD和Adam梯度的简单解释：梯度可以理解为函数的导数，也可理解为函数的倾斜程度。函数图像水平时，函数的梯度消失。凸函数：深度学习中出现的几乎所有优化问题都是非凸的。下面是对凸（convex）和非凸的一个介绍。 由上图可以找到明显的规律是，第一个图形和后两个图形的明显区别，第一张图中的点线段部分出现在了图形外，而后两张线段都被包含在了图形内部。前者是非凸，后者是凸。继续看下面的图形。上面三张图形，中间的是非凸函数，两边的是凸函数，具体来说就是函数上的任意两点连线的线段中间的点的纵坐标大于或
PyTorch向量变换基本操作
一、torch.cat()或者时torch.concat()对张量在指定维度进行拼接二、tesnsor.unzqueeze()对张量进行维度扩展三、tensor.permute()对张量进行维度变换
深度学习基本实用工具
argparse库可以获取命令行的参数并将参数传入到运行文件中，大大方便了深度学习需要不断修改参数的操作。运行命令及其输出：二、logging库用于将程序中的输出或者日志打印、保存起来，极大的方便了查看程序的运行情况。1、输出信息到控制台level=logging.INFO时的输出信息level=logging.DEBUG时的输出信息basicConfig参数及其作用2、将信息保存到文件中log.txt信息，注意，log文件中并不会清除上一次的输出信息 3、将信息同时
关系抽取论文阅读笔记
标记方案(Tagging Scheme)本文使用了联合抽取的方法，使用了标记策略对实体和关系进行抽取。本方法分为两个阶段，第一个阶段抽取头实体(HE)，第二个阶段抽取尾实体和关系(TER)。作者将第一个阶段的头实体抽取分解成两个独立的子任务，第一个任务标注HE的第一个词，第二个任务标注HE的最后一个词。对于已经抽取出来的HE，对其进行尾实体(TE)和对应关系抽取。例如下图，对于抽取出来了的实体“Trump”，我们对其进行尾实体和关系类型抽取，这一阶段本质上类似于命名实体识别，即第一阶段。这里可以注意到已经解
Prompt for Extraction? PAIE:Prompting Arguement Interaction for Event Argument Extraction
本文提出了一个有效且效率高的模型PAIE用于句子级和文档级事件要素/论元抽取(EAE)，同时其在少样本的情况下的泛化性很好。本文使用了两个片段选择器去选择开始和结束位置的token，而且通过多角色prompts抓住了论元之间的交互关系并且通过bipartitematchingloss进行具有最优跨度分配的联合优化。此外，PAIE可以提出具有相同角色的多个参数，而不是传统的启发式的阈值调优。.........
Paramenter-Efficient Transfer Learning for NLP
由于微调大的预训练模型很贵，且对不同的任务都需要进行针对性的微调。本文提出了适配器模块的迁移，相比微调需要优化100%的参数，适配器冻结了原始预训练模型的参数，加入了新的适配器模块，且只需要优化3%左右的参数就可以达到和微调相似的性能。.........
Learning How to Ask: Querying LMs with Mixtures of Soft Prompts
自然语言提示用于引导预训练语言模型执行其他得AI任务。本文通过梯度下降探索来学习提示得idea，从先前的工作获取提示或者随机初始化提示。我们的提示还包括软提示，即不一定是来自语言模型中的单词类型嵌入的连续向量。此外，对于每个任务，我们优化了混合的提示，学习哪些提示最有效，以及如何集成它们。在多个英语l语言模型和任务中，我们的方法大大优于以前的方法，这表明语言模型中的隐含的事实知识以前被低估了。此外，获得这些知识也很容易被引导：随机初始化几乎和有根据的初始化一样好。......
Meta-Learning and in-context Learning
假设有一系列任务{a,b,c,d,e}，元学习首先在基础的任务a上进行学习，然后通过a的经验训练任务b，以及类推，如果学习这几个任务学习完了以后，有新任务达到的话，接着通过前面的经验学习新的任务（只需要少量样本），注意学习新任务的时候是在新的结构上学习的，之前学习任务的结构和权重并没有被抛弃，仍然被保留下来，所以在学习新任务的时候仍然没有忘记之前学习到的知识。普通的迁移学习指的是，通过一个预训练过后的模型，根据下游任务的不同，模型可以通过微调来处理各种各样的任务。大家适当理解，可能有不对之处。......
T5：Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer（万字长文略解T5）
迁移学习就是模型先在一个数据丰富的任务上进行预训练，然后再在下游任务上进行微调。最近迁移学习在NLP中是一个很有力的技术。在本文中，我们通过介绍一个将基于文本的问题转换成文本到文本的统一框架，从而开发迁移学习在NLP中的应用。...............
Making Pre-trained Language Models Better Few-Shot Learners
使用自然语言prompt和task demonstrations作为额外信息插入到输入文本中很好的利用了GPT-3模型中的知识。于是，本文提出少样本在小模型下的应用。我们的方法包括了基于prompt的微调，同时使用了自动生成的prompt；针对任务demonstration，我们还重新定义了一种动态和有选择地方法将其融入到上下文中。...
文本生成不同解码方法的具体实现
为此束搜索被提出来解决这个全局优化的问题，该算法在生成下一个单词的时候，会生成K个候选词，然后在这个基础上继续进行K个候选词的选择，最后在全局的基础上选择一条概率最大的路径。对于上面的方法，还可以对可能的词进行百分比的随机抽样，即采样最可能的词的概率（个人认为是对词的可能性/概率进行排序，然后只对前百分之多少的词进行采样）对于随机生成的句子，乍一看没问题，但是读起来很不合理，所以对于随机采样，我们尽可能地采样概率较高的词，而减少低概率词地采样。，在这个过程中，第n个词是前n-1个词预测的概率最高的词。...
NAACL2022中Prompt相关论文分类
目录1、信息抽取2、prompt Method3、文本生成4、原理5、知识发现6、少样本7、Biases[1] Template-free Prompt Tuning for Few-shot NER[2] Automatic Multi-Label Prompting: Simple and Interpretable Few-Shot Classification[3] Zero-Shot Event Detection Based on Ordered Contrastive Learning and
挑战在代码里面不写for循环，让代码变得更简洁、规范、结构化，以及更好的代码可读性
为什么要挑战自己在代码里不写 for loop？因为这样可以迫使你去学习使用比较高级、比较地道的语法或 library。文中以 python 为例子，讲了不少大家其实在别人的代码里都见过、但自己很少用的语法。...
今日推荐
周排行