NER命名实体识别文章或文献整理

NER文章

持续更新中…

综述/总结

• 【择数科技】NER引入外部信息

  • 主要从 BERT-NER 引入外部信息的角度入手，调研工业界和学术界中的具体做法

• 【AdaSeq基础能力】30+NER数据汇总，涉及多行业、多模态命名实体识别数据集收集

  • 阿里达摩院 汇总了常见的中英文、多语言、多模态NER数据集介绍

• 中文NER任务实验小结报告——深入模型实现细节 - 知乎 (zhihu.com)

• 美团搜索中NER技术的探索与实践

  • 介绍了O2O搜索场景下NER任务的特点及技术选型，详述了在实体词典匹配和模型构建方面的探索与实践。

• NER的过去和现在

  • 以 BERT 作为时间节点，详细介绍 NER 历史使用过的一些方法，以及在 BERT 出现之后的一些方法

• 浅谈嵌套命名实体识别（Nested NER）

  • 当前普遍使用的传统 NER 解决方案;
  • 传统 NER 在解决嵌套 NER 任务时存在的问题；
  • 如何解构 NER 任务，从不同的角度解决问题，使模型能够识别嵌套的 NER；
  • 介绍近几年嵌套 NER 领域有代表性的解决方案。

• 2021年ACL会议关于命名实体识别的论文汇总 (zhihu.com)

• nlp中的实体关系抽取方法总结 - 知乎 (zhihu.com)!!!

• 工业界求解NER问题的12条黄金法则

  • 夕小瑶的卖萌屋

• 自然语言处理NLP文本分类顶会论文阅读笔记（一）

• 自然语言处理NLP文本分类顶会论文阅读笔记（二）_

论文/解读

• Enhanced Language Representation with Label Knowledge for Span Extraction

  • 中文NER任务实验小结：BERT-MRC的再优化
  • https://github.com/qiufengyuyi/lear_ner_extraction
  • 提出的LEAR**（Label knowledge Enhanced Representation）**模型架构，尝试优化 BERT-MRC 的一些缺陷

• PCBERT: Parent and Child BERT for Chinese Few-shot NER

  • COLING2022 | PCBERT: 用于中文小样本NER任务的BERT模型
  • 提出了一种基于 prompt 的 P-BERT 和 C-BERT 的中文 few-shot NER。本文在高资源数据集上训练标注模型，然后在低资源数据集上发现更多隐式标签，并且进一步设计了一种标签扩展策略来实现高资源数据集的标签传输。

• A Boundary-aware Model for Nested Named Entity Recognition

  • Code for EMNLP 2019 paper “A Boundary-aware Neural Model for Nested Named Entity Recognition” (github.com)
  • 本文提出了一种边界感知的嵌套NER神经网络模型，它利用实体的边界来预测实体类别标签

• A Neural Layered Model for Nested Named Entity Recognition

  • NAACL2018
  • meizhiju/layered-bilstm-crf A Neural Layered Model for Nested Named Entity Recognition(github.com)
  • 动态叠加扁平NER层来识别嵌套实体。其中每个扁平NER层都基于目前最先进的扁平NER模型，即使用双向长短期记忆(LSTM)网络来捕获序列上下文表示，并将其提供给级联的CRF层。

• Deep Exhaustive Model for Nested Named Entity Recognition

  • 穷举神经网络模型，该模型穷举地考虑了嵌套NER的所有可能区域

• Locate and Label: A Two-stage Identifier for Nested Named Entity Recognition

  • 嵌套任务转化成span的预测。具体是采用两阶段：第一步Locate，即定位实体的边界；第二步Label，即对识别span进行实体类型判断。
  • tricktreat/locate-and-label: Code for Two-stage Identifier: “Locate and Label: A Two-stage Identifier for Nested Named Entity Recognition”, accepted at ACL 2021. (github.com)
  • 嵌套ner的新论文解读ACL2021 - 知乎 (zhihu.com)

• A Neural Transition-based Joint Model for Disease Named Entity Recognition and Normalization

  • 医疗领域，关于疾病实体的识别与规范化(Disease Named Entity Recognition and Normalization)任务，有两种方式建模，一种采用分阶段的pipeline方式，一种是联合学习变成多任务学习(multi-task learning)方式。
  • 实验表明后者学习模式表现更好些，但仍存在采用不同decoder而导致边界不一致性的问题，此外在规范化中也没有考虑候选词丰富的文本信息。
  • 作者提出基于状态转移的模型，将端到端疾病识别和规范化任务转化为动作序列预测任务，该任务不仅具有共享输入表示的模型，而且通过状态转换在同一搜索空间进行搜索输出。

• A Span-Based Model for Joint Overlapped and Discontinuous Named Entity Recognition

  • 不连续的实体识别
  • 本篇还聚焦重叠识别的学习，意思同时解决嵌套与不连续的实体识别(Overlapped and Discontinuous Named Entity Recognition)
  • 提出一种基于范围识别的模型，包括两个步骤：首先，通过遍历所有可能的文本范围来识别实体片段，从而识别重叠的实体。其次，进行关系分类，以判断给定的一对实体片段是重叠的还是连续的。
  • ACL2021 | 一种巧妙解决NER覆盖和不连续问题的方法 - 腾讯云开发者社区-腾讯云 (tencent.com)

• An End-to-End Progressive Multi-Task Learning Framework for Medical Named Entity Recognition and Normalization

  • 医疗领域实体识别与规范化
  • 解决的也是pipeline方式存在误差传递的问题，提出端到端渐进多任务学习框架(End-to-End Progressive Multi-Task Learning)。

• SPANNER: Named Entity Re-/Recognition as Span Prediction

  • 近年来，命名实体识别(NER)的研究范式从序列标注转向范围预测(spanNER)
  • 提到了将命名实体识别视作span-level prediction的多种方式
    • question answering
    • span classification
    • dependency parsing tasks
  • 尽管显示spanNER初步有效性，但模型的架构偏差还没有被完全理解。本文首先探讨了范围预测模型与序列标记框架在NER任务上的优缺点，以及如何进一步改进该模型，从而促使基于不同范式的系统实现优势互补。

• Span-based Joint Entity and Relation Extraction with Transformer Pre-training (arxiv.org)

  • 区别于token pairs用头和尾token来表示这段span，span-based是用span的每个token做pooling来表示这段span
  • https://github.com/markus-eberts/spert
  • 提到了相关工作

• Global Pointer: Novel Efficient Span-based Approach for Named Entity Recognition (arxiv.org)

  • 苏剑林个人博客GlobalPointer：用统一的方式处理嵌套和非嵌套NER - 科学空间|Scientific Spaces (kexue.fm)
  • 改进版Efficient GlobalPointer：少点参数，多点效果 - 科学空间|Scientific Spaces
  • 介绍一个称为 GlobalPointer 的设计，它利用全局归一化的思路来进行命名实体识别（NER），可以无差别地识别嵌套实体和非嵌套实体，在非嵌套（Flat NER）的情形下它能取得媲美 CRF 的效果，而在嵌套（Nested NER）情形它也有不错的效果

• Lexicon Enhanced Chinese Sequence Labelling Using BERT Adapter

  • ACL 2021中文NER最新屠榜力作——LEBERT

  • 提出了一个名叫 LEBERT（Lexicon Enhanced BERT）的模型来解决中文序列标注任务。相比于 FLAT，Lattice LSTM 等方法，LEBERT 把词汇信息融入到了 BERT 底层的编码过程中。相比于 Lex-BERT，LEBERT 无需包含词汇类型信息的词典，只需要普通的词向量即可。

• An Embarrassingly Easy but Strong Baseline for Nested Named Entity Recognition

  • CNN-NER——极其简单有效的嵌套命名实体识别方法
  • 复旦大学 NLP 组

• A Unified Generative Framework for Various NER Subtasks【已阅】

  • ACL 2021 | 复旦大学邱锡鹏组：面向不同NER子任务的统一生成框架

  • 提出将 NER 子任务描述为实体跨序列生成任务，该任务可以通过一个统一的序列到序列（Seq2Seq）框架来解决NER任务：

    Flat NER、嵌套 NER 和不连续 NER 子任务

  • 比较了三种类型的实体表示方法，span、word、BPE

  • 使用了BART

  • 比较了实体出现位置对于召回率的影响

• [2204.12031] Boundary Smoothing for Named Entity Recognition (arxiv.org)

  • 实体边界平滑策略，对NER标签的边界位置进行平滑处理，提升模型的泛化性，边界平滑可以防止模型对预测实体过于自信，从而获得更好的定标效果

• [2112.10070] Unified Named Entity Recognition as Word-Word Relation Classification (arxiv.org)

  • W2NERgithub.com
  • 将NER任务转换预测word-word,它能够统一处理扁平实体、重叠实体和非连续实体三种NER任务，即一招通吃

• [2005.07150] Named Entity Recognition as Dependency Parsing (arxiv.org)

  • 本文通过使用biaffine模型解决Nested NER。并且这种方法在「flat ner」和「nested ner」任务都有着不错的表现。
  • 在句法分析（dependency parsing）任务中，biaffine模型对每个token预测出一个「head」，然后对「head-child pairs」指定关系。

• A Local Detection Approach for Named Entity Recognition and Mention Detection - ACL Anthology

  • ACL 2017
  • 基于跨度的嵌套命名实体识别方法
  • 本文提出一种局部探测的方法，通过固定长度的句子片段及其前后文来对命名实体进行识别

• [Boundary Enhanced Neural Span Classification for Nested Named Entity Recognition](Boundary Enhanced Neural Span Classification for Nested Named Entity Recognition | Proceedings of the AAAI Conference on Artificial Intelligence)

  • AAAI 2020
  • Boundary Enhanced Neural Span Classification for Nested Named Entity Recognition | 闲记算法 (lonepatient.top)
  • 本文提出了一种边界增强型neural span 分类模型。除了对Span进行分类之外，还加入一个额外的边界检测任务来预测那些作为实体边界的单词。并在多任务学习框架下进行联合训练，在附加边界监督的情况下增强了跨度表示。此外，边界检测模型能够生成高质量的候选跨度，大大降低了推理过程的时间复杂度。

• 1908.06926v1Neural Architectures for Nested NER through Linearization

  • 提出了两种用于嵌套命名实体识别(NER)的神经网络架构，在该架构的设置中命名实体可以重叠，也可以被多个标签标记。
  • 第一种方法中，嵌套标签被建模为多标签，对应于标准LSTM-CRF结构中嵌套标签的笛卡尔积。
  • 第二种方法中，嵌套命名实体识别被看作是一个Seq2Seq问题，在这个问题中，输入序列由Tokens组成，输出序列由标签组成，并对正在预测标签的单词使用硬注意力(Hard Attention)

• [2203.10545] Parallel Instance Query Network for Named Entity Recognition (arxiv.org)

  • tricktreat/piqn: Code for “Parallel Instance Query Network for Named Entity Recognition”, accepted at ACL 2022. (github.com)
  • 将NER视为MRC存在三个问题：
    • 首先，特定类型的查询每次推理只能提取一种类型的实体，这是低效的。
    • 其次，对不同类型实体的提取是隔离的，忽略了它们之间的依赖关系。
    • 第三，查询构建依赖于外部知识，难以应用于具有数百种实体类型的现实场景。
  • 提出了并行实例查询网络（PIQN），它设置全局和可学习的实例查询，以并行方式从句子中提取实体。每个实例查询预测一个实体，通过同时提供所有实例查询，可以并行查询所有实体。并且实例查询不是从外部知识构建的，而是可以在训练期间学习不同的查询语义。

• Improving Biomedical Named Entity Recognition with a Unified Multi-Task MRC Framework | IEEE Conference Publication | IEEE Xplore

  • We introduce three kinds of prior knowledge at query sequences, including Wikipedia, annotation scheme, entity dictionary.
  • Then, our model adopts a multi-task learning strategy to joint training the main task BioNER and the auxiliary task MRC.
  • Finally, experimental results on three benchmark datasets validate the superiority of our BioNER model compared with various state-of-the-art baselines.

• A Multi-Task Approach for Improving Biomedical Named Entity Recognition by Incorporating Multi-Granularity information - ACL Anthology

  • 本文提出了一种利用数据集中潜在的多粒度信息的方法，以缓解训练样本的缺乏。具体来说，所提出的模型基于多任务方法，通过引入辅助任务（即二元分类、多类分类和多令牌分类），利用不同的训练目标。

• Improving deep learning method for biomedical named entity recognition by using entity definition information | BMC Bioinformatics | Full Text (biomedcentral.com)

  • 这篇论文提出了两种基于实体定义信息的模型，MRC和SOne，用于生物医学NER。

  • 这些模型不需要手动制作的特征，并且可以达到微平均最新的性能。

• NER-MQMRC: Formulating Named Entity Recognition as Multi Question Machine Reading Comprehension (readpaper.com)

  • 本文提出了一种基于BERT的多问题MRC（NER-MQMRC）架构，用于NER任务。它可以在单次运行中同时考虑多个实体，从而提高训练和推理的运行时间。