【论文笔记】A Unified Tagging Solution: Bidirectional LSTM Recurrent Neural Network with Word Emb

A Unified Tagging Solution: Bidirectional LSTM Recurrent Neural Network with Word Embedding

做者评估了双向LSTM RNN在POS标记，分块和NER任务上的使用。输入是与任务无关的输入功能：单词及其大小写。做者经过限制解码器输出标签的有效序列，从而结合了有关标记任务的先验知识，并提出了一种学习单词嵌入的新颖方法：随机替换序列中的单词并使用RNN来预测哪些单词正确与错误。做者代表，他们的模型与预训练的单词嵌入相结合，能够实现最早进的模型。

关键点

• 具备100维嵌入和100维像元的双向LSTM。评估1层和2层。在每一个步骤中预测标签。单元的尺寸越高，改善越小。
• 词向量预训练：随机替换词，并使用LSTM预测正确/错误的词。

注释/问题

• 咱们须要一种特定于任务的解码器的事实破坏了本文的目的。目的是建立一个“任务无关”的系统。客观地说，仅因为训练数据的大小，才须要此解码器。并不是全部标签组合都出如今训练数据中。
• 与其余现有系统的比较在某种程度上是不公平的，由于所提出的模型在很大程度上依赖于来自外部数据的预训练词嵌入（训练超过600M词）来得到良好的性能。它还依赖于以另外一种方式训练的外部嵌入。
• 很惊讶做者没有尝试将全部标记任务组合到一个模型中，这彷佛是一个明显的扩展。