序列分类

任务定义

序列分类常见的任务有：依存分析、命名实体识别、情感识别等。下面分别介绍这些任务的自然语言理论基础，只有掌握了这些语言规则，才能更好的理解序列分类模型的设计思想。

依存分析

依存分析任务定义为：判断句子中单词之间的依赖关系。属于基础任务中的句法分析，通过依存分析任务得到句子单词之间的依赖关系之后就可以更方便的进行机器翻译等更困难的任务。

1）传统方法

传统方法上，上述。。。

2）深度模型

Danqi Chen 在 2014 年的工作 A Fast and Accurate Dependency Parser using Neural Networks 中，提出了基于 FNN 的深度神经网络模型进行端到端的依存分析，解决了传统方法中特征需要人工构造、特征稀疏（0 太多）和特征不紧凑（维度太大）的问题。

命名实体识别

情感识别

Word2Vector

为了将自然语言更加合理的进行向量表示。相比于 One-Hot 向量表示方法，训练出一个分布式词向量模型可以获得更好的向量表示，从而支持后续的下游任务。

最具影响力的词向量模型就是 Word2Vec，后续的 glove 模型又补充了分布式向量的距离度量方法。

Transformer

PreTrained

在预训练模型的基础上，通过微调完成序列分类任务。