模型

模型特点

RNN

可有效的处理时序序列，但很难捕捉到长期的依赖关系

LSTM

解决RNN短期记忆的问题

BRNN、BI-LSTM

引入反向层，同时利用过去和未来信息的功能

Attention

解决信息过载问题，提高任务处理的效率和准确性

Transformer

用纯注意力机制搭建模型，解决并行问题

BERT

双向编码