对离散的语言符号进行处理，就要把它映射为低维的连续向量，比如词向量，这样就可以变为可以运算的数学对象。

词向量之间的距离就可以等价于单词之间的距离，这样就可以从一个词泛化到另外一个词。

有两种神经网络可以用来处理词向量表示的语言符号。

类别

前馈网络，也叫多层感知器 MLP，非常适合用于高精准度的分类。

卷积网络是前馈网络的一种，它擅于抽取长句或者长文本中的特定短语和惯用语。

循环神经网络适合处理序列化数据，在机器翻译中大发神威，打破了强调依存关系的马尔科夫假设，会考虑词序，克服数据稀疏的问题；

用途

具有池化层和卷积的网络，更是擅长短文本分类、文本分类、CCG标注、对话状态跟踪、情感分类、问答、文本趣味性建模、实体关系分类等

循环模型可以做机器翻译、序列标注、句法分析、噪声处理、对话状态跟踪、反馈生成、语篇关系分析、语义关系分类、句法分析树等