seq2seq

  • seq2seq 模型就像一个翻译模型,输入是一个序列(比如一个英文句子),输出也是一个序列(比如该英文句子所对应的法文翻译)

  • 这种结构最重要的地方在于输入序列和输出序列的长度是可变的。


. 基础

http://blog.csdn.net/jerr__y/article/details/53749693

  • seq2seq 模型就像一个翻译模型,输入是一个序列(比如一个英文句子),输出也是一个序列(比如该英文句子所对应的法文翻译)。这种结构最重要的地方在于输入序列和输出序列的长度是可变的。
在机器翻译:输入(hello) -> 输出 (你好)。输入是1个英文单词,输出为2个汉字。 
在对话机器中:我们提(输入)一个问题,机器会自动生成(输出)回答。这里的输入和输出显然是长度没有确定的序列(sequences).

* 输入,输出的结构发生了变化

* 结构

  • 即Encoder、Decoder以及连接两者的中间状态向量
  • Encoder通过学习输入,将其编码成一个固定大小的状态向量S,继而将S传给Decoder,Decoder再通过对状态向量S的学习来进行输出。

  • Encoder,Decoder,以及连接两者的固定大小的State Vector。

* 基础的seq2seq有很多问题,所以后续,连接attention模型和bi-directional来修复

results matching ""

    No results matching ""