A deep generative framework for paraphrase generation

* 2017

1. Introduction

• PG 可以应用于多个方面，在智能对话中，通过复述，减少，对话和知识直接的误解
• 问题的分析和复述，是必要步骤
• 表达的更加清楚，规范，新颖

* 多用于paraphrase的检测任务

2 相关研究

* 早起研究

• 基于规则，但是由于语言生成的问题的困难，发展缓慢

• Mckeown 1983a

paraphrase questions using given and new information

• zhao et al 2009

Application-driven statistical paraphrase generation

* 基于deep learning的方法，促进了PG的发展

* 关于句子生成模型的论文

• Bowman et al 2015

Generative sentences from a continuous space

• Junyoung Chung 2015

https://arxiv.org/abs/1506.02216

A Recurrent Latent Variable Model for Sequential Data

3. 本论文研究

• deep generative framework for auto generating paraphrase, given a senrence

* 论文结合了: seq2seq model(LSTM) 和 deeop generative model(VAE)

• LSTM的论文

* 关于VAE的论文

• kingma 2013

Auto-encoding varational bayes

* 本论文和VAE的区别是：需要在给定句子的前提下，去复述

* 解决办法，基于VAE的unconditioanl不适合PG的要求，所以，添加conditional genreative model（目前应用于CV，生成标签）

• Sohn 2015

• Learning structured output representation using deep conditional generative models

• Kingma 2014

Semi-supervised learning with deep generarive models

* 存在的NN方法

* 缺少生成模型

• stuskever 2014

• sequence to sequence learning with neural networks

• Prakash 2016

• Neural paraphrase generation with stacked residual lsrm networks

* 使用的数据集合

• MSCOCOC
• Quora question