自然言語処理関連リソース・モデルコンパイルこのリソースは必要としている友人を共有する深さ、最先端の会議といくつかの関連書類を生成します。
します。https：//github.com/FranxYao/Deep-Generative-Models-for-Natural-Language-Processing以来、このリソースの統合
それはディープ生成されたモデル、通常3モデルグループに来るとき：次世代ネットワーク（ガンズ）に対する変分autocoder（VAEs）、および正規化されたフロー（正規化フロー）。
彼らはより効果的であるため、家族の中で3つのモデルでは、我々は、VAE関連のモデルにもっと注意を払うだろう。GANは、実際に動作するかどうかは、まだ未解決の問題です。ガンス効果は、より弁別器（ディスクリミネータ）正則ではなく、「生成」セクションのようなものです。
VAEモデル、自然言語処理は、離散構造の数を必要とします。私たちは、これらの構造は複雑かつ巧妙であると結論付けました。このリソースは、いくつかの関連リソース、記事や会議をコンパイル。
リソースセクション
モデルベースのグラフィックス
私たちは旅を始める前に、基礎DGMSは、確率的グラフィカルモデルに基づいています。したがって、我々は最初にこれらのモデルを理解する必要があります。
3つの良いコースをお勧めします。
グラフィカルモデルコースのBLEIの財団、コロンビアでのSTAT 6701
興の確率グラフィカルモデル、CMUで10から708
コロンビアでコリンズ自然言語処理、COMS 4995
二つの良い本：
パターン認識と機械学習。クリストファー・M.ビショップ。2006
機械学習：A確率の見通し。ケビンP.マーフィー。2012
深生成モデル
いくつかの良いリソースを共有するために関連DGMS：
WilkerアジズさんDGM風景
自然言語の深い潜在変数モデルのAチュートリアル（リンク）、EMNLP 18
Yoonキム、サム・ワイズマンとアレクサンダーM.ラッシュ、Havard
自然言語処理、博士のためのディープ生成モデル 論文17
Yishuミャオ族、オックスフォード
スタンフォードCS 236、ディープ生成モデル（リンク）
NYUディープジェネレーティブモデル
UトロントCS 2541分化可能推論と生成モデル、CS 2547ラーニング離散潜在構造。
知識ポイントマインドマッピング
必ずしも完全かつ正確に、補足してはなりません。
NLP関連
二つの主要なテーマに焦点を当て：生成と構造推論を
一部の生成
連続空間から文章を生成する、CoNLL 15
SamuelR.ボーマン、ルークVilnisオリオールVinyals、アンドリューM.大、ラファウJozefowicz、サミーBengio
安定した変オートエンコーダ、EMNLP 18のための球形潜在スペース
Jiacheng徐とグレッグDurrett、UTオースティン
セミ償却変オートエンコーダ、ICML 18
Yoon Kim, Sam Wiseman, Andrew C. Miller, David Sontag, Alexander M. Rush, Havard
Lagging Inference Networks and Posterior Collapse in Variational Autoencoders, ICLR 19
Junxian He, Daniel Spokoyny, Graham Neubig, Taylor Berg-Kirkpatrick
Avoiding Latent Variable Collapse with Generative Skip Models, AISTATS 19
Adji B. Dieng, Yoon Kim, Alexander M. Rush, David M. Blei
结构推理
这部分整理结构推理相关的工作，涉及自然语言处理分块，标记和解析三个部分任务。
An introduction to Conditional Random Fields. Charles Sutton and Andrew McCallum. 2012
Linear-chain CRFs. Modeling, inference and parameter estimation
Inside-Outside and Forward-Backward Algorithms Are Just Backprop. Jason Eisner. 2016.
Differentiable Dynamic Programming for Structured Prediction and Attention. Arthur Mensch and Mathieu Blondel. ICML 2018
To differentiate the max operator in dynamic programming.
Structured Attention Networks. ICLR 2017
Yoon Kim, Carl Denton, Luong Hoang, Alexander M. Rush
Recurrent Neural Network Grammars. NAACL 16
Chris Dyer, Adhiguna Kuncoro, Miguel Ballesteros, and Noah Smith.
Unsupervised Recurrent Neural Network Grammars, NAACL 19
Yoon Kin, Alexander Rush, Lei Yu, Adhiguna Kuncoro, Chris Dyer, and Gabor Melis
Differentiable Perturb-and-Parse: Semi-Supervised Parsing with a Structured Variational Autoencoder, ICLR 19
Caio Corro, Ivan Titov, Edinburgh
离散Reparamterization的一些技巧
Categorical Reparameterization with Gumbel-Softmax. ICLR 2017
Eric Jang, Shixiang Gu, Ben Poole
The Concrete Distribution: A Continuous Relaxation of Discrete Random Variables. ICLR 2017
Chris J. Maddison, Andriy Mnih, and Yee Whye Teh
Reparameterizable Subset Sampling via Continuous Relaxations. IJCAI 2019
Sang Michael Xie and Stefano Ermon
Stochastic Beams and Where to Find Them: The Gumbel-Top-k Trick for Sampling Sequences Without Replacement. ICML 19
Wouter Kool, Herke van Hoof, Max Welling
机器学习相关
机器学习相关部分，首先从VAE开始。
VAEs
Auto-Encoding Variational Bayes, Arxiv 13
Diederik P. Kingma, Max Welling
Variational Inference: A Review for Statisticians, Arxiv 18
David M. Blei, Alp Kucukelbir, Jon D. McAuliffe
Stochastic Backpropagation through Mixture Density Distributions, Arxiv 16
Alex Graves
Reparameterization Gradients through Acceptance-Rejection Sampling Algorithms. AISTATS 2017
Christian A. Naesseth, Francisco J. R. Ruiz, Scott W. Linderman, David M. Blei
Reparameterizing the Birkhoff Polytope for Variational Permutation Inference. AISTATS 2018
Scott W. Linderman, Gonzalo E. Mena, Hal Cooper, Liam Paninski, John P. Cunningham.
Implicit Reparameterization Gradients. NeurIPS 2018.
Michael Figurnov, Shakir Mohamed, and Andriy Mnih
GANs
Generative Adversarial Networks, NIPS 14
Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, Yoshua Bengio
Towards principled methods for training generative adversarial networks, ICLR 2017
Martin Arjovsky and Leon Bottou
Wasserstein GAN
Martin Arjovsky, Soumith Chintala, Léon Bottou
Normalizing Flows相关
Variational Inference with Normalizing Flows, ICML 15
Danilo Jimenez Rezende, Shakir Mohamed
Improved Variational Inference with Inverse Autoregressive Flow
Diederik P Kingma, Tim Salimans, Rafal Jozefowicz, Xi Chen, Ilya Sutskever, Max Welling
Learning About Language with Normalizing Flows
Graham Neubig, CMU, slides
Latent Normalizing Flows for Discrete Sequences. ICML 2019.
Zachary M. Ziegler and Alexander M. Rush
Reflections and Critics
需要补充更多论文
Do Deep Generative Models Know What They Don't Know? ICLR 2019
Eric Nalisnick, Akihiro Matsukawa, Yee Whye Teh, Dilan Gorur, Balaji Lakshminarayanan
更多一些应用
篇章和多样化
Paraphrase Generation with Latent Bag of Words. NeurIPS 2019.
Yao Fu, Yansong Feng, and John P. Cunningham
A Deep Generative Framework for Paraphrase Generation, AAAI 18
Ankush Gupta, Arvind Agarwal, Prawaan Singh, Piyush Rai
Generating Informative and Diverse Conversational Responses via Adversarial Information Maximization, NIPS 18
Yizhe Zhang, Michel Galley, Jianfeng Gao, Zhe Gan, Xiujun Li, Chris Brockett, Bill Dolan
主题相关语言生成
Discovering Discrete Latent Topics with Neural Variational Inference, ICML 17
Yishu Miao, Edward Grefenstette, Phil Blunsom. Oxford
Topic-Guided Variational Autoencoders for Text Generation, NAACL 19
Wenlin Wang, Zhe Gan, Hongteng Xu, Ruiyi Zhang, Guoyin Wang, Dinghan Shen, Changyou Chen, Lawrence Carin. Duke & MS & Infinia & U Buffalo
TopicRNN: A Recurrent Neural Network with Long-Range Semantic Dependency, ICLR 17
Adji B. Dieng, Chong Wang, Jianfeng Gao, John William Paisley
Topic Compositional Neural Language Model, AISTATS 18
Wenlin Wang, Zhe Gan, Wenqi Wang, Dinghan Shen, Jiaji Huang, Wei Ping, Sanjeev Satheesh, Lawrence Carin
Topic Aware Neural Response Generation, AAAI 17
Chen Xing, Wei Wu, Yu Wu, Jie Liu, Yalou Huang, Ming Zhou, Wei-Ying Ma
往期精品内容推荐
斯坦福NLP大佬Chris Manning新课-《信息检索和网页搜索2019》分析
2018/2019/校招/春招/秋招/自然语言处理/深度学习/机器学习知识要点及面试笔记
一文告诉你Adam、AdamW、Amsgrad区别和联系，助你实现Super-convergence的终极目标
