单模态生成模型，就是模型只能接收单一类型的输入，如文本或图像，然后产生对应类型的输出。

• 生成式语言模型：GPT-3、BART、T5 等
• 生成式视觉模型：GAN、VAE、normalizing flow 等

生成式语言模型是 NLP 模型的一种，该模型所要实现的就是经过训练后能够根据其之前所接触过的模式和结构，生成可读的人类语言。

可以用于对话系统、翻译、问答系统等。

现有的 SOTA 预训练语言模型可以分为：

• masked language model（encoder）：一般用于分类任务
• autoregressive language model（decoder）：一般用于文本生成
• encoder-decoder language：可以利用上下文信息和自回归属性来提高各种任务的性能

1、Decoder models

现有表现较好的基于 decoder 的自回归语言模型是 GPT[61]，是使用 self-attention 的 Transformer 模型。还有 BERT、T5、InstructGPT 等。

2、Encoder-Decoder models：

现有的表现较好的是 Text-to-Text Transfer Transformer（T5）[56]，同时使用了基于 Transformer 的 Encoder 和 Decoder 来进行预训练。

还有例如 Switch Transformer、ExT5、HELM 等

1、GAN，Generative Adversarial Networks（GANs）

GAN 是图像生成领域很流行的一个模型，包括两个模块：

• 生成模型，学习如何生成新的数据
• 判别模型，判断数据是真实的还是生成的假数据

典型方法有：

• LAPGAN
• DCGANs
• Progressive GAN
• SAGAN
• BigGAN
• StyleGAN
• D2GAN
• GMAN
• MGAN
• MAD-GAN
• CoGAN

2、VAE，Variational AutoEncoders

VAE 是生成模型，其原理是尝试学习数据的概率分布并学习如何重建数据使得其更接近原始输入数据。

3、Flow

Normalizing Flow 是一种基于分布变换的方式，使用一系列可逆和可微的映射将简单分布变成复杂分布

4、Diffusion

Diffusion model 是由通过逐步向输入图像中添加高斯噪声的前向扩散，和逐步恢复原图的逆向去噪组成的，是目前 SOTA 的方法。

• DDPM 使用两个马尔科夫链来逐步进行高斯加噪和反向去噪
• SGM（Score-based generative model）
• NCSN
• Score SDE

多模态生成的目标是学习一个模型，通过学习从数据中获得的多模态连接和交互来生成原始的模态。

不同模态的连接和交互是非常复杂的，这也使得多模态表示空间比单模态表示空间更难学习。

下面会涉及到各类 SOTA 多模态模型：

• 视觉语言生成
• 文本语音生成
• 文本图形生成
• 文本代码生成

Encoder-decoder 结构会经常被用于解决计算机视觉和自然语言处理的多模态生成问题

• Encoder：学习输入数据的复杂特征表达
• Decoder：生成反应跨模态交互、结构、一致性的原始模态表达

视觉语言 Encoder，多模态的结合可以直观的想象通过将两个不同模态的预训练模型结合起来即可，主要有两种：

• concatenated encoder
• cross-aligned encoder

Concatenated Encoder：

• 将两个不同模态的模型 concat 起来，比如最早的 VisualBERT，使用 BERT 作为 text encoder，CNN 作为 image encoder，来自 image encoder 的编码被直接合并到 BERT 的输入编码中，让模型隐式地学习表达。
• VL-BERT，使用 Faster R-CNN 来抽取 RoI，将抽取到的 RoI 信息作为图像区域的编码
• UNITER

Cross-aligned Encoder：

• 该结构一般使用 tow-tower 结构，分别使用单个 tower 学习每个模态对应的特征，然后使用 cross-modality encoder 对两个模态的特征学习联合表达。
• LXMERT 使用 Transformer 来抽取图像特征和文本特征，然后使用了一个多模态 cross-attention 模块来进行协同学习，输出编码是视觉编码、语言编码、多模态编码
• ViLBERT 使用 cross-transformer 模型来对齐两个不同的模态，每个模态输入的 key 和 value 会被输入另外一个模态的 attention module 来生成一个合成的 attention 编码
• CLIP 使用点乘的方式来融合 cross layer，比上面的使用 self-attention 计算量更少

视觉语言模型 Decoder，能够通过给 encoder 得到的编码表达来生成特定模态的表达，主要包括：

• to-text
• to-image

To-text decoders，通常从 encoder 中接收文本上下文表达，并解码为一个句子，主要有如下两种模型，随着大型语言模型的出现，现在很多结构都使用冻结语言 decoder 的方式。

• jointly-trained models，联合训练解码器是指在解码表示时需要完整的交叉模态训练的解码器
• frozen models，冻结大语言模型，值训练 image decoder

To-image decoders，表示给定一条指令，生成对应的图像。用的较多的同样是 encoder-decoder 结构，encoder 用于学习语言信息，decoder 用于合成图像。一般有 GAN-based 和 diffusion-based 方法。

文本音频生成

文本音乐生成

Text Code Generation 可以根据输入的语言描述来说自动的生成可用的代码

• CodeBERT
• CuBERT
• CodeT5
• AST

可以和使用者进行基于文本的对话交互，一般使用语言模型来理解并根据问题进行语言的回答。

如微软小冰 Xiaoice，谷歌 Meena，微软 ChatGPT。

AI 艺术生成是创作艺术品，一般都使用大型数据集在现有的艺术品上进行学习，学习到一定的规则后，模仿相关创作规则来产生新的艺术品。

如 OpenAI 的 DALL-E 系列，Stability.ai 的 DreamStudio，谷歌的 Imagen 等。

音乐生成是指使用学习到的相关音乐创作规则，产生新的音乐创作。

如 OpenAI 的 Jukebox

基于 AI 的编程系统包括生成完整的代码、源码和伪代码等

OpenAI 的 CodeGPT 是一个开源的基于 Transformer 结构的模型，还有 CodeParrot、Codex 等。

还可以用于教育方面，比如生成教学视频、学术论文等。