论文： Training data-efficient image transformers & distillation through attention
代码： https://github.com/facebookresearch/deit

• 1 主要贡献
• 2 原理
• • 2.1 Vision Transformer
  • 2.2 Distillation through attention
  • • 2.2.1 软蒸馏
    • 2.2.2 硬蒸馏
    • 2.2.3 Distillation token
    • 2.2.4 微调和分类
  • 3 实验
  • • 3.1 Transformer模型
    • 3.2 蒸馏
    • • 3.2.1 教师模型对比
      • 3.2.2 蒸馏方法对比
      • 3.2.3 教师网络引入的归纳偏差
      • 3.2.4 epochs数量
    • 3.3 效率vs准确率：与卷积网络对比
    • 3.4 迁移学习：在下游任务的表现
    • 3.5 训练细节和消融

    1 主要贡献

    • 使用ImageNet数据（无外部数据）将无卷积层的transformer网络训练到了SOTA水平，训练时间短；
      （原始的vision transformer需要使用非公开的JFT-300M数据集进行大量训练，无法复现）
    • 提出了基于distillation token的蒸馏机制，distillation token用于学习教师网络的预测结果；
    • 图像transformers从卷积网络中学习的效果优于从其他transformers中学习；
    • 在ImageNet上预学习的网络在多个下游基准中也有竞争力。

    性能对比：top-1准确率 vs. 网络吞吐量（仅在ImageNet1k上训练）——使用transformer专用蒸馏方法训练的模型最优。

    2.1 Vision Transformer

    回顾原始ViT的原理：

    • 多头自注意力层（MSA）的设计：transformer；
    • 针对图片的tranformer block：FFN + MSA；
    • class token：来自NLP；
    • 训练时用低分辨率图片，微调时用高分辨率图片，改变分辨率时插值改变位置编码。

    2.2 Distillation through attention

    主要介绍了软蒸馏、硬蒸馏两种损失函数，和Distillation token结构。

    2.2.1 软蒸馏

    \mathcal{L}_{global}=(1-\lambda)\mathcal{L}_{CE}(\psi(Z_s),y)+\lambda\tau^2\mathrm{KL}(\psi(Z_s/\tau),\psi(Z_t/\tau)) L g l o b a l ​ = ( 1 − λ ) L C E ​ ( ψ ( Z s ​ ) , y ) + λ τ 2 K L ( ψ ( Z s ​ / τ ) , ψ ( Z t ​ / τ ) )
    \mathcal{L}_{global}^{hardDistill}=\frac12\mathcal{L}_{CE}(\psi(Z_s),y)+\frac12\tau^2\mathcal{L}_{CE}(\psi(Z_s),y_t) L g l o b a l h a r d D i s t i l l ​ = 2 1 ​ L C E ​ ( ψ ( Z s ​ ) , y ) + 2 1 ​ τ 2 L C E ​ ( ψ ( Z s ​ ) , y t ​ )
    

    如图，在patches中加入与class token类似的distillation token，两者的通过网络时的计算方式相同，区别在于class token目标是重现ground truth标签，而distillation token目标是重现教师模型的预测。
    输出时的distillation token与class token余弦相似度为0.93，表明两者的目标相似但不相同。
    当用一个class token替换distillation token时，两个class token输出的余弦相似度为0.999，网络性能与一个class token相近，而加入distillation token的网络性能明显提升。这表明distillation token的设定是有效的。

    对蒸馏的结构进行微调，需要将教师网络的目标分辨率提升。
    分类结果由class和distillation输出的softmax之和决定。

    3.1 Transformer模型

    定义了与ViT-B参数相同的DeiT-B模型，和更小的DeiT-S、DeiT-Ti模型，超参数如下：

    3.2 蒸馏

    3.2.1 教师模型对比

    实验发现RegNetY-16GF是效果最好的教师模型，后续实验默认选择。卷积网络教师优于transformer教师，可能因为继承了卷积网络的bias。

    3.2.2 蒸馏方法对比

    硬蒸馏优于软蒸馏，class和distillation token同时使用优于单独使用一个。

    3.2.3 教师网络引入的归纳偏差

    下表为不同分类器中分类结果不同的比例。结果表明，使用distillation embedding的分类器结果与卷积网络更相似，使用class embedding的分类器结果与无蒸馏的DeiT更相似，两者结合的分类器结果介于两者之间。

    3.2.4 epochs数量

    300epochs后使用distillation token的网络已经占优，且性能仍未饱和，继续训练可以提升准确率。

    3.3 效率vs准确率：与卷积网络对比

    使用timm库的实现，对比DeiT、ViT和卷积网络的准确率和效率（吞吐量）。

    3.4 迁移学习：在下游任务的表现

    在其他数据集的预测表现：

    3.5 训练细节和消融

    消融实验：adamw优化器优于SGD，各种数据增强方法几乎都有效（除了dropout）。

    DeiT对参数初始化相对敏感，使用截断的正态分布进行初始化。DeiT对优化超参数很敏感。
    ViT-B和DeiT-B的训练超参数如下表：

    最近，纯基于 注意力 的神经网络被证明可以解决 图像 理解 任务 ，如 图像 分类。这些高性能的是使用大型基础设施预先 训练 数以亿计的 图像 ，从而限制了它们的采用。本文仅通过在Imagenet上 训练 ，产生有竞争力的无卷积 transform er 。我们用一台电脑在不到3天的时间里 训练 它们。所提出的参考视觉 transform er (86M参数)在没有外部 数据 的情况下，在ImageNet上实现了83.1%(单裁剪)的top-1精度。更 重 要的是，引入了 transform er 特有的师生策略。它依赖于 蒸馏 标记，确保学生通过 注意力 从老师那里学 存在的问题 ViT 需要大量的GPU资源: ViT -L “~8卡85天” ViT 的预 训练 数据 集JFT-300M没有公开超参数设置不好很容易Train不出效果对于 VIT 训练 数据 巨大，超参数难设置导致 训练 效果不好的问题，提出了 DeiT 。 DeiT 的模型和 VIT 的模型几乎是相同的，可以理解为本质上是在训一个 VIT 。针对 ViT 难 训练 的问题， DeiT 提出参数设置、 数据 增强、 知识蒸馏 来更有效地 训练 ViT 。 DeiT 提出的 训练 方法成为后续 ViT 模型的 训练 标注。...... ViT 模型讲解和代码。内容包括模型结构、Patch Embedding、[class] Embedding、位置编码、 Transform er Encod er 、MLP Head等。 最近 Transform er 在CV领域很火， Transform er 是2017年Google发表的Attent ion Is All You Need中主要是针对自然语言处理领域提出的，后被拓展到各个领域。本 系列 文章介绍 Transform er 及其在各种领域引申出的应用。 本文介绍的Training data-efficient image transform ers & dis tillat ion through attent ion 将 蒸馏 应用于 Transform er ，在没有外部 数据 预选 训练 数据 的情况下，可以在 题目：Training data-efficient image transform ers & dis tillat ion through attent ion 【GiantPandaCV导语】 Deit 是一个全 Transform er 的架构，没有使用任何的卷及操作。其核心是将 蒸馏 方法引入 VIT 的 训练 ，引入了一种教师-学生的 训练 策略，提出了 token -based dis tillat ion 。有趣的是，这种 训练 策略使用卷积网络作为教师网络进行 蒸馏 ，能够比使用 transform er 架构的网络作为教师取得更好的效果 题目： 训练 面向 数据 高效 的 ViT 和使用 注意力 的 知识蒸馏 提示：本篇文章是 ViT 经典解读 系列 的一个 重 要内容，解决原始的 ViT 依赖 数据 的短板，并结合 知识蒸馏 ，将 注意力 灵活运用起来，值得参考与借鉴。 如果不了解 Transform er ，推荐 阅读 ： 深入解读Vis ion Transform er ：拒绝做半瓢水 目录摘要1 介绍2 相关工作3 ViT ：回顾 Dis tillat ion through attent ion 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决 数据 分析 任务 而创建的。 这种深度卷积可以精确地提供局部信息聚合的机制，而这在视觉变换器的前馈网络中是缺失的。对于普通开发者，要想利用 ViT 获得理想的泛化能力，需要庞大的计算资源和数以亿计的 图像 进行预 训练 ，成本昂贵，而Facebook的 DeiT 模型（8600万参数） 蒸馏 出的学生模型在准确率和吞吐量之间的权衡胜过其教师网络，有趣的是，卷积网络作为教师网络的结果要比用 Transform er 作为教师网络的结果更佳。上表是 论文 用来对比 ViT ，Resnet（和刚刚讲的一样，使用的卷积层和Norm层都进行了修改）以及Hybrid模型的效果。 本视觉 Transform ers （86M参数）在ImageNet上达到83.1％的top-1精度， 蒸馏 版本高达84.4%！优于 ViT 、RegNet和ResNet等，代码刚刚开源！ 注：文末附【 Transform er 】学习交流群 Training data-efficient image transform ers & dis tillat ion through attent ion 作者单位：Facebook AI, 索邦大学。注：其中一位也是DETR的作者之一 代码（不到一天，已经近200 star 一、模型介绍 deit 模型研究提出了一种用于视觉 任务 的 transform er in transform er （TNT）网络结构。TNT 将 图像 均匀分割为 图像 块序列，并将每个 图像 块视为像素序列。本文还提出了一种 TNT block，其中外 transform er block 用于处理 patch embedding，内 transform er block 用于建模像素嵌入之间的关系。在线性层投影后，将像素嵌入信息加入到 图像 块嵌入向量中。通过堆叠 TNT block，构建全新 TNT 架构。与传统的视觉 .. 7.git clone https://github.com/facebookresearch/Detic.git --recurse-submodules (下载另外两个子模块)5.pip install -e . （体现第1步的 重 要性）2.mkdir ws （创建一个工作空间）1.配置cuda环境：cuda11.1（11.运行demo.py即可。） + 对应的cudnn（

    2.2.4 微调和分类