兼具CNNTransformer优势，灵活使用归纳偏置，Fa

　　机器之心报道
　　编辑：小舟、陈萍
　　归纳偏置强大但需要灵活使用，来自Facebook的研究者提出了一种ConViT模型，使用soft卷积归纳偏置进行初始化，模型可以在必要时学会忽略这些偏置。
　　AI研究人员在构建新的机器学习模型和训练范式时，通常会使用一组被称为归纳偏置（inductivebiases）的特定假设，来帮助模型从更少的数据中学到更通用的解决方案。近十年来，深度学习的巨大成功在一定程度上归功于强大的归纳偏置，基于其卷积架构已被证实在视觉任务上非常成功，它们的hard归纳偏置使得样本高效学习成为可能，但代价是可能会降低性能上限。而视觉Transformer（如ViT）依赖于更加灵活的自注意力层，最近在一些图像分类任务上性能已经超过了CNN，但ViT对样本的需求量更大。
　　来自Facebook的研究者提出了一种名为ConViT的新计算机视觉模型，它结合了两种广泛使用的AI架构卷积神经网络（CNN）和Transformer，该模型取长补短，克服了CNN和Transformer本身的一些局限性。同时，借助这两种架构的优势，这种基于视觉Transformer的模型可以胜过现有架构，尤其是在小数据的情况下，同时在大数据的情况下也能实现类似的优秀性能。
　　论文地址：https：arxiv。orgpdf2103。10697。pdfGitHub地址：https：github。comfacebookresearchconvit
　　在视觉任务上非常成功的CNN依赖于架构本身内置的两个归纳偏置：局部相关性：邻近的像素是相关的；权重共享：图像的不同部分应该以相同的方式处理，无论它们的绝对位置如何。
　　相比之下，基于自注意力机制的视觉模型（如DeiT和DETR）最小化了归纳偏置。当在大数据集上进行训练时，这些模型的性能已经可以媲美甚至超过CNN。但在小数据集上训练时，它们往往很难学习有意义的表征。
　　这就存在一种取舍权衡：CNN强大的归纳偏置使得即使使用非常少的数据也能实现高性能，但当存在大量数据时，这些归纳偏置就可能会限制模型。相比之下，Transformer具有最小的归纳偏置，这说明在小数据设置下是存在限制的，但同时这种灵活性让Transformer在大数据上性能优于CNN。
　　为此，Facebook提出的ConViT模型使用soft卷积归纳偏置进行初始化，模型可以在必要时学会忽略这些偏置。
　　soft归纳偏置可以帮助模型不受限制地学习。hard归纳偏置，例如CNN的架构约束，可以极大地提高学习的样本效率，但当数据集大小不确定时可能就会成为约束。ConViT中的soft归纳偏置能够在不需要时被忽略，以避免模型受到约束限制。
　　ConViT工作原理
　　ConViT在visionTransformer的基础上进行了调整，以利用soft卷积归纳偏置，从而激励网络进行卷积操作。同时最重要的是，ConViT允许模型自行决定是否要保持卷积。为了利用这种soft归纳偏置，研究者引入了一种称为门控位置自注意力（gatedpositionalselfattention，GPSA）的位置自注意力形式，其模型学习门控参数lambda，该参数用于平衡基于内容的自注意力和卷积初始化位置自注意力。
　　如上图所示，ConViT（左）在ViT的基础上，将一些自注意力（SA）层用门控位置自注意力层（GPSA，右）替代。因为GPSA层涉及位置信息，因此在最后一个GPSA层之后，类token会与隐藏表征联系到一起。
　　有了GPSA层加持，ConViT的性能优于Facebook去年提出的DeiT模型。例如，ConViTS性能略优于DeiTB（对比结果为82。2vs。81。8），而ConViTS使用的参数量只有DeiTB的一半左右（48Mvs86M）。而ConViT最大的改进是在有限的数据范围内，soft卷积归纳偏置发挥了重要作用。例如，仅使用5的训练数据时，ConViT的性能明显优于DeiT（对比结果为47。8vs。34。8）。
　　此外，ConViT在样本效率和参数效率方面也都优于DeiT。如上图所示，左图为ConViTS与DeiTS的样本效率对比结果，这两个模型是在相同的超参数，且都是在ImageNet1k的子集上训练完成的。图中绿色折线是ConViT相对于DeiT的提升。研究者还在ImageNet1k上比较了ConViT模型与其他ViT以及CNN的top1准确率，如上右图所示。
　　除了ConViT的性能优势外，门控参数提供了一种简单的方法来理解模型训练后每一层的卷积程度。查看所有层，研究者发现ConViT在训练过程中对卷积位置注意力的关注逐渐减少。对于靠后的层，门控参数最终会收敛到接近0，这表明卷积归纳偏置实际上被忽略了。然而，对于起始层来说，许多注意力头保持较高的门控值，这表明该网络利用早期层的卷积归纳偏置来辅助训练。
　　上图展示了DeiT（b）及ConViT（c）注意力图的几个例子。（）表示可学习的门控参数。接近1的值表示使用了卷积初始化，而接近0的值表示只使用了基于内容的注意力。注意，早期的ConViT层部分地维护了卷积初始化，而后面的层则完全基于内容。
　　测试是在ImageNet1K上进行的，没有进行知识蒸馏，结果如下：
　　AI模型的性能在很大程度上取决于训练这些模型所用的数据类型和数据规模。在学术研究和现实应用中，模型经常受到可用数据的限制。ConViT提出的这种soft归纳偏置，在适当的时候能够被忽略，这种创造性的想法让构建更灵活的人工智能系统前进了一步。