|
- ViT在小规模的数据集上的准确率是否低于CNN？ - 知乎
按照提出ViT、DEiT这些论文的说法，ImageNet-1K都只能算是刚刚够到ViT能正常训练的门槛，让硬件资源不是很充足的实验室很难参与进来。 在CIFAR10和CIFAR100这类小数据集上，训练ViT模型，可以说对硬件条件一般的深度学习研究者是很友好的， 极大地降低了ViT模型
- 如何下载VIT预训练模型？ - 知乎
vit_huge_patch14_224_in21k pth模型是Google AI开发的ViT系列模型之一，在ImageNet21K数据集上进行预训练。该模型具有巨大的参数量（180亿个参数），在图像分类、目标检测等任务上表现出卓越的性能。 以下是一些下载vit_huge_patch14_224_in21k pth模型的方法： 1
- vit类型的模型能像全卷积模型一样输入任意尺寸图像么? - 知乎
如果输入图像尺寸不一样，为了保证embedding的操作，图像切分patch大小要相同，这时序列的长度会有变化，而ViT中有相应的Position Embedding与序列的位置有关，因此原始的ViT是不支持动态尺寸的，不过可以通过调整相应的(将位置编码通过计算对应到原始图上进行
- 如何看待Meta（恺明）最新论文ViTDet：只用ViT做backbone（不使用FPN）的检测模型？
如何提升计算效率 ViT采用的全局attention和图像输入大小（HW）的平方成正比，对于检测模型，其输入分辨率往往较大，此时用ViT作为Backbone在计算量和内存消耗上都不容小觑，比如输入为1024 × 1024时，采用ViT-B训练Mask R-CNN单batch就需要消耗∼20–30GB显存。
- 近两年有哪些ViT(Vision Transformer)的改进算法？ - 知乎
ViT -> DeiT -> MetaFormer -> PoolFormer -> EfficientFormer -> EdgeFormer 简单的说，ViT 开创了 Transformer 加 Vision，后来提出了 DeiT 利用 ViT + 蒸馏让训练得更快更方便，但是没有解决 ViT 在端侧实时运行的问题。于是有了各种 MateFormer、PoolFormer 等各种 XXXFormer 的变种。
- ViT在小规模的数据集上的准确率是否低于CNN？ - 知乎
江湖传言，ViT需要大量数据才能超过CNN。总所周知，ViT的attention机制难收敛难训练。所以如果没有足够的训练数据，那么ViT就不能得到一个很好的解似乎就是一个合理的推论。但是事实真的如此么？ 口说无凭，首先调查一下ViT在cifar10上的有监督训练能达到多少。
- ViT、Deit这类视觉transformer是如何处理变长序列输入的? - 知乎
Transformer的输入是一个序列（Sequence），ViT 所采用的思路是把图像分块（patches），然后把每一块视为一个向量（vector），所有的向量并在一起就成为了一个序列（Sequence），ViT 使用的数据集包括了一个巨大的包含了 300 million images的 JFT-300，这个数据集是私有的
- 如何通俗理解基于深度学习的Video Transformer（ViT . . . - 知乎
vit 模型的优点包括能够处理不同长度和尺寸的视频，端到端学习空间和时间特征，适用于大规模数据训练和小数据集微调，以及适合视频分类任务。 然而，VIT 模型也存在一些缺点，例如计算成本高、训练和优化困难、容易过拟合以及对输入数据质量敏感。
|
|
|