网站首页 imagetransformer

• 

  CeiT:商汤提出结合CNN优势的高效ViT模型 | 2021 arxiv

  论文提出CeiT混合网络，结合了CNN在提取低维特征方面的局部性优势以及Transformer在建立长距离依赖关系方面的优势。CeiT在ImageNet和各种下游任务中达到了SOTA，收敛速度更快，而且不需要大量的预训练数据和额外的CNN蒸...

  2024-09-29 btikc 技术文章 16 ℃ 0 评论
• 

  使用自我蒸馏的掩蔽图像变换器进行自我监督的三维解剖学分割

  视觉转换器能够更有效地对远程上下文进行建模，在包括分割在内的多个计算机视觉和医学图像分析任务中显示出令人印象深刻的准确度提升。然而，这种方法需要大量的标记数据集进行训练，这对于医学图像分析来说很难获得。自监督学习(SSL)已证明使用卷积...

  2024-09-29 btikc 技术文章 15 ℃ 0 评论
• 

  豪取4个SOTA，谷歌魔改Transformer登NeurIPS 2021

  编辑：小咸鱼好困【新智元导读】谷歌改造VisionTransformer的新作被NeurIPS2021收录了。在这篇文章里，谷歌提出了TokenLearner方法，VisionTransformer用上它最多可以降低8倍计算量，而分...

  2024-09-29 btikc 技术文章 17 ℃ 0 评论
• 

  NüWA:女娲算法，多模态预训练模型，大杀四方!(附源代码下载)

  ...

  2024-09-29 btikc 技术文章 18 ℃ 0 评论
• 

  用 Vision Transformer 进行图像分类

  Transformer问世后被广泛地用在NLP的各种任务中，但是却很少出现在计算机视觉领域中。目前计算机视觉主流的模型依然是CNN，各种attention操作也是在CNN结构上进行。本文介绍VisionTransform...

  2024-09-29 btikc 技术文章 15 ℃ 0 评论