文章图片
实验
首先 ， 实验研究了计算机视觉模型在各种数据集上的预训练和微调 ， 详见表3 ， 表中列出了数据集名称、训练和测试数据分布等信息 。

文章图片
预测任务
首先 ， 该研究使用MaskR-CNNpipeline[8]在COCO目标检测和实例分割数据集上对SplitMask进行评估 ， 表4为评估结果 。
由结果可得 ， 在相同的BEiT模型上 ， 单独在COCO数据集上预训练的模型与在ImageNet上预训练模型相比 ， 前者下游任务性能更好 。 例如 ， 当使用基于ViT的主干时 ， 在COCO上而不是ImageNet上进行预训练会可使boxAP提升+0.4 。

文章图片
表6为数字分类数据集实证评估结果：

文章图片
表7展示了SplitMask方法使用ViT-S和ViT-B主干以及300个epoch的预训练与其他最近的基于Transformer的自监督学习方法相比的性能：

文章图片

• 早报：华为P50 Pocket新色预售 百度世界大会定档
• 恒大|中国恒大回应被清盘呈请：极力反对 预期不影响重组计划
• 口红|下周发布！华为P50 Pocket新版开启预订：送1699元口红耳机
• 充满“眺望感”的《预见2050》，梦想追逐永远在“现在进行时”
• 联发科天玑9000+之王预定！蓝厂系新旗舰曝光
• 让骁龙8+“凉”了 ROG游戏手机6预热：散热升级
• 今天|华为nova 10开启预售
• 6月24日|首款华为鸿蒙OS燃油车 北汽魔方预售：10.29万起
• 今天|安卓之光终于来了 曝小米12 Ultra下周预热
• 酷睿处理器|首款骁龙8+机型突然上架预约：大内存+无挖孔设计，感觉被低估了