預訓練大模型是過去幾年AI發展主旋律，但是主要集中于自然語言處理L域。視覺L域 在2021年開始迎來進展。谷歌構建了一個擴展的ViT模型，擁有18億參數，并使用30億的 標注圖像進行訓練，在ImageNet上取得了新的記錄（90.45%）。這一工作還表明，在視覺L 域上，模型同樣符合Scaling Lawo即：模型越大、性能越好。

SwinV2則進一步證明了視覺大模型（30億參數）在廣泛視覺問題上的有效性，其在圖像 分類、物體檢測、語義分割和視頻分類等任務上均達到了 SoTA性能。這一工作也驗證了自監 督學習對于驅動大模型訓練的有效性，基于SimMIM方法，SwinV2用相比谷歌小40倍的標 注數據（7000萬）達成了十億J視覺模型的訓練。