研读何凯明大作Momentum contrast for unsupervised representation learning

Abstract 本文提出Momentum Contrast（MoCo）用于无监督视觉表征学习。从contrastive learning的角度，通过一个队列和移动平均的encoder构建动态词典。在线构建一个大的且一致性词典，灵活适配于contrastive unsupervised learning。 Introduction 无监督表征在NLP领域获得极大成功，例如GPT和BERT。但是，在

>>阅读原文<<