spring|机器学习中的无监督学习应用在哪些领域呢?自动驾驶?医疗影像?卷积神经网络?( 七 )

, 再使用一个prediction head从预测 。 计算损失时使用了MSE loss , 且只对online分支计算梯度和更新参数;对于target分支使用类似MoCo动量更新的方式从online分支更新参数 。

自监督学习中的聚类方法
与对比学习或者人工设置的前置任务(pretext task)的学习方式不同 , 基于聚类的自监督方法将训练样本按照某种相似度量进行划分 , 划归到不同聚类中心的样本被赋予不同的类别标签 , 之后使用标准的全监督学习交叉熵损失进行训练 。 用数学语言形式化的展示了全监督学习与自监督聚类之间的联系与区别:考虑深度模型将图像映射为特征 , 全监督学习使用包含完全标注的样本-标签数据来优化模型
具体来讲 , 假设有N个样本