spring|机器学习中的无监督学习应用在哪些领域呢？自动驾驶？医疗影像？卷积神经网络？( 六 )

$\"2N\"$ 个样本；对于每个样本来说，从同一输入图片中产生另一样本被视为正样本，其余 $\"2(N-1)\"$ 个样本被视为负样本。构建完正负样本后， SimCLR直接使用端到端的方法计算loss并更新模型。
网络结构上，与MoCo相比， SimCLR在backbone网络末端新增了一个由两层全连接层构成的projection head 。模型在训练阶段，根据projection head的输出 $\"z\"$ 计算损失函数；而在迁移到下游任务时，会将projection head移除，直接使用backbone部分网络输出的表征 $\"h\"$ 。

三. BYOL
BYOL是一个非常有特点的模型，与MoCo、SimCLR相比， BYOL可以直接在正样本对上进行自监督训练而不需要构建负样本集合。 BYOL的构想来自于一个非常有意思的发现：在一个完全随机初始化的网络所输出的特征上进行分类任务的top-1准确率只有1.4%；
但如果将这个随机初始化网络的输出特征作为目标，用另一个网络对其进行学习，使用学习之后的网络进行特征提取再进行分类可以达到18.8%的准确度。换言之，以一个特征表示作为目标进行学习，可以获得一个更好的表示。如此继续迭代下去，精确度可以继续往上提升。
基于这一发现，构建了只需要正样本对的BYOL学习框架。如图，一张输入图片经过不同数据增强后的两个视图分别经过online和target两个分支的backbone和projection head后得到输出 $\"Z_{\\theta\"$ 和 $\"z_{\\xi^{\\prime\"$