spring|机器学习中的无监督学习应用在哪些领域呢？自动驾驶？医疗影像？卷积神经网络？( 九 )

为one-hot函数 $\"q\\left(y$ ，即每一个样本我们限定其只能属于某一类，那么上述公式可以写成一个双层优化问题：
第一步，根据深度模型输出调整标签分配方式，得到当前特征下损失函数最小的标签；
第二步，根据更新的标签训练深度模型。
给所有的样本赋予相同标签之后优化模型参数就可以最小化平均损失函数。此时，模型将所有样本均映射到特征空间中的同一位置附近，不同样本之间的特征区分度变得微弱，模型性能严重退化，不能达到学习出有意义特征表示的目的。因此，基于聚类的自监督学习方法关键在于引入适当的约束条件，避免模型收敛到退化解。

自监督学习推动医学图像分类发展
随着自监督学习在放射学、病理学和皮肤病学等诸多应用领域取得令人振奋的成果，人们对自监督学习在医学成像任务中的应用越来越感兴趣。尽管如此，开发医学成像模型仍然颇具挑战，这是由于标注医学图像极为耗时，高质量标记数据通常较为稀缺。
鉴于此，迁移学习 (Transfer learning) 成为构建医学成像模型的热门范例。这种方法首先要在大型标记数据集（如 ImageNet）中使用监督学习 (Supervised learning) 对模型进行预训练，然后在域内医学数据中对习得的通用表征进行微调。
近来一些新的方法在自然图像识别任务中取得了成功，尤其是在标记示例稀少的情况下，这些方法使用自监督对比预训练，然后进行监督微调（例如 SimCLR 和 MoCo）。在对比学习预训练中，模型将同一图像的不同转换视图间的一致性升至最高，同时将不同图像的转换视图间的一致性降至最低，从而习得通用表征。尽管这些对比学习方法取得成功，但在医学图像分析中受到的关注有限，其功效还有待探索。
研究自监督对比学习作为医学图像分类领域预训练策略的有效性。同时提出一个全新方法——多实例对比学习 (MICLe) ，这一方法可泛化对比学习以利用医学图像数据集的特性。针对两项不同的医学图像分类任务进行实验：识别数码相机图像中皮肤状况分类（27 类）和对胸部 X 射线进行多标签分类（5 类）。通过实验可以观察到，在 ImageNet 上进行自监督学习，随后对未标记的特定领域医学图像进行额外的自监督学习，显著提高医学图像分类器的准确性。具体来说，结果表明自监督预训练优于监督预训练，即使在完整的 ImageNet 数据集（1400 万幅图像和 2.18 万个类别）用于监督预训练时也是如此。