在这篇内容中，我们将详细介绍的一项研究成果——Deep Clustering for Unsupervised Learning of Visual Features。
DeepCluster是一种网络学习方法，它将网络的参数和结果特征的聚类分配进行联合学习。具体来说，DeepCluster采用标准聚类算法k-means对特征进行迭代分组，并利用后续结果作为监督的伪标签来更新网络的权重。
此项研究源于2018年的ECCV论文，至今已被引用超过900次。在深入讲解DeepCluster之前，我们先使用监督学习定义一些相关概念。给定一组图像训练集，我们希望找到一组参数，使得网络能够产生通用的良好特征。这些参数通常通过监督学习获得，每个图像都与一个标签相关联，该标签表示图像与预定义类别之间的关系。
DeepCluster的工作原理是利用这些信号来引导卷积网络（convnet）的判别能力。它对convnet的输出进行聚类，并使用聚类结果作为“伪标签”来优化损失函数。这种深度聚类方法迭代地学习特征并对它们进行分组，其中聚类过程采用的是标准的k-means算法。
随着训练的进行，簇与标签之间的依赖性逐渐增加，表明学习到的特征正在捕获与对象分类相关的信息。标准化互信息（NMI）作为评估指标，用于衡量聚类质量、聚类重新分配的变化以及分类性能。
在可视化方面，网络中更深层的过滤器似乎捕捉了更大的纹理结构，而上层的过滤器则包含了与对象类高度相关的信息。在ImageNet和Places上的线性分类实验中，DeepCluster的表现均优于现有技术。在Pascal VOC的分类、检测和分割任务中，DeepCluster在所有设置下都表现优异，尤其是语义分割方面的微调改进最大。
值得一提的是，即使YFCC100M中的数据分布不利于DeepCluster的设计，它仍能产生最先进的通用视觉特征，这验证了DeepCluster对图像分布变化的鲁棒性。除了VGGNet以外的其他网络如AlexNet也被用于实验中，如使用DeepCluster训练VGG-16的性能已非常接近传统的有监督SOTA水平。
最后值得一提的是，尽管这种方法在无监督学习中表现出色，但k均值聚类需要相当多的时间，这是该方法的一个主要问题。