在Adversarial Autoencoders(AAE)的训练过程中,Cluster head损失被用作一种正则化技术,以确保学习到的编码是具有一定连续性和局部同质性的。本文提出了一种改进的Cluster head方法,可以有效地防止对抗攻击。
具体地,首先需要定义Cluster head损失。给定数据集$X={x_1,x_2,...,x_n}$以及对应的编码集合$C={c_1,c_2,...,c_n}$,其中$c_i$是$x_i$的编码。定义Cluster head损失$L_{CH}$为:
$$L_{CH}=\frac{1}{n}\sum_{i=1}^{n}\min_{j\in N(i)}|c_i-c_j|^2$$
其中,$N(i)$是与$x_i$最近邻的$k$个点的索引集合。可以看出,$L_{CH}$的目标是使每个编码$c_i$都尽可能接近其$k$个最近邻的编码,从而实现连续性和局部同质性的学习。
为了防止对抗攻击,本文提出了一种改进的Cluster head方法,即通过计算每个编码$c_i$到其最近邻的平均距离$d_i$,并将其添加到$L_{CH}$中作为正则化项,以约束每个编码$c_i$不仅要与其$k$个最近邻接近,还要确保它们之间的距离不超过一个合理的范围。具体地,改进的Cluster head损失$L_{CH}^*$定义为:
$$L_{CH}^*=L_{CH}+\lambda\frac{1}{n}\sum_{i=1}^{