1.6.4 应对攻击的健壮性

目前，在应对攻击时，机器学习系统因健壮性不足容易出现各种各样的问题。这些问题主要包括非恶意的攻击（比如，在数据预处理中的错误、训练标签混乱、进行模型训练的客户端不可靠等），以及在模型训练和部署过程中出现的显式攻击。由于联邦学习的分布性和隐私保护技术的融合，联邦学习在应对一些传统攻击方式时可以更好地保护数据，表现出良好的可靠性。

首先来看攻击方式，在分布式数据中心和集中式设置中，主要可分为三种攻击方式，即模型更新中毒攻击[42]、数据中毒攻击[43，44]和逃避攻击[45]（如图1-10所示）。联邦学习和普通的分布式机器学习、集中式学习相比，主要差别在于各个数据参与方协同训练的方式不同，而使用已部署模型的推论在很大程度上基本保持不变。我们已经对差分隐私、同态加密等隐私保护技术进行了讨论，现在，以在联邦学习中如何抵御模型更新中毒攻击为例简要地介绍。

图1-10 常见的攻击方式

在抵御模型更新中毒攻击方面，中央服务器可以通过对客户端模型更新进行约束：约束任何本地客户端对整个模型的更新，然后汇总本地的模型更新集合并将高斯噪声添加到集合中。这样可以有效地防止任何客户端更新对模型更新的过度干预，并且可以实现在具有差分隐私的情况下进行模型训练。最近的研究工作已经探索了在联邦学习环境中的数据中毒攻击。Geyer等人对联邦学习中的差分隐私进行了研究，并且提出了一种保护客户端差分隐私的联邦优化算法，在隐私损失和模型性能之间取得平衡。实验结果表明，在有足够多的参与客户的情况下，这种方法可以以较小的模型性能代价实现客户级差分隐私[46]。