BRFL 是什么?用区块链抵御联邦学习中的恶意节点
BRFL(Blockchain-based Byzantine-Robust Federated Learning)是一种结合区块链的抗攻击联邦学习模型,由北京航空航天大学、广西师范大学等机构的研究人员在 2023 年 10 月提出,论文标题是《BRFL:一种基于区块链的拜占庭鲁棒联邦学习模型》。“拜占庭鲁棒联邦学习”这一研究方向本身更早就已存在,这篇论文提出的是一个具体的方案。
问题:联邦学习里的“内鬼”
随着机器学习的重要性日益提升,训练数据的隐私和安全变得至关重要。联邦学习把数据保存在分布式的节点上,只共享模型参数,因而受到广泛关注。但它面临“拜占庭攻击”问题:这个名字来自计算机科学中著名的“拜占庭将军问题”,指系统中有些节点可能是恶意的或出了故障,会发送错误的信息。在联邦学习中,恶意的本地模型可能在聚合时破坏全局模型的性能。传统的联邦学习依赖一个中心服务器做聚合,这个服务器本身也可能成为攻击目标或单点故障。
BRFL 的两个核心算法
BRFL 把联邦学习和区块链技术结合起来,去掉了对单一中心服务器的依赖,并利用区块链记录不可篡改的特点,保证聚合过程可追溯。它包含两个主要组件。
一是基于皮尔逊相关系数的共识算法(PPCC)。它根据各个本地模型与上一轮全局模型之间的皮尔逊相关系数,来选择下一轮负责聚合的节点:与全局模型方向一致的模型更可信。同时,它用聚合节点自己的本地数据集来验证本地模型的准确性,这也弥补了联邦学习中常常缺少公共测试数据集的问题。
二是基于精度的谱聚类聚合(PSA)算法。它按照模型的精度对各个本地模型进行筛选和加权聚合,精度高的模型权重更大,表现异常的模型则被排除,从而降低恶意模型对全局模型的影响。
意义
论文的实验表明,BRFL 在存在恶意节点的情况下,仍能保持全局模型的性能,表现出较好的鲁棒性。它为多方协作训练中的安全性问题,提供了一种去中心化的解决思路。