创新工场南京人工智能研究院执行院长冯霁联邦学习中的安全问题

近期,创新工场南京人工智能研究院执行院长冯霁做客雷锋网AI金融评论公开课,以“浅析联邦学习中的安全性问题”为题,详尽地讲解了联邦学习的特点、联邦学习的应用和安全防御对策等内容。

以下为冯霁演讲全文内容与精选问答:

怎样才能让黑盒攻击,做到和白盒攻击一样的效果呢?对此,目前常见的攻击思路有两大方向:

北京新发地农产品批发市场,被称为北京的“菜篮子”“果篮子”。有100多个足球场那么大的新发地日吞吐蔬菜1.8万吨、果品两万吨、生猪3000多头、羊1500多只、牛150多头、水产1500多吨。北京众多超市、菜市场的货源地就在这里。

这里就涉及到了算法的第二个核心思想: 

对抗样本在这些高度非线性的角色边界附近产生了一个扰动,扰动就会让模型从分类一误判为分类二(如上图)。但它们在视觉上很难区分。

这件事情的关键,是训练一个本地的模型,该模型能够模仿黑盒模型的行为。有点像吸星大法。学术界Hinton等人提出的知识蒸馏,以及更早的周志华教授提出的二次学习,本质都是在干这件事情。

根据联邦学习算法的特点,我们如果在边缘计算的过程中,比如说我们在可穿戴的医疗设备中,这个模型不仅保护了本地数据,跟云端的大模型相比,它还自适应的去满足基于本地数据的个性化需求。每个人对医疗设备的需求是不一样的,我们可以根据不同数据的输入分布,做一个端部的定制化。这非常具有商业价值。

我们认为在这一轮的人工智能兴起之后,整个软件工程也产生了一个范式的转变。

第一,是基于政府的联邦学习应用。这类应用主要是因为法律法规或者政策性的要求,催生的AI服务。

刚才讲的对抗样本,从另一个角度来看,是白盒攻击。意思是攻击者需要提前知道AI模型的所有参数信息。

因此,在软件工程1.0时代的一系列安全分析,漏洞分析的手段,到了软件2.0时代不再适用。软件工程范式的改变,带来了全新的安全问题。

毒化训练,可以用来保护公司的知识产权。比如医院,如果想去发布一些训练集,但又担心第三方用发布后的数据进行商业活动。作为数据的发布方,可以将想要发布的训练集毒化,让第三方不能随意对这些数据进行商业运作。

我们的核心假设是如果这个对抗样本能哄骗已知的模型,也就能哄骗云端(黑盒)的分类器, 2016年有人做过一个的工作,用不同的神经网络架构产生相应的对抗样本,去哄骗其他的结构。实验的结果证明了,这个假设是合理的。

杜鹃(化名)5年前来到新发地做起了水果批发生意,她的丈夫在产地发货,她负责在新发地销售。冬天,她主要卖赣南脐橙,夏天卖樱桃。

创新工场,是由李开复博士在2009年创办的创投机构,经过10余年的发展,在国内外都颇具影响力。

商贩们陆续收到通知,需统一到市场的核酸检测点进行核酸检测。

毒化训练,从流程来看就是这样,针对一个训练集,需要用一个函数在训练集上做某种程度上的扰动。

测试阶段的攻击,大家见的最多的一类,也对抗样本。

北京新冠肺炎疫情防控工作领导小组社区防控组办公室成员、北京市委组织部部务委员徐颖介绍,新发地农产品批发市场内的8000多名经营、采购和工作人员,已于6月14日凌晨全部进行了核酸检测,转运至集中观察点进行医学观察。

目前针对人工智能系统的攻击,可以分成两大类。一类是测试阶段攻击,一类是训练阶段攻击。

那么这里的关键就是如何得到下毒的函数g,在Deep Confuse这篇文章中,我们用了一类特殊自编码器。自编码器是非常经典的,从输入到同输入空间中的映射。去噪自编码器,能做到噪音样本经过编码和解码这两个步骤,把原始有噪音的样本去噪。

杜鹃回忆说,之前每天进新发地市场都要测体温,而且每天都有工作人员要求我们带口罩,除了吃饭,口罩不能摘下来。但北京下调防控等级后,市场就不测体温了。

工作人员给杜鹃送来体温检测仪,要求她每天上报体温。一日三餐都会由工作人员送到门口,如果有其他需要,可以随时向工作人员反映。那一晚,杜鹃没怎么睡好,觉得事情发生得有点突然。

从6月11日至15日24时,北京累计报告新增确诊病例106例,均与新发地市场有关联。

联邦学习,我的理解是,他本质上是下一代分布式机器学习系统。它本质上是一个分布式的架构,在这种分布式的架构下,它具备传统分布式平台不具备的隐私保护的功能。

杜鹃租的是短期摊位,两平方米左右,每两个月的租金为4万元。“再往前面一点的位置两个月的租金将近10万元。”等两个月租期到了之后,市场会再进行一次摊位调整,摊位费由商贩们竞价,价高者得。

训练阶段攻击,发生在模型产生之前。比如说经典的训练阶段攻击是数据下毒,目标是改动尽可能少的训练数据,使得训练后的模型,在干净测试集上表现尽可能差。

在联邦学习的分布式场景下,安全的问题更加需要研究,因为攻击者攻击的可能更多。

对抗样本不仅仅可用于电脑储存的数字图像,还可以应用在真实的物理环境中。

这个分布向量包含了关于模型本身非常多的知识。我们可以让这个模型标注足够多的样本,然后训练一个本地模型,模拟云端模型的行为。由于本地模型是白盒的,利用现有白盒攻击算法,针对本地模型产生对抗样本,再由于普适性,该样本对云端黑盒模型往往同样有效。

比如攻击者所了解的先验知识会更多,要么是知道某一方的数据,要么知道某一方的模型。不需要知道所有方的数据和模型,攻击者就能做出攻击。

然后任意一个模型,在毒化后的训练集上做完训练后,它在面临一个干净的测试样本的时候,每次的预测都是错误。

第二类,是基于企业的联邦学习应用。部分大型机构内部之间的数据不能进行直接的交换。

杜鹃原本计划第二天中午把新到的3吨樱桃卖完,她发了几车货后突然听说,市场要暂时休市。“当时挺意外的,心里就想着这些货咋办。”杜鹃说。

杜鹃说,今年的樱桃容易烂,即使放在冷库也只能保鲜10天左右。

因出现集聚性病例,6月13日3时,北京市要求新发地批发市场暂时休市,并对市场内人员实施闭环管理。

这就需要谈到软件1.0和软件2.0的概念。

第一个特点是刚才提到的隐私保护。由于训练数据不会出本地,联邦学习满足欧盟的GDPR法案(通用数据保护条例)等各类隐私。

但是,一个核心的问题是,人工智能领域涉及到的安全问题,和传统的软件工程安全问题,是否存在本质的不同?我们能否继续使用传统的攻防工具,对人工智能系统进行安全分析?

黑盒攻击的第一大方向,是利用对抗样本的普适性。

第三个特点是大家熟悉的协同合作,在不同机构之间,比如一家电商网站和一家银行之间的合作。在联盟学习没有推出之前,这件事情可能在技术上不可行,而在联邦学习推出之后,这件事情可以做到。

我们也可以用遗传算法,改变输入样本的像素的值,每次改变一点点,就访问一下云端的API。用这种方式,我们就能慢慢地收到一个可以哄骗云端的对抗样本。

黑盒攻击的第二个方向,是基于查询的逆向猜测,目前有一些云服务,返回时显示的不仅仅是一个标签,还包括了某一个类别的概率的分布的向量。

2C端,更多和边跟边缘计算有关;而2B端,更强调联邦学习的协同能力。

6月12日23时,杜鹃回到摊位,准备把刚到的近3吨樱桃发出去。每天从晚上11点到次日凌晨四五点,是她最忙的时候,也是新发地最热闹的时候,从产地发来的蔬菜瓜果往往在这个时候到库房。实际上,新发地没有不忙的时候,这里24小时灯火通明,只要有货到了就有人来买货、发货。

这三个不同的网络架构,在相同的毒化训练集上,预测准确度都会有一个非常明显的下降。

创新工场的特色之一是设立了创新工场人工智能工程院,开创了独特的VC+AI模式。创新工场人工智能工程院最近针对人工智能系统的安全性和隐私保护方向,做了一点自己的思考,今天和大家做一个简要的技术上的分享。

刚刚讲的,是测试阶段攻击。下面讲,训练阶段攻击。

6月13日傍晚,杜鹃做完核酸检测后接到通知,需要进行闭环管理。当天夜里,她和一些商户被转运至北京近郊的一个宾馆进行医学观察。

这一波(2015年后)人工智能的兴起,使得人工智能逐渐从低风险的应用,比如判断一封邮件是否是垃圾邮件,转向了高风险应用,比如自动驾驶、无人机、还有重度依赖人工智能技术的金融投资、投顾等领域。

左边的这张图拍的是大熊猫的照片,当攻击者知道这个图像分类模型的所有参数后,就可以根据模型的参数,精心设计出干扰“噪声”(中间的图)。

第三类,消费端的联邦学习应用,更多的是针对于边缘计算或者定制化。

这个算法把去噪自编码器逆向使用,让自编码器学习出如何增加毒化噪声(而不是降噪)。 

对抗样本并不神秘,学术界认为它攻击原理的本质就是由于我们的输入样本在一个非常高维的空间中。而通过机器学习模型学习出来的决策边界,在高维空间中是高度非线性的。

杜鹃说,自己也没那么害怕,但是在没有收到核酸检测的结果前,她还是一遍一遍刷新程序查询。

但是对于分类器来说,在毒化后的数据集上训练的分类器,面临干净样本的时候,正确率降低到了完全不可用,正常图像数据基本都不能正确的被识别。

今天跟大家简单的汇报,我们对联邦学习中安全性问题的思考。

在北京市目前公布的确诊病例基本情况中,有数十人都居住在“新发地经营者乐园”。这是新发地专门为商户建设的社区。

联邦学习的应用可分成四大类。

而随着这一波人工智能的兴起,诞生了一个新的软件工程开发范式,程序是由数据驱动的方式,利用人工智能算法自动产生的,这从软件工程角度来看,是一个相当本质的改变,有人称之为软件2.0时代。

人工智能系统的安全性问题

训练阶段攻击发生在AI模型训练之前,测试阶段攻击针对是已训练好的AI模型。我们先看测试阶段攻击。

黑盒攻击,是另一种测试阶段攻击,攻击者对指定模型的参数未知,只知道模型的输入输出,这种情况下依旧想产生特定的对抗样本,很明显黑盒攻击的难度更大。

怎样加强这种对抗样本的普适性?

联邦学习有三个显著特点。

首先是在训练替代模型时,对数据进行增广,其次是利用集成方法,如果它能成功的攻击多个已知的白盒的模型的集成,那么攻击一个黑盒的API,成功率就会高一些。

联邦学习在边缘计算中前景巨大。

比如对交通的路牌做微小的改动,就可能让自动驾驶汽车在行驶过程中因为不能正确识别,而做出错误的行动。再比如用3D打印技术设计出一只乌龟,在乌龟的纹理上做对抗样本的叠加,模型会认为这是一个其他物种。

最近我们和南大周志华教授合作,提出了一个新的范式,我们叫毒化训练(参见Learning to Confuse: Generating Training Time Adversarial Data with Auto-Encoder,In NeurIPS 19)要求对每个样本尽可能小的扰动(注意数据下毒是尽可能少的样本进行编辑),使得训练后的模型,在干净测试集上表现尽可能差。

当然,毒化训练,不是只能干坏事,它也能做好事。

6月12日下午,杜鹃卖完当天的货,就到附近的美发店做头发。其间,她听市场的人说海鲜区发现了1例感染新冠肺炎的患者,当时没太当回事,“海鲜区离我们很远,水果区这边没什么影响”。

举例来说,我们观察一个人学习的过程,然后根据这个人学习书本的轨迹,修改书本的知识。我最终希望他学完这本书后,每学一步都是错的,每一步我们都稍微修改了一点点。通过劫持一个正常分类器的学习轨迹,我们教会了加噪自编码器如何下毒。

毒化样本也存在普适性,我们针对于不同的网络架构(VGG、ResNet、Dense)做了一些实验。

效果是明显的,如上图所示,abc中的三张图,第一行都是原图,第二行都是毒化后的图片,从视觉上看,我们很难看出不同。

在传统的软件工程中,工程师会搭建一个系统,构建一个基于规则的程序,输入数据后,计算机会给出确定性的输出。这是软件1.0时代的特征。

攻击者的目的也更为多样,他可能只针对于某一方进行攻击,也可能把整个联邦后的结果都进行攻击。不管如何,被攻击者所面临的场景矩阵都会更加复杂。

在介绍联邦学习之前,先简单介绍一下创新工场。

杜鹃现在最担心的就是冷库里的樱桃。被通知临时休市的时候,情急之下,她找了个熟人,把樱桃放在了对方的冷库里。“东西太多了,熟人的冷库里也放不下,好多人的货都在外面放着呢。”

当然也可以做把2B、2C混合着做,统称混合型联邦学习应用。

杜鹃就住在新发地附近的西红门十村,其他商户也多住在新发地附近,他们已经在新发地周边形成了成熟的社区生态。

虽然准备攻击的对象的模型和参数不知道,但是我们可以找一个已知的模型,比如说VGG,或者ResNet(残差网络),来做一个对抗样本。

我们需要同时训练一个假想的分类器和一个我们想要的加噪自编码器。通过记录假想分类器在训练过程中更新的轨迹,反向的更新毒化噪声器的参数。

新发地经营者乐园共4个社区,总共1200多套房屋,都是两室一厅、一厨一卫,分为53平方米和64平方米两种户型。单身商户可合租,一套房不超过6人。“新发地经营者乐园”的租金只有附近出租房的一半,在新发地有固定摊位的商户可以申请租住。

一旦这些人工智能系统出现了偏差甚至错误,它所带来的损失不仅仅是巨额的财产,还有可能是生命。

把噪声叠加在左图,形成右图。虽然我们用肉眼看到的右图和左图一模一样,但图像分类模型会把右图的熊猫错认为另一种生物。这个过程就是所谓的对抗样本攻击。

第二个特点是端部定制。

创新工场南京人工智能研究院执行院长冯霁联邦学习中的安全问题
Scroll to top