空间防御中可能遭受的攻击, 引入机器学习敌手模型概念, 目的是科学评估其在特定威胁场景下的安全属性. 而后,
针对网络空间防御的机器学习算法, 分别论述了在测试阶段发动规避攻击、在训练阶段发动投毒攻击、在机器学习全阶段发动隐私窃取的方法,
进而研究如何在网络空间对抗环境下, 强化机器学习模型的防御方法. 最后,
展望了网络空间防御中对抗机器学习研究的未来方向和有关挑战.
引 言
近年来, 人工智能、云计算、大数据、物联网、区块链等新一代信息技术突飞猛进, 信息化和工业化深度融合,
各类安全事件和网络攻击频繁发生, 网络空间面临严重的安全威胁. 2016年,
由恶意软件Mirai控制的僵尸网络发起分布式拒绝服务(Distributed denial of service, DDoS)攻击,
造成美国东海岸大范围断网. 2017年, 勒索病毒软件WannaCry通过“永恒之蓝”MS17-010漏洞在全球范围大爆发,
至少150个国家、30万名用户中招, 造成经济损失高达80亿美元. 2019年,
中国网络空间研究院编写的网络空间安全蓝皮书《中国网络空间安全发展报告(2019)》指出,“网络冲突和攻击成为国家间对抗主要形式”.
据不完全统计, 我国每年因伪基站、恶意软件勒索等数字犯罪造成的损失达上百亿元.
上述事例表明, 网络空间安全不仅影响着国民经济的发展, 还关系着社会的稳定和国家安全.
事实证明,“被动防守永远无法确保安全”, 传统的以固定规则设定的网络空间防御体系变得效率低下,
在面对“零日”漏洞以及各种高级可持续威胁时常常无能为力, 网络空间防御面临严峻挑战.
与此同时, 计算机算力的显著提升和数据量的日益递增, 带动了机器学习的快速发展, 人工智能迎来第三次发展浪潮.
以深度学习为代表的机器学习作为当前人工智能领域最热门的研究方向之一,
在计算机视觉、语音识别、自然语言处理等方面取得了一系列令人瞩目的研究成果, 成为引领未来的战略性技术.
机器学习技术在处理分类任务和决策问题时展现的突出能力, 成为网络空间防御中应用的新技术. 利用机器学习技术构建“关口前移,
防患于未然”的积极防御战略, 提高网络空间安全监测和处理的效率, 得到各国政府以及学术界、工业界的广泛关注. 当前,
基于机器学习的网络空间安全研究在系统安全、网络安全及应用安全等层面已有不少解决方案和方法,
在包括垃圾邮件过滤、恶意软件检测、网络入侵检测、漏洞分析与挖掘等领域均取得了不错的效果. 可以预见的是,
引入机器学习来解决网络空间安全问题是不容置疑的趋势, 机器学习在网络空间防御中的应用前景也会不断扩展.
值得注意的是, 将机器学习应用于网络空间防御问题并非新概念. 近年来,
各主流网络安全公司纷纷尝试利用机器学习改进或重制其安全产品. 然而, 利用机器学习解决网络空间防御问题仍处于初级阶段.
从模型的泛化能力、检测准确度以及实时性来看, 目前的技术解决方案均不能较好满足网络空间防御的应用需求. 导致这一现象的原因有很多,
一般来说可以概括为机器学习算法的安全性、功能及性能三个方面. 安全性是机器学习在网络空间防御应用首先应解决的基础性问题.
面向网络空间防御的机器学习需要在对抗多变的环境中处理大量数据, 对算法的安全性要求极为严苛. 在算法安全性得到保障的基础上,
机器学习的功能才可以得以实现. 在算法安全性和算法功能实现的基础上,
算法自适应性、可解释性等问题需要得以关注.
不幸的是, 机器学习本身存在易受对抗攻击的安全隐患. 网络空间更是高对抗环境, 无时无刻不在发生力量之间的相互对抗,
机器学习在这样的对抗环境下具有高度的脆弱性, 存在受到对抗攻击的潜在风险, 可能成为网络空间防御体系中最为薄弱的环节,
从而危害整个系统的安全. 例如, 机器学习模型训练过程中利用大量的网络流量、日志信息、系统信号等非结构化数据,
对这些输入数据进行投毒攻击(Poisoning attack), 会使得模型无法取得良好效果. 此外, 研究显示,
机器学习相关算法能够轻易地被对抗样本(Adversarial example)操控, 将对抗样本作为输入,
即使其中仅包含人类难以察觉的轻微扰动, 也会导致系统性能明显下降.
利用机器学习解决网络空间安全问题仍是极具挑战性的工作.
为应对以上挑战, 研究人员着手开展对抗机器学习(Adversarial machine learning)相关研究,
提高机器学习算法在网络空间防御中的鲁棒性, 推动机器学习相关算法的应用. 网络空间中广泛存在的对抗使得机器学习的应用面临严峻挑战.
研究在不断发展, 但仍距真相甚远. 以对抗样本生成和防御为中心的对抗深度学习, 无疑是对抗机器学习领域当前最受关注的研究热点. 然而,
网络空间是“没有经过勘测的深海”, 科学分析安全问题场景, 从运行机理上展开研究, 探索机器学习算法应用的可行性,
对于机器学习在网络空间防御中的应用大有裨益.
对抗机器学习相关综述. 随着对抗机器学习研究的深入,
相关研究成果不断涌现. 为此, 众多学者逐渐展开了对抗机器学习的综述工作, 对该领域进行了归纳与总结,
典型的综述文献及主要内容如表1所示. 在已有的综述文献中,
部分综述性工作从总体上对机器学习模型或深度学习模型的对抗攻击和防御展开论述, 如文献[8]从对抗机器学习演进路线切入,
论述机器学习的攻防问题, 应用范围包括计算机视觉及网络安全, 文献[20]详尽论述深度学习中的对抗样本生成与防御技术;
部分综述性工作围绕对抗机器学习中的隐私攻防进行了论述. 上述综述对通用机器学习模型和深度学习模型的对抗攻防问题进行了论述.
值得注意的是, 机器学习算法在与具体应用领域结合时, 往往具有鲜明的领域特点. 为此,
部分综述性工作围绕机器学习应用于各领域时的攻击与防御问题进行了研究, 主要包括计算机视觉、自然语言处理、生物医疗等,
较好地论述了各自领域所带来的新特点与新问题. 同时,
也有部分工作围绕网络空间防御中基于机器学习的入侵检测系统、恶意软件检测对抗攻击与防御问题进行论述. 然而,
没有相关研究就机器学习在网络空间防御应用中存在的对抗攻击与防御进行综述. 本文在详尽调研与检索相关论文的基础上,
首次从网络空间防御这个角度切入, 开展对抗机器学习综述.
表 1 对抗机器学习相关综述
论文选取范围.
本文的综述范围主要是国内外人工智能和信息安全领域顶级会议、期刊, 包括安全与隐私专题研讨会(IEEE Symposium
on security and privacy, S&P)、计算机和通信安全会议(ACM Conference on
computer and communications security, CCS)、安全专题研讨会(Usenix security
symposium)、网络与分布式系统安全研讨会(ISOC Network and distributed system
security symposium, NDSS)等国际信息安全四大会议, 学习表征国际会议(International
conference on learning representations, ICLR)、知识发现与数据挖掘(ACM
Knowledge discovery and data mining, KDD)、神经信息处理系统年会(Annual
conference on neural information processing systems,
NeurIPS)、国际人工智能联合会议(International joint conference on artificial
intelligence, IJCAI)、人工智能大会(AAAI Conference on artificial
intelligence, AAAI)等人工智能领域顶级会议, 以及国内计算机领域部分重要刊物. 另外,
部分预印版论文对该方向研究有较大影响, 本文选取部分质量较好、方法较新、引用较高的预印版论文进行论述.
本综述的主要贡献. 本综述以网络空间防御为问题背景,
全面综述机器学习在网络空间防御中可能遭受的对抗攻击、可采取的防御措施及以后的发展方向. 本综述的主要贡献有两个方面.
一是首次从网络空间防御层面论述机器学习的对抗攻击与防御; 二是探讨了该领域可能的发展方向与存在的挑战.
本综述的主要结构如下. 首先, 介绍网络空间防御及对抗机器学习等背景知识. 其次,
针对机器学习算法在网络空间防御中可能遭受的攻击进行威胁建模, 目的是科学评估其在特定攻击场景下的安全属性. 而后,
针对应用于网络空间防御的机器学习算法, 讨论如何实现测试阶段的规避攻击(Evasion attack),
训练阶段的投毒攻击以及机器学习全阶段的隐私窃取. 在这基础之上, 论述当前主要采取的防御措施. 最后,
讨论了当前研究的主要局限性以及下一步研究的可行方向.
图 2 网络空间防御中的对抗攻击与防御措施
图 11 SISA训练示意图
作者简介
余正飞
国防科技大学系统工程学院博士研究生. 主要研究方向为对抗机器学习, 网络安全.
E-mail: yuzhengfei19@nudt.edu.cn
闫 巧
深圳大学计算机与软件学院教授. 主要研究方向为网络安全, 人工智能等. 本文通信作者.
E-mail: yanq@szu.edu.cn
周 鋆
国防科技大学系统工程学院副教授. 主要研究方向为机器学习, 概率图模型. 本文通信作者.
E-mail: zhouyun@nudt.edu.cn
相关文章
[1]
尹明, 吴浩杨, 谢胜利, 杨其宇. 基于自注意力对抗的深度子空间聚类. 自动化学报, 2022,
48(1): 271-281. doi: 10.16383/j.aas.c200302
http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200302?viewType=HTML
[2]
席磊, 何苗, 周博奇, 李彦营. 基于改进多隐层极限学习机的电网虚假数据注入攻击检测. 自动化学报.
doi: 10.16383/j.aas.c211127
http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c211127?viewType=HTML
[3]
董胤蓬, 苏航, 朱军. 面向对抗样本的深度神经网络可解释性分析. 自动化学报, 2022, 48(1):
75-86. doi: 10.16383/j.aas.c200317
http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200317?viewType=HTML
[4]
赖轩, 曲延云, 谢源, 裴玉龙. 基于拓扑一致性对抗互学习的知识蒸馏. 自动化学报. doi:
10.16383/j.aas.200665
http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.200665?viewType=HTML
[5]
李新利, 邹昌铭, 杨国田, 刘禾. SealGAN: 基于生成式对抗网络的印章消除研究. 自动化学报,
2021, 47(11): 2614-2622. doi: 10.16383/j.aas.c190459
http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190459?viewType=HTML
[6]
石家宇, 陈博, 俞立. 基于拉普拉斯特征映射学习的隐匿FDI攻击检测. 自动化学报, 2021,
47(10): 2494-2500. doi: 10.16383/j.aas.c190551
http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190551?viewType=HTML
[7]
陈晋音, 沈诗婧, 苏蒙蒙, 郑海斌, 熊晖. 车牌识别系统的黑盒对抗攻击. 自动化学报, 2021,
47(1): 121-135. doi: 10.16383/j.aas.c190488
http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190488?viewType=HTML
[8]
陈晋音, 吴长安, 郑海斌, 王巍, 温浩. 基于通用逆扰动的对抗攻击防御方法. 自动化学报. doi:
10.16383/j.aas.c201077
http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c201077?viewType=HTML
[9]
胡旭光, 马大中, 郑君, 张化光, 王睿. 基于关联信息对抗学习的综合能源系统运行状态分析方法.
自动化学报, 2020, 46(9): 1783-1797. doi: 10.16383/j.aas.c200171
http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200171?viewType=HTML
[10]
孔锐, 黄钢. 基于条件约束的胶囊生成对抗网络. 自动化学报, 2020, 46(1): 94-107.
doi: 10.16383/j.aas.c180590
http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180590?viewType=HTML
[11]
孔锐, 蔡佳纯, 黄钢. 基于生成对抗网络的对抗攻击防御模型. 自动化学报. doi:
10.16383/j.aas.2020.c200033
http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2020.c200033?viewType=HTML
[12]
杨飞生, 汪璟, 潘泉, 康沛沛. 网络攻击下信息物理融合电力系统的弹性事件触发控制. 自动化学报,
2019, 45(1): 110-119. doi: 10.16383/j.aas.c180388
http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180388?viewType=HTML
[13]
郑文博, 王坤峰, 王飞跃. 基于贝叶斯生成对抗网络的背景消减算法. 自动化学报, 2018, 44(5):
878-890. doi: 10.16383/j.aas.2018.c170562
http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2018.c170562?viewType=HTML
[14]
王坤峰, 左旺孟, 谭营, 秦涛, 李力, 王飞跃. 生成式对抗网络:从生成数据到创造智能. 自动化学报,
2018, 44(5): 769-774. doi: 10.16383/j.aas.2018.y000001
http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2018.y000001?viewType=HTML
[15]
卢倩雯, 陶青川, 赵娅琳, 刘蔓霄. 基于生成对抗网络的漫画草稿图简化. 自动化学报, 2018,
44(5): 840-854. doi: 10.16383/j.aas.2018.c170486
http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2018.c170486?viewType=HTML
[16]
冯冲, 康丽琪, 石戈, 黄河燕. 融合对抗学习的因果关系抽取. 自动化学报, 2018, 44(5):
811-818. doi: 10.16383/j.aas.2018.c170481
http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2018.c170481?viewType=HTML
[17]
张龙, 赵杰煜, 叶绪伦, 董伟. 协作式生成对抗网络. 自动化学报, 2018, 44(5):
804-810. doi: 10.16383/j.aas.2018.c170483
http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2018.c170483?viewType=HTML
[18]
孙亮, 韩毓璇, 康文婧, 葛宏伟. 基于生成对抗网络的多视图学习与重构算法. 自动化学报, 2018,
44(5): 819-828. doi: 10.16383/j.aas.2018.c170496
http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2018.c170496?viewType=HTML
[19]
王坤峰, 苟超, 段艳杰, 林懿伦, 郑心湖, 王飞跃. 生成式对抗网络GAN的研究进展与展望.
自动化学报, 2017, 43(3): 321-332. doi: 10.16383/j.aas.2017.y000003
http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2017.y000003?viewType=HTML
[20]
李旭东. 抗几何攻击的空间域图像数字水印算法. 自动化学报, 2008, 34(7): 832-837.
doi: 10.3724/SP.J.1004.2008.00832
http://www.aas.net.cn/cn/article/doi/10.3724/SP.J.1004.2008.00832?viewType=HTML
