AI技术领域未来几年最引人瞩目的新方向是什么?


AI技术领域未来几年最引人瞩目的新方向是什么?


选自:学术头条 作者:汶川
在调查近几年AI领域的过程中 , 我发现近几年对抗攻击的概念逐渐出现在全世界各国研究人员的视野中 , 我认为这将会是现在乃至未来几年最引人瞩目的新方向之一 。
1.概述
我在国内的两个著名的学术搜索网站 AMiner 和 Acemap 进行了调查 , 以 adversarial attack和相近意思的 poisoning attack 等词作为关键词搜索了相关的论文 , 以下是两个网站给出的论文数据分析图表 。
一方面 , 从图中很明显可以看出 , 在2015年直到今年 , adversarial attack相关的论文显著增多 , 这说明了在机器学习发展飞速的今天 , 机器学习的安全问题逐渐被研究者们所重视 。 所以我认为这个方向在未来几年应该会是一个新兴的热点 。
另一方面 , 虽然这类论文在近几年显著增多 , 但是这并不能说明这个方向的前景更好、可挖掘的知识更多 。 所以我又搜索了另一个现在已经成为热门方向的领域——reinforcementlearning的数据来作为对比 。
通过对比 reinforcement learning 和 adversarial attack 的热度和论文发表数量 , 可以发现与强化学习这类已经成为热门的方向相同 , 对抗攻击也开始有论文、热度急剧上升的阶段 , 但是与之不同的是 , 对抗攻击论文的绝对数量至今仍很少 。
这说明了对抗攻击的可研究的东西还处于正在被研究者们逐渐挖掘的过程 , 还未形成一个体系 。 所以从这一点 , 直观上来说 , 我认为最近的科技新词应当是 adversarial attack 。
2.原理
对抗攻击的开山之作 Intriguing properties of neural networks[12]中提到了神经网络的两个现象 。
【AI技术领域未来几年最引人瞩目的新方向是什么?】第一个是高维神经网络的神经元并不是代表着某一个特征 , 而是所有特征混杂在所有神经元中;第二个是在原样本点上加上一些针对性的但是不易察觉的扰动 , 就很容易导致神经网络的分类错误 。
第二个性质就是对抗攻击的理论基础 , 后来Goodfellow 在 Explaining and Harnessing Adversarial Examples[13]中提出原因并非是深层神经网络的高度非线性和过拟合 , 即使是线性模型也存在对抗样本 。 在这篇论文中 , 我们可以粗浅地认为对抗攻击之所以能够成功的原因是误差放大效应:
假设我们给输入样本加入扰动 , 则对抗样本即为:x~= x η , 其中η足够小(|η|∞ ≤ ?) ,
我们考虑权重向量ω和对抗样本x~的内积:
虽然微小扰动?通过神经网络权重的内积导致扰动放大 , 若权重维度为 n 均值为 m , 则显然???的最大值为εmn , 此时? = ?????(?) 。 因此在高维空间中 , 即使是很小的扰动 , 也会对最终的输出值产生很大的影响 。
3.发展过程
在调研该领域的论文的过程中 , 我发现 , 作为machine learning security 的方向 , 对抗攻击的发展可以归结为两个核心:不断寻找新的应用场景 , 不断利用新的算法
3.1不断寻找新的应用场景
每当 machine learning有新的领域出现 , 研究者都会试图在该领域上进行对抗攻击的研究 , 来研究出攻击这种领域的方法和防御的方法 。 以下是我找到的一些典型领域的对抗攻击研究成果:
3.1.1 Computer vision
Attacks for classification
图片分类是计算机视觉最经典的任务 , 因此在这个应用场景的对抗攻击论文最多 , 比如:Jacobian-based Saliency Map Attack (JSMA)[1] , One Pixel Attack[2] , DeepFool[3]等 。
这些论文的思想都是相同的:都是通过将图像的像素点按顺序或是随机一个一个改变 , 然后通过隐藏层的梯度来计算该点的改变对整张图片的攻击显著性并且根据梯度来选择下一个要改变的点 , 通过这样的训练最终可以找到最优的攻击像素 。

推荐阅读