“排除本身紧急制动功能问题,具备行人检测功能的汽车也存在着无法及时、准确地检测出小目标人体等问题 。 ”柯逍举例说,美国汽车协会曾对具备行人检测功能的多个品牌车辆做过一个测试,测试中用到的被撞目标包括成人假人与儿童假人 。 当车前出现儿童或汽车时速达到48千米时,仅一个品牌有一定概率检测出行人,其余3家品牌在两个场景下均未检测到行人 。
为何在AI视觉识别技术下的目标检测模型如此脆弱?“在人类眼中,轻微的图像干扰并不会影响最终的判断,但对于AI模型来说却不是如此 。 ”柯逍举例说,有相关实验表明,一个测
试表现良好的图像检测与识别分类器,并没有像人类一样学习与理解目标图像真正底层的信息,而只是在训练样本上构建了一个表现良好的机器学习模型 。
据了解,现有的AI视觉识别技术通常采用深度神经网络,本质上是一种特征深层映射,只是学习数据的统计特征或数据之间的关联关系,对数据量以及数据本身的丰富程度依赖较高,数据越多越丰富,则机器学习到的用于识别目标物的特征越具有判识度,也越能反映关联关系 。
王金桥表示,但真实情况是,数据往往非常有限,使得神经网络学习到的模式也比较有限,难以让神经网络模型“见多识广”,导致其面对从未见过的数据时表现往往不尽如人意 。 另一方面,这种统计特征分布以及关联关系,一旦被攻击者获知或者破解,就有可能针对性地修改输入样本,从而改变模型的输出,达到攻击的目的 。
AI视觉失灵易引发安全问题
穿上特殊T恤,达到所谓的“隐身”效果,其实就是混淆AI的视觉系统 。 AI目标检测技术的这种缺陷是否会导致安全问题的发生?
柯逍表示,美国汽车协会的汽车辅助驾驶案例中,行人被漏检或者未能及时被检测到,都可能导致交通事故的产生 。 此外,安防监控漏检危险人物与物品也可能导致安全隐患,不法分子可以利用对抗攻击来发现目标检测系统的漏洞,并进行攻击 。
“安全问题的产生可能有模型本身缺陷问题,如泛化性能不足,训练数据单一,存在过拟合等现象 。 此时,应当尽可能地丰富训练数据,并在模型训练过程中加入防止过拟合的技术手段等来提升模型的实战能力 。 ”王金桥认为,另一方面,实际系统中往往也需要考虑模型安全来增强结果可信度和模型的健壮性,加入攻击模型的预判,提高对抗样本的判别能力,从而降低安全风险 。
当前,科研人员正不断提出精度更高、速度更快的AI目标检测模型,用于解决目标检测技术存在的漏检、误检、实时性与鲁棒性不强等问题 。 对于未来技术安全的构建,还需要做哪些努力?
王金桥认为,人工智能目前总体还处于起步阶段,现有的人工智能算法本质上还是学习简单的映射关系,并未真正地理解数据背后内容及潜在的因果关系 。 因此,其理论创新和产业应用还面临着诸多的技术难点,需要科研人员持续攻关,实现真正意义上的智能以降低应用的风险 。
【AI被一件T恤蒙蔽“双眼” 见识不够是根本原因】“其次,科研人员在进行技术研究以及新技术的应用过程中,应当尽可能地考虑各种安全问题,加入对抗样本防攻击模型,并做好相应的处理措施 。 ”王金桥建议,从社会层面也应当建立和完善人工智能相关的法律法规,对技术的应用范围加以引导,对可能出现的安全问题作出相应的指导和规范,营造更加全面和成熟的科技创新环境 。
推荐阅读
- 别再被骗了,其实水电安装价格就这么便宜! 水电安装价格
- 苹果手机怎么查位置行踪 苹果手机如何查被定位
- 怎么定位iphone手机位置 苹果手机如何查被别人定位
- 什么是流量计
- vivo红外被异常遮挡怎么关掉
- 森林被砍光土地会变成什么样
- 被临控意味着什么
- 如何找到iphone手机位置 苹果手机如何查被别人定位吗
- 白色裤子被染色了怎么去除
- 苹果id被锁定怎么办如何解锁无法验证账户 苹果id被锁定怎么办如何解锁