AI进化必须修复“注意力Bug”( 二 ) _注意力

既然说注意力机制来源于人类的视觉注意力，那么人类的注意力机制和人工智能的注意力机制是否一样？
柯逍认为，人工智能的注意力在一定程度上是人类视觉注意力机制的仿生，在功能上两者是近似的，但实际上有很大的不同。
【AI进化必须修复“注意力Bug”】“从过程上来看是非常相似的，都是在给定任务（查询）内容时，帮助人（或模型）去关注最相关的数据信息。 ” 纪荣嵘举例说，如在被问及“桌子上有什么东西？”的时候，人类就会聚焦到桌子的区域。同样，在视觉问答任务中，人工智能模型也会聚焦到包含有桌子的视觉区域，然后回答“有什么” 。
纪荣嵘指出，从原理来说，人工智能的注意力机制主要是通过计算查询信息与给定特征的语义关联程度,来获得模型的注意力分布，而人类的认知系统则可能会更加复杂。
“人工智能运用注意力的过程实际上是一个记忆查询的过程，它很快很精确，但无法发现异常。 ”柯逍举例说，如让AI的注意力多次从同一张图片上获取关注区域信息，结果永远是一样的；但如果让人类来做这个事，人类看第一次的时候会关注自己感兴趣的区域，但随着观察图片次数增加，人类可能会关注这张图片的其他区域。
柯逍指出，此外人类的注意力很容易就可以做到去关注某个特定的事物，比如人群中的某个人，但是AI注意力没办法在未经充分训练的情况下做这件事，让AI关注人是容易的，但关注某个特定的人是困难的。另外还有一点最大的差别是人类注意力会关注从未见过的新鲜事，而AI注意力机制不会。
与人类注意力相比差距明显
据了解，认知神经科学对意识的定义是“对一个人内在思想的感知，或者是对外部事物或内在事物的察觉” 。意识形成的过程是一个信息不断筛选、处理以及演化的过程。
“约书亚·本吉奥在2017年的时候曾尝试用机器学习的方法来证明这个理论，其中一个关键环节就是使用注意力机制去选择‘意识状态’ 。所以，从信息提炼的角度来说，注意力机制对形成机器意识是非常重要的。 ”纪荣嵘说。
类比人类思维， AI注意力机制靠直觉还是靠推理？
“目前来说，人工智能的注意力机制更接近直觉。 ”柯逍说，大部分注意力机制，是在训练过程中重复告诉AI应该注意哪些地方，哪些东西是有关联的。如在训练AI的时候，不断让AI学习关注猫在河边吃鱼的区域， AI再看到有猫特征和鱼特征的图片时，就会关注猫和鱼区域，而不会看到猫，看到河推理出可能有鱼，然后再去找鱼，再关注鱼的区域。
“近期的注意力模型研究也有倾向于对推理能力的提升。 ”纪荣嵘举例说，如近年热门的Transformer模型就利用了多层的注意力网络来不断提炼和处理输入的信息。在这一过程中，每一层的注意力结果都是在变化，从某种程度来说，可以认为模型是在推理。
现在应用于人工智能的注意力机制还要解决哪些问题，才能让AI真正具备注意力？
“首先需要增加模型的知识储备。当模型有充足的知识后，才知道哪些信息需要去关注，例如，模型如果没见过飞机的话，就不能很好地执行关于飞机描述的查询。 ”纪荣嵘说，另外还需要对注意力模型的结构进行改进，提升模型的推理能力，这样模型才能够在复杂的语境下运用注意力完成复杂操作。
柯逍认为，就目前来说， AI注意力和真正的人类注意力距离仍然很遥远。（采访人员谢开飞）

AI进化必须修复“注意力Bug”( 二 )

推荐阅读

分流器的作用分流器有什么作用

借呗一次性还完还能借吗

可爱的宠物名字大全有哪些

苹果12微信切换有重影

怎么取消iPhone拍照声音

嘀嗒怎么看加油嘀嗒加油怎么操作

女生适合学什么专业哪些专业最好就业

探戈变速箱是干式还是湿式

千足金mf是什么意思

送圣诞帽代表着什么

怎么锻炼腹肌

5G手机哪一款值得买 5g手机哪一款最好

太行山在山西什么地方

求推荐著名好玩的fps游戏

传经典与哪个数字有关,如何让经典的力量永久流传

请教鸡茸蘑菇汤做法