神经网络专家:人工智能不再有冬天( 二 )


《连线》:那么我们怎么知道什么时候该信任这些系统呢?
杰夫?辛顿:你应该根据他们的表现来进行规范 。 你进行实验 , 看看这个东西是否有偏见 , 或者它杀死的人是否比正常人要更少 。 对于自动驾驶汽车而言 , 我认为人们现在多少接受了这一点 。 即使你不太清楚自动驾驶汽车是如何做到这一切的 , 但如果它的事故率比有人驾驶汽车少得多 , 那就是一件好事 。 我认为我们必须像对待人那样去做:你只需要看看他们表现如何 , 如果它们一再出现问题 , 你可以说它们不太好 。
《连线》:你曾说过 , 思考大脑如何工作会激发你对人工神经网络的研究 。 我们的大脑通过突触连接的神经元网络从感官中获取信息 。 而人工神经网络则通过数学神经元网络提供数据 , 神经元之间由所谓的权值连接起来 。 在上周发表的一篇论文中 , 您和几位合著者认为 , 我们应该通过更多研究来揭示大脑中正在起作用的学习算法 。 为什么?
杰夫?辛顿:大脑解决问题的能力与我们大多数的神经网络非常不同 。 我们的大脑大约有100万亿个突触 。 一般来说 , 人工神经网络的权值至少要小10000倍 。 大脑用了很多很多的突触从几个片段中集中学到尽可能多的东西 。 当有很多情景和范例时 , 深度学习擅长利用神经元之间更少的连接来进行学习 。 我认为大脑并不关心把大量知识压缩到几个连接中 , 它关心的是利用大量连接快速提取知识 。
《连线》:我们怎样才能建立起更有效的机器学习系统呢?
杰夫?辛顿:我认为我们需要转向一种不同的计算机 。 幸运的是 , 我这里有一个 。
(辛顿把手伸进皮夹 , 拿出一块闪亮的大硅片 。 这是英国初创公司Graphcore的一个原型 , 其致力于开发为机器学习算法提供动力的新型处理器 。 )
几乎所有运行神经网络的计算机系统 , 甚至是谷歌的特殊硬件 , 都使用RAM存储器 。 处理器从RAM存储器读取数据然后加以利用 , 但从RAM中提取神经网络的权重需要耗费大量的能量 。 所以现有的算法都确保一旦获取了权重值 , 就会反复使用很多次 。 由于成本过大 , 你不能为每一个训练样例做出改变 。
但在Graphcore芯片上 , 权重存储在处理器的缓存中 , 而不是RAM中 , 因此它们永远不需要移动 。 因此有些东西会变得更容易探索 。 然后也许我们会得到一个系统 , 比如说有一万亿的权重 , 但是每个样例只涉及到十亿个 。 这更像是大脑的规模 。
《连线》:最近市场对人工智能和机器学习的兴趣和投资激增 , 意味着用于研究的资金比以往任何时候都要多 。 该领域的快速发展是否也带来了新的挑战?
杰夫?辛顿:人工智能社区面临的一大挑战是,如果你想要发表一篇关于机器学习的论文 , 其中必须有一个表 , 首先列出所有不同的数据集以及所有不同的方法 , 然后突出你的方法看起来是最好的 。 如果不是这样 , 论文就很难发表 。 我不认为这会鼓励人们去思考全新的想法 。
如果你提交的论文有一个全新的观点 , 它就不可能被接受 , 因为初级审稿人不见得能够理解 。 或者你会遇到一位资深审稿人 , 他需要回顾太多的论文才能看得懂 , 但第一次会认为这肯定是胡说八道 。 任何让大脑受伤的东西都不会被接受 。 我认为这很糟糕 。
尤其是在基础科学领域 , 我们应该追求的是全新的理念 。 因为我们知道 , 从长远来看一个全新的想法将比一个微小的改进能够产生更大的影响 。 我认为现在需要进行改变 。 这个领域的资深人士不多 , 大都是年轻人 。
《连线》:会阻碍这一领域的进展吗?

推荐阅读