“深度学习所需的大规模样本数据对于算力产生巨大需求 ， 但近日美国麻省理工学院等研究机构的报告显示 ， 深度学习正在逼近算力极限 ， 而提升算力所需的硬件、成本和对于环境的影响正变得越来越难以承受……”
美国麻省理工学院、安德伍德国际学院和巴西利亚大学的研究人员在最近的一项研究中发现 ， 深度学习的进步强烈地依赖于计算的增长 。 其结论显示 ， 训练模型的进步取决于算力的大幅提高 ， 具体来说 ， 计算能力提高10倍相当于3年的算法改进成果 。 大量数据和算力是促进人工智能发展的重要因素 ， 但是研究人员认为 ， 深度学习正在逼近算力极限 。 换言之 ， 算力提高的背后 ， 其实现目标所隐含的计算需求——硬件、环境和金钱等成本将变得无法承受 。
研究人员表示 ， 深度学习急需革命性的算法才能让AI更有效地学习 ， 并越来越像人类 。 那么 ， 为何深度学习算法十分依赖算力的增长 ， 现在算力的极限在哪里 ， 如何突破？除了算力 ， 深度学习还能否依靠其他方式改进算法性能？革命性算法的标准是什么？
大规模样本数据催生计算需求
【防止被算力“锁死” AI进化急需革命性算法】“深度学习本质上是基于统计的科学 ， 所以大规模的样本数据对于深度学习的效果至关重要 。 更大规模和更复杂的神经网络模型已经被证明非常有效 ， 并在产品中有广泛的使用 ， 同时这也让深度学习对计算能力有着更大要求和消耗 。 ”远望智库AI事业部部长、图灵机器人首席战略官谭茗洲表示 。
人工智能设计之初 ， 并没有考虑节能原则 ， 只要有足够的算力和电力 ， 算法就可以一直跑下去 。
2019年6月 ， 美国马萨诸塞州大学阿默斯特分校的一份报告显示 ， 训练和搜索某种模型所需的电量涉及约626000磅二氧化碳排放量 ， 这相当于美国普通汽车使用寿命内排放量的近5倍 。 此外 ， 优越的灵活性使深度学习可以很好地建立不同的模型 ， 超越专家的模型 ， 但也带来昂贵的算力成本 。 深度学习需要的硬件负担和计算次数 ， 背后消耗的是巨额资金 。
一份业内报告显示 ， 华盛顿大学的Grover假新闻检测模型两周内培训费用约为25000美元 。 另据报道 ， 著名人工智能非营利组织OpenAI花费高达1200万美元训练其GPT-3语言模型 ， 而GPT-2语言模型 ， 每小时训练花费则达到256美元 。
改进算法降低对计算平台要求
实际上 ， 算力一直在提高 。 OpenAI一项研究表明 ， 自2012年以来 ， 每16个月将AI模型训练到ImageNet（一个用于视觉对象识别软件研究的大型可视化数据库）图像分类中 ， 相同性能模型所需的计算量就减少了一半；谷歌的Transformer架构超越了其之前开发的seq2架构 ， 计算量减少了61倍；DeepMind的AlphaZero与该系统的前身AlphaGoZero的改进版本相匹配 ， 其计算量也减少了8倍 。
有网友提出 ， 现在的硬件算力提升有些误区 ， 不一定非得在单位面积上堆更多的晶体管 ， 我们需要更好的框架来支持底层计算条件及相应的硬件改进 。 理想情况下 ， 用消费级的GPU就能运行很多深度模型 。
“人们对深度学习的性能或结果的要求越来越高 ， 随之对于算力的需求也越来越大 。 要让算力增长或突破 ， 从算法层面 ， 首先可以优化并行计算 ， 有效利用多机多核的计算能力 ， 灵活满足各种需求 。 同时 ， 相对于传统的基于单机编写的程序 ， 如果改写为多机多核的并行程序 ， 能够充分利用其CPU和GPU（或AI芯片）的资源 ， 将使运行效率大幅度提升 。 ”西安电子科技大学电子工程学院教授吴家骥表示 。
推荐阅读
- 为什么不合群的人被讨厌 为什么我们都不喜欢不合群的人
- 女生一般会孤立什么样的女生 四年级女生表现优秀却被孤立排斥
- 被孤立的女孩都是啥样的 初中被孤立的女孩子
- 很漂亮但不合群的女生 不和同事吃午饭被领导批不合群
- 坏女孩为什么吸引优秀的人 为什么男人更容易被坏女人吸引
- 男朋友说我是坏女人什么意思 真正被男人们念念不忘的女人
- 团宠型女生的特点 这几种女生不用担心被欺负
- 男人被冷落多久会着急 多久不理男人他会着急
- 网站文本验证码存在＂巨大安全漏洞＂ 可被AI破解
- 渣男被聪明女人报复了 妻子装聋作哑伺机报复