“深度学习所需的大规模样本数据对于算力产生巨大需求，但近日美国麻省理工学院等研究机构的报告显示，深度学习正在逼近算力极限，而提升算力所需的硬件、成本和对于环境的影响正变得越来越难以承受……”
美国麻省理工学院、安德伍德国际学院和巴西利亚大学的研究人员在最近的一项研究中发现，深度学习的进步强烈地依赖于计算的增长 。 其结论显示，训练模型的进步取决于算力的大幅提高，具体来说，计算能力提高10倍相当于3年的算法改进成果 。 大量数据和算力是促进人工智能发展的重要因素，但是研究人员认为，深度学习正在逼近算力极限 。 换言之，算力提高的背后，其实现目标所隐含的计算需求——硬件、环境和金钱等成本将变得无法承受 。
研究人员表示，深度学习急需革命性的算法才能让AI更有效地学习，并越来越像人类 。 那么，为何深度学习算法十分依赖算力的增长，现在算力的极限在哪里，如何突破？除了算力，深度学习还能否依靠其他方式改进算法性能？革命性算法的标准是什么？
大规模样本数据催生计算需求
“深度学习本质上是基于统计的科学，所以大规模的样本数据对于深度学习的效果至关重要 。 更大规模和更复杂的神经网络模型已经被证明非常有效，并在产品中有广泛的使用，同时这也让深度学习对计算能力有着更大要求和消耗 。 ”远望智库AI事业部部长、图灵机器人首席战略官谭茗洲表示 。
人工智能设计之初，并没有考虑节能原则，只要有足够的算力和电力，算法就可以一直跑下去 。
2019年6月，美国马萨诸塞州大学阿默斯特分校的一份报告显示，训练和搜索某种模型所需的电量涉及约626000磅二氧化碳排放量，这相当于美国普通汽车使用寿命内排放量的近5倍 。 此外，优越的灵活性使深度学习可以很好地建立不同的模型，超越专家的模型，但也带来昂贵的算力成本 。 深度学习需要的硬件负担和计算次数，背后消耗的是巨额资金 。
一份业内报告显示，华盛顿大学的Grover假新闻检测模型两周内培训费用约为25000美元 。 另据报道，著名人工智能非营利组织OpenAI花费高达1200万美元训练其GPT-3语言模型，而GPT-2语言模型，每小时训练花费则达到256美元 。
改进算法降低对计算平台要求
实际上，算力一直在提高 。 OpenAI一项研究表明，自2012年以来，每16个月将AI模型训练到ImageNet（一个用于视觉对象识别软件研究的大型可视化数据库）图像分类中，相同性能模型所需的计算量就减少了一半；谷歌的Transformer架构超越了其之前开发的seq2架构，计算量减少了61倍；DeepMind的AlphaZero与该系统的前身AlphaGoZero的改进版本相匹配，其计算量也减少了8倍 。
有网友提出，现在的硬件算力提升有些误区，不一定非得在单位面积上堆更多的晶体管，我们需要更好的框架来支持底层计算条件及相应的硬件改进 。 理想情况下，用消费级的GPU就能运行很多深度模型 。
“人们对深度学习的性能或结果的要求越来越高，随之对于算力的需求也越来越大 。 要让算力增长或突破，从算法层面，首先可以优化并行计算，有效利用多机多核的计算能力，灵活满足各种需求 。 同时，相对于传统的基于单机编写的程序，如果改写为多机多核的并行程序，能够充分利用其CPU和GPU（或AI芯片）的资源，将使运行效率大幅度提升 。 ”西安电子科技大学电子工程学院教授吴家骥表示 。
除了算力，深度学习本身还可通过哪些方式改进算法？吴家骥介绍，深度学习都是在异构硬件上运行，大数据进入时，需要分流处理，从算法上来看，可以调度优化，让异构架构（CPU、GPU、AI芯片）因地制宜地调度深度学习和大数据处理业务 。
推荐阅读
- 孩子被嘲笑伤害自尊，父母应该如何应对
- 公螳螂是自愿被吃掉吗
- 被移除粉丝会怎样
- 微博被屏蔽了是什么样
- 微信群聊功能被限制是怎么回事
- 抖音账号被永久封能注销嘛
- 拼多多如何隐藏订单不被别人看见
- 微信会被冻结吗
- 淘宝店铺身份证被永久封号了,怎么办啊? 如何解除永久淘宝封号的身份证
- 当前微信绑定的qq号疑似被盗怎么解决