为什么机器学习模型会消耗那么多能源？
人脑是一种效率极高的智能来源，但目前的AI还达不到这样的水平 。本月早些时候，OpenAI宣布已经构建起有史以来规模最大的AI模型 。这套惊人的模型名为GPT-3，已经成为令人印象深刻的伟大技术成就 。但在这辉煌的背后，也凸显出人工智能领域一种令人担忧的负面趋势——更可怕的是，主流舆论对此尚未给予足够的关注 。
现代AI模型需要消耗大量电力，而且对电力的需求正以惊人的速度增长 。在深度学习时代，构建一流AI模型所需要的计算资源平均每3.4个月翻一番；换句话说，从2012年到2018年间，AI计算资源消耗量增长了30万倍 。而GPT-3，只是这股潮流的最新体现 。总而言之，AI技术带来的碳排放已经不容忽视；如果行业趋势继续下去，那么情况将很快失去控制 。
【经典小样本GNN模型,小样本学习】除非我们愿意重新评估并改革当今的AI研究议程，否则人工智能领域很可能在不久的未来成为引发气候变化的罪魁祸首 。更大并不一定更好在当今以深度学习为中心的研究范式当中，人工智能的主要进步主要依赖于模型的规模化扩展：数据集更大、模型更大、计算资源更大 。GPT-3就很好地说明了这种现象 。这套模型中包含多达1750亿个参数 。
为了帮助大家更直观地理解这个数字，其前身GPT-2模型（在去年发布时，同样创下了体量层面的纪录）只有15亿个参数 。去年的GPT-2在拥有千万亿次算力的设备上训练了几十天；相比之下，GPT-3的训练时长将增长至数千天 。这种靠“每况愈大”模型推动AI技术进步的问题在于，这类模型的构建与部署都需要消耗大量能源，并由此产生巨量碳排放 。
在2019年的一项广泛研究当中，由Emma Strubell牵头的一组研究人员估计，训练一套深度学习模型可能产生高达62万6155磅的二氧化碳排放量——大约相当于五辆汽车从出厂到报废的总二氧化碳排放规模 。如果这还不够直观，那么每个美国人每年平均产生3万6156磅二氧化碳排放量 。可以肯定的是，这项估算主要针对那些高度依赖于能源的模型 。
毕竟结合当前现实，机器学习模型的平均训练过程绝不至于产生60多万磅二氧化碳 。同样值得注意的是，在进行这项分析时，GPT-2仍然是研究领域规模最大的模型，研究人员也将其视为深度学习模型的极限 。但仅仅一年之后，GPT-2就成了“纤细瘦小”的代名词，下代模型的体量超过其百倍 。为什么机器学习模型会消耗那么多能源？最重要的原因，就是训练这些模型的数据集本身也在快速增肥 。
在使用包含30亿个单词的数据集进行训练之后，BERT模型在2018年实现了同类最佳的自然语言处理（NLP）性能 。而在利用包含320亿个单词的训练集完成训练之后，XLNet又超越了BERT 。不久之后，GPT-2开始在包含400亿个单词的数据集上接受训练 。最终是我们前面提到的GPT-3，它使用的是一套包含约5000亿个单词的加权数据集 。
在训练过程中，神经网络需要为每一条数据执行一整套冗长的数学运算（正向传播与反向传播），并以复杂的方式更新模型参数 。因此，数据集规模越大，与之对应的算力与能源需求也在飞速增长 。导致AI模型大量消耗能源的另一个理由，在于模型开发过程中所需要的大量实验与调整 。目前，机器学习在很大程度上仍是一个反复实验试错的流程 。
从业人员通常会在训练过程中为当前模型构建数百个版本，并通过不断尝试各类神经架构与超参数确定最佳设计方案 。之前提到的2019年论文中还包含一项案例研究，研究人员们选择了一个体量适中的模型（显然要比GPT-3这样的庞然大物小得多），并对训练其最终版本所需要的电力、以及生产最终版本所需要的试运行总量进行了统计 。
推荐阅读
- T2使用中一点小问题，关于充电器的，有没有同样问题
- 小米4系统用哪个好些,华为系统哪个比较好用
- 在哪个平台买小雅智能音箱好,想买一台智能音箱
- 小米note pro手机怎么样,小米手机红米Redmi
- 企业季报资产总额怎么填,资产总额怎么计算
- 小吃加盟合同书怎么写,推广小吃怎么写吸引人
- 新奇瑞小蚂蚁补贴后售价,奇瑞小蚂蚁电动车价格及图片
- 狗狗细小之后怎么补充营养,狗狗得了细小
- 狗为什么会得细小,为什么犬细小
- 一只小博美犬多少钱,博美犬最少多少元