在为期六个月的过程中，研究人员共训练了该模型的4789个不同版本，折合单GPU运行时长为9998天（超过27年） 。考虑到所有因素，研究人员们估计，该模型的构建过程将产生约7万8000磅二氧化碳，超过美国成年人两年的平均二氧化碳排放量 。而到这里，我们讨论的还仅仅是机器学习模型的训练部分 。而训练只能算是模型生命周期的开始；在训练完成之后，我们还需要在现实环境中使用这些模型 。
在现实环境中部署并运行AI模型（即推理过程），所带来的能源消耗量甚至高于训练过程 。实际上，英伟达公司估计，神经网络全部算力成本中的80%到90%来自推理阶段，而非训练阶段 。例如，我们可以考虑自动驾驶汽车中的AI模型 。我们需要首先对该神经网络进行训练，教会它驾驶技巧 。在训练完成并部署至车辆上之后，该模型将持续不断地进行推理以实现环境导航——只要汽车仍在行驶，模型的推理过程就将不间断地进行 。
毋庸置疑，模型中包含的参数量越大，推理阶段所带来的电力需求就越夸张 。能源使用与碳排放要探讨这个问题，我们先要找到能源使用与碳排放之间的对应关系 。那么，该如何准确判断这种对应关系？根据美国环保署（EPA）公布的数据，在美国，一千瓦时电力平均对应0.954磅二氧化碳排放量 。这一平均值反映了碳足迹变化以及美国电网当中的不同电力来源（包括可再生能源、核能、天然气以及煤炭等）的客观比例 。
如上所述，Strubell在分析中采用了美国本土的电力碳排放平均值，以根据不同AI模型的能源需求计算对应的碳排放量 。这个假设已经相当合理，因为Amazon Web Services的电力组合就一致符合美国整体的发电来源结构，而目前的大多数AI模型都会选择在公有云端进行训练 。当然，如果尽可能使用可再生能源产生的电力进行AI模型训练，其碳足迹必将有所降低 。
例如，与AWS相比，Google Cloud Platform的电力结构中可再生能源的比例更高（根据Strubell的论文，AWS的可再生能源占比17%，谷歌方面则占比56%） 。我们也可以再举个例子，由于所在地区拥有丰富的清洁水电资源，因此大西洋西北部区域的硬件设施在训练模型时所产生的碳排放将低于全美平均水平 。
值得一提的是，目前各大云服务供应商都在强调其在碳排放控制方面做出的努力 。但总体来说，Strubell认为美国的整体电力组合仍然具有充分的说服力，可用于大体准确地估算出AI模型的碳足迹 。收益递减模型体量与模型性能之间的关系，则能帮助我们了解提升模型规模到底能够给AI技术发展带来怎样的帮助 。这方面数据倒是非常明确：模型体量的持续增加，最终会导致性能回报急剧下降 。
我们用实例来证明这个观点 。ResNet是一套于2015年发布的知名计算机视觉模型 。该模型的改进版本名为ResNeXt，于2017年问世 。与ResNet相比，ResNeXt需要的计算资源提升了35%（按总浮点运算量计算），但精度却只增长了0.5% 。在艾伦人工智能研究所2019年发表的论文中，我们可以看到更详尽的比较数据，其中记录了不同任务、模型与AI子领域的模型规模收益递减情况 。
与GPT-2相比，最新发布的超大型GPT-3模型也出现了显著的收益递减迹象 。如果AI社区继续沿着当前的道路前进，那么研究人员们必然需要花费更多精力构建起越来越大的模型，但由此带来的性能提升却越来越小 。这意味着成本/收益率将变得愈发不相称 。既然收益递减客观存在，为什么人们还在不断推出越来越大的模型呢？一大主要原因，在于AI社区当下仍过于关注能在性能基准测试中创下新高的“最新”纪录 。
推荐阅读
- T2使用中一点小问题，关于充电器的，有没有同样问题
- 小米4系统用哪个好些,华为系统哪个比较好用
- 在哪个平台买小雅智能音箱好,想买一台智能音箱
- 小米note pro手机怎么样,小米手机红米Redmi
- 企业季报资产总额怎么填,资产总额怎么计算
- 小吃加盟合同书怎么写,推广小吃怎么写吸引人
- 新奇瑞小蚂蚁补贴后售价,奇瑞小蚂蚁电动车价格及图片
- 狗狗细小之后怎么补充营养,狗狗得了细小
- 狗为什么会得细小,为什么犬细小
- 一只小博美犬多少钱,博美犬最少多少元