titan v,如何评价Titan

去年12月8日,英伟达在NIPS2017大会的一次活动中发布了最新消费级旗舰显卡TitanV——Volta架构,包含最新的神经网络计算单元TensorCore 。英伟达宣称这块最新Titan旗舰的性能可达上一代产品(TitanXp)的九倍 。
英伟达最新的Titan V是否值得购买?

titan v,如何评价Titan


去年 12 月 8 日,英伟达在 NIPS 2017 大会的一次活动中发布了最新消费级旗舰显卡 Titan V——Volta 架构,包含最新的神经网络计算单元 Tensor Core 。英伟达宣称这块最新 Titan 旗舰的性能可达上一代产品(Titan Xp)的九倍 。这款售价高达 3000 美元的显卡是否值得购买?随着 Titan V 陆续进入用户手中,已有人对其进行了评测 。
Titan V 是英伟达最近推出的「桌面级」GPU,基于新一代 Volta 架构(12nm 工艺),拥有 211 亿个晶体管、12 GB 的 HBM2 显存,可以提供 110 TFLOPS 的「深度学习算力」,对于单块显卡而言,这是一个惊人的数字 。相比之下,此前的最强显卡 GeForce 1080 Ti 可以输出 11 TFLOPS「常规算力」,内存为 11GB DDR5,而售价则是相对亲民的 699 美元 。
Titan V 身上的数字看起来非常 exciting,其 2999 美元的售价虽然有点难以让人接收,但其接近 10 倍的算力提升是其最大卖点,我们能否用一块 Titan V 代替 10 块 1080 Ti?或者说,从价格来看,它能否超过 4 块 1080 Ti?另一方面,英伟达 DGX 计算站现在的售价也下调至 49900 美元(原价 69900 美元) 。
这种设备内含 4 块水冷服务器级计算芯片 Tesla V100,这种芯片理论上性能强于桌面级的 Titan V(虽然价格要贵上很多,但其中应该包含技术支持和整套服务级协议) 。尽管如此,大多数人(包括大量学校和科技公司的 AI Lab)是不会准备这种数量级的经费用于 GPU 的 。即使这样的设备也在考虑范围之内,我们也要先讨论一下性价比的问题 。
所以我们的问题是,Titan V 是不是当前构建深度学习环境最为值当的选择?让我们从头说起,Titan V 和它服务器级的亲属 Tesla V100 都是在去年推出的(V100 在 2017 年 5 月份推出,而 Titan V 在 12 月推出) 。大多数深度学习架构已经加入了对 Volta 架构的支持,确保其 Tensor Core 的潜力在模型训练时充分发挥 。
例如,PyTorch 在近期发布了 0.3.0 版本,加入了 CUDA 9 和 Volta 架构 GPU 的支持 。在我近期对于新硬件的测试中,PyTorch 社区提供了很大帮助 。我已经在用 Titan V 运行 PyTorch 神经网络框架上的程序了,目前的一些测试程序可以用来对比硬件性能的差异 。目前,我只能给出基于 PyTorch 0.3.0 的基准测试,我会在未来加入其他框架下的性能对比,这些测试将基于 CUDA 9.0.176 和 CuDNN 7.0.0.5,也有可能在这些 API 之外 。
看看以上结果 。我们让 Titan V 和 GeForce 1080 Ti 在相同的设置下进行了对比测试(这些显卡在同样的计算机上经过了测试,都插在了 16x PCIE 接口上) 。上表中显示的时间是 CNN 前向传播(eval)和反向传播(train)所需的时间,以毫秒计 。这些数字是超过 10 次操作的平均值,因为运算过多次,所以该数字相对稳定 。
其中有趣的地方在于:显然,Titan V 的速度要快于 GeForce 1080 Ti 。然而如果仅比较 32-bit 位的运算(单精度),Titan V 仅比 1080 Ti 快 20% 左右 。Titan V 在 16-bit 运算(半精度)上的运行速度要比 32-bit 位的运算速度快上很多 。1080 Ti 也可以从半精度设置上受益,但速度提升相比 Titan V 而言较为平滑 。
这些数字告诉我们「无脑选 Titan V」并不一定是对的 。关于接近 10 倍的算力提升,英伟达说谎了吗?我确定他们的营销人员是诚实优秀的人,但是这里存在多个因素 。一,我确定从软件的角度来看,充分利用 Volta 超快的 Tensor Core 还有改进空间 。但是即便如此,如果大部分代码路径不符合允许最大理论性能的条件,商家宣称的大幅度性能提升就有待商榷了 。

推荐阅读