Nvidia公司正在提高其游戏数据中心，扩大其在不同类型与特2020欧洲杯预赛斯拉T4 GPU，基于其新图灵架构AI工作负载范围，并与相关的软件一起，设计超炫的图片，语音，翻译和应用加速推荐系统。
本T4是Nvidia的新TensorRT超大规模推理平台的重要组成部分，小外形加速卡，预计在数据中心系统，船舶从各大服务器厂商在第四季度。
本T4拥有图灵张量核心，它支持不同级别的计算精度不同的AI应用，以及主要的软件框架 - 包括TensorFlow，PyTorch，MXNet，Chainer和Caffe2 - 所谓的深度学习，机器学习涉及多-layered神经网络。
“特斯拉T4是基于图灵架构，我相信将彻底改变AI是如何部署在数据中心，”英伟达CEO詹森黄说，在揭幕周三在东京的公司GTC事件新的GPU和平台。2020欧洲杯预赛“张量核GPU是我们的GPU的再造 - 我们决定干脆彻底改造GPU。”
GPU的大规模并行架构使它们非常适合AI。NVIDIA GPU的并行计算能力加上足够纯净的处理能力成为AI的首选技术进行了数年，现在，特别是在训练数据集学习机 - 本质上是创建学习深层神经网络模型。
多倍处理是用于AI推理的优点
为T4 GPU和新的推理平台前进的一大步是在做基于帕斯卡架构的更多不同的精确度比现有的Nvidia图形处理器P4处理的能力。
一旦神经网络模型的大型数据集的训练，他们被部署到应用程序的推理 - 数据的分类“推断”的结果。虽然训练是计算密集型，在部署了现实世界的应用推理需要尽可能多的灵活性，尽可能从处理器。
理想的情况下，神经网络的每个级别应当有适合于该层中的至少精度，对于应用程序的速度和功率效率进行处理。
“通过创建可以混合和匹配所有这些混合精度，我们可以最大限度地提高精度以及吞吐量，所有的在75瓦的建筑，”黄补充说，T4S至少八倍的速度比P4S，并在某些情况下，40倍快点。
需要推理正在迅速增长，数据中心已经投入生产各种各样的应用程序中处理数十亿语音查询，翻译，图像和视2020欧洲杯预赛频，建议和社交媒体互动。Nvidia公司估计，AI推理行业有望在未来五年内成长为$ 20十亿的市场。不同的应用需要不同级别的神经网络处理的。
“你不想做的32位浮点运算，如果应用程序需要16位，”帕特里克·摩尔海德，分析公司穆尔洞察与策略的创始人。“Nvidia已经完全成长于新推理平台的数据中心AI了吧。”2020欧洲杯预赛
什么是TensorRT超大规模推理平台？
所述TensorRT超大规模推理平台，一个小的75瓦的PCIe形状因子，所述的组件包括：
- Nvidia的特斯拉T4 GPU，具有320个量图灵磁芯和2560 CUDA（计算Unitfied设备架构）内核。CUDA是NVIDIA的编程语言进行并行处理。T4多倍能力包括FP16（16位浮点运算）到FP32，INT8（8位整数运算）和INT16。该T4是能够65万亿次的峰值性能为FP16，130万亿次为INT8和260万亿次为INT4。
- TensorRT 5，推理优化和运行时的深度学习。它被设计用于低延迟，高吞吐量的推理来快速优化，验证并在超大规模数据中心部署的推理训练的神经网络，嵌入式或auotomotive GPU平台。2020欧洲杯预赛它支持TensorFlow，MXNet，Caffe2和Matlab框架和其他框架通过ONNX（开放式神经网络交换）。
- 该TensorRT推理服务器，它的Nvidia正在从它的GPU云作为数据中心部署的推论服务器。它的设计，规模化训练和推理部署multicloud GPU集群，并与Kubernetes和泊坞整合，让跨节点的集群开发自动部署，调度和多GPU应用程序容器的操作。
软件支持是关键
"We are continuing to invest and optimize our entire software stack from the bottom and we’re doing so by leveraging the available frameworks so everyone can run their neural networks turnkey out of the box right away – they can take their training models and turn around and deploy them that very day," said Ian Buck, vice president of Nvidia's Accelerated Computing business unit.
在AI推理的区域，Nvidia已经看到从FPGA中的制造商（现场可编程门阵列），特别是Xilinx公司的竞争。的FPGA的可编程性让开发人员微调用于不同层次的深层神经网络的计算精度。但是，FPGA已经提出了程序员一个陡峭的学习曲线。自定义的FPGA经硬件描述语言（HDL）多年来所做的那样，而不是用于其他芯片的高级语言。
FPGA提供了竞争的GPU
三月，赛灵思推出了它称之为一个新的产品类别- 自适应计算加速平台（ACAP） - 将有更多的软件支持比传统的FPGA。第一个版本ACAP代号为珠穆朗玛峰，是由于明年出货和Xilinx认为软件开发人员将能够使用像珠峰C / C ++，OpenCL的，和Python的工具的工作。珠穆朗玛峰还可以在硬件是可编程的，使用寄存器传输级（RTL）HDL工具，如Verilog和VHDL。
但是到了T4的GPU所提供的软件支持，加上其多倍能力似乎注定要巩固NVIDIA在两个AI训练和推理的地位。
“我们相信，我们拥有最高效的推理平台，”巴克说，“我们衡量自己的实际生产负载，我们今天所看到的，并受到广大客户看到的 - 我们我们的堆栈上与他们的工作从上底部以确保我们提供不只是最好的训练，但现在也是最好的推理平台。”
几乎所有目前使用的P4的GPU的服务器制造商将在T4到今年年底，巴克说。在东京的活动，为T4支持由数据中心系统厂商，包括思科，戴尔EMC，富士通，HPE，IBM，甲骨文和超微配音。
此外，谷歌表示，将使用新的T4S。