英伟达和服务器制造商戴尔EMC、HPE、IBM和Supermicro宣布了企业服务器的特色Nvidia的Tesla V100 GPU。问题是，随着企业转向PaaS、IaaS和云服务，为机器学习设计的服务器能否阻止企业服务器购买的侵蚀?最近为物联网引入的硬化工业服务器可能表明服务器制造商正在寻找垂直市场的增长。
将企业工作负载迁移到Amazon、谷歌、IBM和其他托管的基础设施中有非常重要的原因。按需资源的可伸缩性、云规模下的运行效率和安全性只是众多原因中的三个。例如，谷歌有90名工程师专门负责大多数企业人手不足的安全问题。
上个季度，除戴尔外，所有企业服务器公司的收入都出现了下滑。服务器业务正在增长，但在企业领域没有增长。云计算公司不会从他们那里购买太多。相反，他们购买按照自己的规范构建的组件，并构建针对庞大的24X7工作负载优化的基础设施。竞争对手——谷歌、Facebook、IBM和其他云计算公司——通过互联网在工程设计和指定新硬件组件方面进行合作开放计算项目由Facebook。云计算公司直接从服务器制造商的供应链购买。前几个季度的下滑表明，这是一个难以逆转的长期趋势。
国际数据公司(IDC)
企业机器学习市场还很年轻，但这些服务器将带来高额利润。提供针对企业创新者的机器学习工作负载进行优化的强大服务器将是有利可图的。随着行业的成熟，早到对于获得市场份额非常重要。
英伟达借鉴了英特尔的做法
英伟达是机器学习和人工智能领域的英特尔(Intel)。它的Volta架构遵循了英特尔的剧本。英特尔在个人电脑和服务器平台的工作赢得了其主导地位在开放标准接口与其他评论生产商,如内存和硬盘,和出版参考规范指导系统制造商如戴尔、联想(Lenovo)和许多小制造商设计系统为个人电脑和服务器的价格和性能优化用例。
看Volta建筑白皮书这正是英伟达的方法，但用例不同:神经网络。神经网络应用计算资源来解决具有非常大矩阵的机器学习线性代数问题，迭代以做出统计上准确的决策。神经网络是计算密集型的，因为它们需要无数次地更新数以百万计的参数，以使误差最小化，并生成一个精确的模型。这些更新基本上是大型矩阵乘法操作。
虽然有许多不同类型的机器学习和人工智能，大多数应用的机器学习是监督的。有监督的意思是用标记的数据集训练机器学习模型，例如，一个大的句子语料库和它们翻译成另一种语言被输入神经网络来训练它，或者创建一个从一种语言翻译成另一种语言的模型。当模型达到预期的精度水平后，可以将模型部署为基于精度的统计概率进行推理的推理模型。在非常大的数据集上训练神经网络的唯一方法是要么给它们很多时间，要么给它们大量并行运行的gpu和大量共享内存。
机器学习是一门实证科学。工程师需要反复学习如何训练神经网络来理解一个新的用例。即使是最有经验的机器学习专家也不能确定是否需要一个5值或5000值的向量来训练一个模型。这意味着需要进行大量的实验来为新用例创建模型，然后进行优化以适应ROI的计算预算。
Snap Chat的Hussein Mehanna在领导Facebook的核心机器学习团队时曾告诉我，“长时间的训练会杀死一个工程师”，意味着必须等待训练跑完，有时会持续数周。会中断关键问题的解决进程，并使试图解决问题的工程师受挫。
目前运行的大多数机器学习模型都是从学术界开始的，比如自然语言或图像识别，然后被谷歌、Facebook、IBM和微软等大型、人手雄厚的研究和工程团队进一步研究。但这些问题被孤立起来，以匹配这些公司的用例、搜索排名、图像和对象识别等。它们通常是开放源码的，并且对企业可用，但是它们可能不适用于企业的用例。企业机器学习专家和数据科学家将不得不从零开始，研究和迭代，以建立新的高精度模型。
Nvidia的沃尔特架构
Volta架构包括许多在超级计算机中用于加速计算和优化以前的cpu和现在的gpu、内存和互连带宽的特性。
- Volta架构使用流多处理器优化深度学习，调优混合计算和寻址计算。通过细粒度的同步和并行线程之间的协作来改进并行处理。连接L1数据缓存和共享内存显著提高了性能并简化了编程。
- 它有高速互连和更高的带宽。多gpu系统之间的连接增加了可伸缩性和并行性。
- 内存子系统使用三星HBM2内存快速内存提供900 GB/秒的峰值内存带宽，在运行许多工作负载时，可以使用高达95%的内存带宽利用率。
- 多进程服务提高了共享GPU的多个计算应用的性能、隔离性和服务质量。
- 在多GPU应用程序中，让数据接近执行指令的GPU可以提高性能。统一内存和地址转换服务将内存页迁移到最频繁访问它们的处理器，提高了处理器之间共享内存范围的效率。
英伟达向其企业服务器合作伙伴提供了一套专为他们设计的架构，以便出售给投资机器学习的企业。专业企业,因为企业需要四个特征不一定发现在一起:一个大型语料库的数据训练,高度熟练的数据科学家和机器学习专家,机器学习可以解决战略问题,和一个理由不使用谷歌或亚马逊的现收现付制产品。