云服务提供商Vultr启动了它声称的是第一个针对较小和中型公司的GPU虚拟化平台,这些平台不需要大型云玩家提供的更强大和更昂贵的选项。
当Nvidia引入时它的Ampere A100处理器于2020年强调,它是第一个支持Multi-Instance GPU或MIG的图形处理器。这允许将GPU划分为七个虚拟GPU,与Hypervisor分区CPU内核的方式几乎相同。
现在,Vultr表示,这是第一个通过其Vultr Talon平台向客户提供分数A100 GPU实例的云提供商。该公司指出,在客户工作量方面,没有任何尺寸适合所有尺寸。提供GPU实例的其他云服务提供商使全GPU以高价可用。Talon是一个小得多的例子,对于只需要小吃而不是七道菜的餐饮的客户来说,价格要低得多。
对于最大的企业工作负载,GPU实例的高成本通常是合理的,尤其是当它们需要并行运行多个GPU时。但是,许多企业和开发人员可能想开始小规模并用AI弄湿他们的脚,即使是单个GPU的成本也可能对入门和实验都非常有用。
“如果您试图从AWS这样的人那里访问完整的一张卡或八张卡系统,那么您每月至少要花费数千张,这超出了许多公司的预算范围,”注意J.J.Kardwell,Vultr的首席执行官。卡德韦尔补充说:“在ML中,AI中有许多工作负载不需要全卡价值的资源。”
对于许多研究人员和开发人员而言,他们的许多工作都在测试和迭代,他们的使用非常不一致。卡德韦尔说,他们可能会在较小的比例数据集上测试,然后随着时间的流逝,将其扩展。但是,大云提供商不提供小咬gpus。
除硬件外,Vultr还提供了NVIDIA AI Enterprise软件的完整工具,库和框架以及NVIDIA开发的相邻技术,以帮助用户最大程度地利用技术。Kardwell说,尽管提供GPU实例的其他提供商包括其自己的GPU工具,但在Nvidia已经完成时,重新发明轮子是没有意义的。
“ Nvidia已建立了一流的软件堆栈,以最大程度地利用GPU硬件。而且,您正在谈论用户能够以真正可访问的价格访问它们,并获得世界上最好的GPU硬件和专用的优化软件堆栈。” Kardwell说。
瓦特在雷达下生长
如果您从未听说过Vultr,请加入俱乐部。它自2014年以来就一直存在,但它的知名度非常低,您可能认为这违背了它的利益。Vultr的风险资金为零,并且直到最近才在没有销售或营销团队的情况下运营。但是,仅通过口口相传,它已经有机地增长了,以达到超过1.25亿美元的年度运行率,并且在全球有25个地点。
Vultr提供服务的标准服务组合,包括云计算,云存储和裸机。它的主要区别是成本,它针对较小的客户。
Kardwell说:“我们往往比大型标准往往要便宜,[我们]能够满足绝大多数用户的基本需求。”坦率地说,“大肆宣传的人确实专注于满足最大预算的最大企业的需求,坦率地说,世界各地的公司和开发商都受到了大型技术云的服务不足。”
卡德韦尔说,Vultr的常规服务比AWS便宜30%至50%,对于带宽密集型用户而言,与顶级云服务提供商相比,这是成本的1/15。他说,它通过自动化和效率实现了这一目标。
Talon的最初可用性将在该公司的新泽西州位置,然后在接下来的几周内全球推出。该公司计划在未来几个月内为不同用例添加更多面向图形的高端GPU,例如虚拟桌面和图形处理。