谷歌云迅速宣布了一项新的超级计算机虚拟机系列,旨在培训大型人工智能模型。
在谷歌I / O会议上公布,新A3超级计算机虚拟机专用处理相当大的资源需求的大型语言模型(LLM)。
“A3 GPU vm是专门提供今天的ML性能最高的培训工作负载,配有现代CPU,改善主机内存,下一代Nvidia GPU和主要的网络升级,”该公司在一份声明中说。
实例是由八个Nvidia H100 GPU, Nvidia的最新GPU本月早些时候开始运输,以及英特尔的第四代Xeon处理器可伸缩,2 tb的主机内存和3.6 TBs bisectional带宽之间的八个通过Nvidia GPU的NVSwitch和NVLink 4.0互联。
一起,谷歌声称这些机器可以提供26 exaflop权力。整个的累积性能的超级计算机,不是每个实例。尽管如此,它吹走旧纪录最快的超级计算机,前沿,这只是略高于exaFlop之一。
根据谷歌,A3是第一个生产级部署GPU-to-GPU数据接口,谷歌称其为处理单元(IPU)的基础设施。它允许直接在gpu之间共享数据在200 Gbps无需经过CPU。这个结果是可用的网络带宽的调节力A3虚拟机相比前代A2 vm。
木星A3工作负载将运行在谷歌的专业数据中心网络结构,该公司说“扩展到成千上万的高度相互关联的gpu和允许全部带宽可2020欧洲杯预赛重构光学链接,可以调整拓扑需求。”
谷歌将提供A3在两个方面:客户可以运行它自己或作为托管服务,谷歌处理的大部分工作。如果你选择做自己,A3 vm运行在谷歌Kubernetes引擎(GKE)和谷歌计算引擎(GCE)。如果你去与管理服务,vm运行在顶点,机器学习公司的管理平台。
A3虚拟机可用于预览,需要填写一个应用程序加入早期访问计划。谷歌并没有承诺你会得到一个位置的程序。