Sambanova Systems现在正在运送其Datascale Systems的第二代，专门为人工智能和机器学习构建。
您可能没有听说过Sambanova，这是一家由前Oracle/Sun Hardware主管和Stanford教授领导的初创公司，但其工作可能很熟悉。劳伦斯·利弗莫尔国家实验室（Lawrence Livermore National Laboratory）是Datascale的早期采用者，并于2020年在其COVID-19抗病毒药化合物和治疗研究中使用了这些系统。
Sambanova产品高级产品副总裁Marshall Choy说：“我们的系统被部署在劳伦斯·利弗莫尔国家实验室的超级计算机中，随后各方将其用于Covid-19-19抗病毒化合物和治疗学的研究和开发。”“所以，是的，它们是其中的一小部分。大流行虽然很糟糕，至少我们必须通过它做一些好事。”
SAMBANOVA实际上是作为一家软件公司开始的，这是DARPA资助的研究项目的一部分。Choy说，该公司的早期任务是建立一个软件堆栈，该软件堆栈将为开发人员开发数据流程应用程序（例如机器学习工作负载）提供更大的易用性和灵活性。但是该公司对市场上的硬件不满意，并决定自己制作。
Datascale SN30是2U外壳中的完整硬件和软件堆栈，可插入标准数据中心机架中。2020欧洲杯预赛该服务器由Cardinal SN30 RDU（可重新配置数据单元）处理器，Sambanova自己的自制芯片和TSMC供电。
Cardinal SN30 RDU包含860亿晶体管，可在Bfloat16精确度上有688个TERAFLOP。Sambanova对CPU和GPU的性能和功能不满意，并认为它们不适合神经网络。
“神经网络的变化速率使得在将其胶带和交付时，任何形式的固定功能处理器都将被过时。您需要一个灵活的硅基板，这就是我们构建的 - 一个可以在每个时钟周期重新配置的体系结构，可满足从软件执行的基础操作员的需求，” Choy说。
这听起来像是FPGA，但这并不是完全。Choy称Chip为CGRA或粗颗粒的可重新配置结构。FPGA非常灵活，但很难编程。Sambanova将芯片设计为机器学习框架的高水平，并且不像FPGA那样复杂。
与硬件一起出现，基于Sambaflow Linux的软件堆栈，并具有围绕企业集成的增强功能，例如本机Kubernetes支持容器化和虚拟化模型的编排。
根据Sambanova的说法，在训练130亿个参数GPT-3型号时，新的Datascale SN30系统的运行速度比八插入NVIDIA DGX A100系统快六倍。Choy说，这些系统能够同时进行AI的培训和推理部分，通常由两个单独的系统完成。
“传统上，使用CPU和GPU，您将在GPU上进行培训，然后对CPU进行推断。这会在系统之间来回造成许多数据移动。使用Sambanova，我们有一个可以进行培训和推理的单个系统图像。因此，您会看到消除昂贵的数据移动。”他说。
Datascale系统可用于本地部署和通过云服务提供商合作伙伴进行按需。