GPU是AI处理的主体,但数家公司认为他们有更好的选择
20年前 Nvidia做了计算决策 将焦点从博弈扩展至高性能计算处理过程高频多为数学,GPU设计成大规模数学协同处理器,千核并行操作
这一决定对Nvidia效果良好2020欧洲杯预赛最新季度Nvidia发布创纪录高数据中心收入145亿美元,比前季度增加41%,比前一季度增加279%。GPU系统现在是AI处理中的标准程序,甚至比博弈中的标准程序要高得多。
自然有很多公司来Nvidia王位.不仅是AMD和Intel等显性竞争者, 也是数家初创企业, 都想造出更好的方法处理大语言模型(LLMs) 和AI的其他元素公司中包括南巴诺瓦Cerebras公司图芯片GroqxAI等并发英特尔寻GPU替代2020欧洲杯预赛并配有Gaudi3处理器(并配有maxGPU数据中心线路)。
优先研究显示AI硬件市场2022年为430亿美元,到2030年升至2400亿美元
遗留GPU技术的局限性
CPU不理想专用处理像AI, 因为它是一个通用处理器, 这意味着它正在做许多它可能不需要做的事,例如系统供电,Glenn O'Donnell表示,高级副总裁兼Forster研究分析员Glenn O'Donnell表示。
点火电源使用 并非真正必要if you can have 芯片优化Google语言TensorFlow处理器可能是最显著例子优化回流算法和处理 做回流解析这不是折中建于此目的中
GPU问题相同GPU1990年代设计三维博弈加速, 和CPU一样,它也可以站得更高效率,注Daniel Newman,Futrum研究首席分析师
架构仍算内核模型, 即你一次做一件事, 并需要主机芯片协调所有模型或模型其他部分需要计算并重构模型以实建基础模型
Elmer Morales创建人、CEO和工程主管Ainstein.com平台允许个人和企业自创助手说,AI和HPC早期产业开始使用GPU, 因为它们已经可用并“相似低悬浮果子类”。
GPU替代销售商制作的投盘是,他们搭建了一个更好的鼠标陷阱
广度训练中GPU表现良好, 并快速学习部署方式, Rodrigo Liang说 : SambaNova系统共同创建者兼CEO进入这些真正大模型后,你开始发现一些缺陷等达到GPT大小后 需要运行上千枚芯片归根结底,芯片运行效率不高
James Wang,Cerebras系统高级产品营销主管回馈遗留设计情感并说GPU芯片太小芯片Wafer级引擎2大小相册覆盖.HopperGPU有几千核心数,WSE-2有85万核心数,公司索赔9800乘以GPU内存带宽
内存量决定模型的大规模训练gPU最大值面向GPU和随行内存的大小问题变得更难处理基本程序遍历GPU所有弱点
莫拉莱斯还说GPU太小无法大规模模型使用,模型必须分成千千千块处理即Nvidia H100GPU内存量80千兆字节
通过制作体积大芯片并增加芯片内存量,更多大语言模型可逐片处理,这意味着工作需要芯片总量减少转换为下拉电量,当涉及到处理器密集AI工作量时,电量是一个大问题
芯片机生态系统打包硬件和软件
重心放在处理器上,Cerebras和SambaNava等创业者不仅仅是芯片制造者,而是完全系统开发者提供服务器硬件和软件栈运行程序英特尔 AMD和Nvidia三者以硅闻名 但他们围绕AI有大规模大型软件
软件生态系统服务两个目的:支持硬件并锁住客户平台O'Donnell表示,“GPU或甚至CPU本身相当无用”。Nvidia成为这个行业之首的原因之一, 是因为人们都喜欢称它为护城河, 并环绕CUDA平台搭建NvidiaGPU硬件代之以Intel硬件并不会那么简单,
Wang表示从Nvidia到Cerebras的整个AI行业现在都接受开源软件,这有助于避免商家或平台锁住(像Nvidia对CUDA所做的那样),因为软件跨平台化客户可以选择硬件而不被迫选择基于软件平台
向开源转移是一个非常新现象,对业界大有帮助, 因为最终结果就是 一个人支付它, 但世界其他人都从中得益
Ainstein's Morales表示:「我们希望确保创业企业和客户有选择,Ainstein使用EronMusk支持xAI系统,但其AI代理在所有平台上工作
进化处理程序设计目光编程
O'Donnell相信,AI处理演化的下一步是 兴起定制编程芯片,FPGA中你可重编程做不同事并会做那些事相当不错估计本十年后半段会看到实战进展
Morales同意,表示硬件商贩不能锁入一种模型hadware制造商将不得不提供相似芯片编程性,消费者将拥有选择权 在那里他们可以使用设备所以我觉得这绝对方向 行业将趋向向上
O'Donnell不认为这些创业者大都有机会统治, 特别是对抗Nvidia和Intel等怪物但我想其中一些人 会发现自己的位置 并很好地在这个位置我不知道其中任何一个 会爆炸现场可谁知道呢其中一些可能只是为了获取他们的知识财产而获取的,
