首页 > 企业站 > 企业站_资讯眼> 正文

Cerebras发布第三代晶圆级AI芯片

佚名 编辑: 王珂玥 发布于:2024-03-18 15:18 PConline原创

美国芯片设计初创公司Cerebras Systems宣布推出晶圆级Wafer Scale Engine 3 (WSE-3) 芯片,这是AI晶圆级芯片的突破性产品,其性能是前一代产品“WSE-2”的两倍。WSE-3是为训练业界最大的人工智能模型而打造的,基于5纳米、4万亿晶体管的WSE-3为Cerebras CS-3人工智能超级计算机提供动力,通过90万个人工智能优化的计算核心,提供每秒125千万亿次的峰值人工智能性能。

CS-3拥有高达1.2 PB的巨大内存系统,旨在训练比GPT-4和Gemini大10倍的下一代前沿模型,24万亿参数模型可以存储在单个逻辑内存空间中,无需分区或重构,大大简化了训练工作流程并加快了开发人员的工作效率。在CS-3上训练一个一万亿个参数的模型和在gpu上训练一个十亿参数的模型一样简单。

CS-3是为企业和超大规模需求而构建的。紧凑的四个系统配置可以在一天内微调70B模型,而在使用2048个系统的全尺寸下,Llama 70B可以在一天内从头开始训练-这是生成人工智能前所未有的壮举。

最新的Cerebras软件框架为PyTorch 2.0和最新的AI模型和技术提供了本地支持,如多模态模型、视觉转换器、专家混合和扩散。Cerebras仍然是唯一一个为动态和非结构化稀疏性提供原生硬件加速的平台,将训练速度提高了8倍。

“当我们八年前开始这一旅程时,每个人都说晶圆级处理器是白日梦。我们非常自豪地推出我们开创性的第三代水级人工智能芯片,”Cerebras首席执行官兼联合创始人Andrew Feldman表示。“WSE-3是世界上最快的人工智能芯片,专为最新的尖端人工智能工作而打造,从专家混合到24万亿参数模型。我们很高兴能将WSE-3和CS-3推向市场,帮助解决当今最大的人工智能挑战。”

佚名

网友评论

聚超值•精选

推荐 手机 笔记本 影像 硬件 家居 商用 企业 出行 未来
二维码 回到顶部