首页 > 企业站 > 企业站_资讯眼> 正文

Lightning AI宣布PyTorch编译器可用

佚名 整合编辑:王珂玥 发布于:2024-04-01 11:36

近日,Lightning AI宣布推出Thunder,这是PyTorch的源代码到源代码编译器,旨在跨多个GPU训练和服务最新的生成AI模型。Thunder是在NVIDIA的支持下构建的下一代深度学习编译器的两年研究成果。

如今,由于GPU的数量和训练这些模型所需的时间,大型模型训练可能要花费数十亿美元。由于缺乏高性能优化和分析工具,对于没有大型技术公司资源的开发人员来说,这种规模的培训是遥不可及的。即使在早期阶段,与现实场景中未优化的代码相比,Thunder在训练大型LLM时的速度也提高了40%。这些加速节省了数周的培训时间,并按比例降低了培训成本。

2022年,Lightning AI聘请了一群专业的PyTorch开发人员,目标是为PyTorch创建下一代深度学习系统,该系统可以利用一流的执行器和软件torch.compile; nvFuser, Apex, CUDA Deep Neural Network Library (cuDNN)——这三款产品均来自NVIDIA;以及OpenAI的Triton。Thunder的目标是允许开发人员一次使用所有的执行器,这样每个执行器就可以处理它最适合的数学运算。Lightning AI利用NVIDIA的支持,将NVIDIA的最佳执行者整合到Thunder中。

Thunder团队由Thomas Viehmann博士领导,他是深度学习领域的先驱,以其在PyTorch上的早期工作而闻名,他对TorchScript的关键贡献,以及首次使PyTorch在移动设备上工作。

网友评论

聚超值•精选

推荐 手机 笔记本 影像 硬件 家居 商用 企业 出行 未来
二维码 回到顶部