首页 > 企业站 > 企业站_资讯眼> 正文

Databricks推出DBRX,高效开源模型的新标准

佚名 整合编辑:王珂玥 发布于:2024-04-01 14:20

数据和人工智能公司Databricks宣布推出DBRX,这是一种通用LLM,在标准基准测试中优于所有已建立的开源模型。DBRX使每个企业的定制、高性能LLM的培训和调整民主化,因此他们不再需要依赖少量的封闭模型。如今,DBRX使世界各地的组织能够经济有效地构建、培训和服务他们自己的定制LLM。

“在Databricks,我们的愿景一直是使数据和人工智能民主化。我们通过向每家企业提供数据智能来实现这一目标——帮助他们理解并使用他们的私人数据来构建自己的人工智能系统。DBRX就是这一目标的结果,”Databricks联合创始人兼首席执行官Ali Ghodsi表示。“我们对DBRX感到兴奋有三个关键原因:首先,它在最先进的行业基准上击败了开源模型。其次,它在大多数基准测试中击败了GPT-3.5.这将加速我们在客户群中看到的趋势,因为组织用开源模型取代了专有模型。最后,DBRX使用混合专家架构,使模型在每秒代币方面非常快,并且具有成本效益。总而言之,DBRX为开源法学硕士设定了一个新标准——它为企业提供了一个平台,可以根据自己的数据构建定制的推理能力。”

DBRX超越了所有行业基准的开源模型

DBRX在语言理解、编程、数学和逻辑等标准行业基准上优于现有的开源LLM,如Llama 270b和Mixtral-8x7B。(参见图1.)

在相关基准测试中,DBRX的表现也优于GPT-3.5.(参见图2.)

图1


图2

要深入了解模型评估和性能基准,并了解DBRX在内部用例(如SQL)中如何与GPT-4质量竞争,请访问Mosaic Research博客。

DBRX为高效的开源LLM设置了一个新标准

DBRX由Mosaic AI开发,在NVIDIA DGX Cloud上进行训练。Databricks通过基于MegaBlocks开源项目的混合专家(MoE)架构优化了DBRX的效率。由此产生的模型具有领先的性能,并且计算效率是其他可用的领先llm的两倍。

DBRX为开源模型设定了新的标准,为所有企业实现可定制和透明的生成式人工智能。Andreessen Horowitz最近的一项调查发现,近60%的人工智能领导者有兴趣增加开源的使用,或者在经过微调的开源模型大致与闭源模型的性能相匹配时切换。在2024年及以后,企业期望使用从封闭到开源的重大转变。Databricks认为DBRX将加速这一趋势。

佚名

网友评论

聚超值•精选

推荐 手机 笔记本 影像 硬件 家居 商用 企业 出行 未来
二维码 回到顶部