太平洋科技企业站

大模型的发展会对存储系统对有哪些影响？

佚名整合编辑：王珂玥发布于：2023-05-29 19:40

背景分析：以机器学习为主要技术的大型语言模型(LLM)和生成式人工智能(GAI)正在主导IT分析世界的主要兴趣。去年11月底发布的ChatGPT聊天机器人就引起了巨大的兴趣，一周内就有100万用户，类似的基础模型应用程序(如谷歌的Bard和亚马逊的Titan)也出现了激增。

这样的GAIs具有理解文本请求并输出合格答案的能力，具有应用于整个企业和公共部门IT领域的潜力，可以从根本上实现更好的搜索和分析。在未来十年，它们的使用可能会取代和/或提高各种知识工作者的生产力，从呼叫中心和内部销售人员到会计师、律师和金融分析师。

对GAI快速高涨的兴趣将对IT行业产生影响，Forrester、Gartner等分析师和研究机构正在对这种影响进行研究和预测。部分数据存储行业因采用GAI而面临强劲的销售收益，我们已经尝试对它们进行分类。

投资银行William Blair有份长达126页的“生成人工智能:自动化的新前沿”，为这一努力提供了很多信息。

硬件领域

服务器运行LLM进行训练和推理将需要越来越多的DRAM，其中包括用于GPU的高带宽内存HBM。

和5.0组件供应商应该为需求激增做好准备。

内存池应该得到LLM的大力支持，其中包括CXL硬件供应商，这意味着DRAM扩展器、CXL开关和组件公司，如美光、三星、SK海力士等都将受益。

NAND和SSD——将需要越来越多的NAND和SSD，重点是NVMe访问，PCIe 4.0和5.0连接以及性能和容量的混合。这表明QLC和高层数TLC NAND将受益。所有的NAND晶圆厂和SSD厂商都应该关注这个市场。

存储阵列——需要高容量和高速IO。AI/ML集群将需要pb级别的容量。LLM训练运行将需要高速数据集读取和检查点写入。这将需要硬件和软件的并行访问。LLM推理运行将需要高读取访问速率和并行数据传输路径到处理器。

我们认为这将主要有利于文件访问全闪存阵列使用NVMe协议和GPUDirect支持Nvidia GPU服务器。DDN、NetApp、Pure Storage (AIRI)和VAST Data等供应商已经做好了充分利用这一点的准备。Panasas看到了边缘人工智能的机会。对象存储和块存储供应商的定位不那么好。

我们认为，缺乏GPUDirect支持的厂商应该尽快实现这一目标。

软件领域

专注于CXL的软件——MemVerge和Unifabrix等供应商应该会看到人们对其产品的兴趣持续大幅上升。

数据分析——供应商需要尽快考虑采用LLM前端。

数据库、仓库和湖屋——它们需要支持LLM模型所需的向量嵌入。为用户调查和试用聊天机器人前端的需求非常强烈。这将使非数据科学家和不熟练的SQL用户能够运行复杂的分析。他们也有机会找到ETL(提取、转换和加载)过程，将选定的数据快速输出到llm进行训练和推理运行。参见SingleStore和Databricks作为例子。

数据管理人员——他们可以通过应用LLM技术来分析他们的数据集，并通过为LLM流程提供数据而受益。Cohesity可以作为一个例子。

高速阵列——供应商可能会发现将他们的软件移植到运行GAI模型的公共云上是值得的。这样，他们就可以支持采用混合本地/公共云方法运行LLM的客户。

横向扩展并行文件系统——像IBM (Storage Scale)和WEKA这样的供应商处于有利地位，因为他们的现有客户采用GAI技术，而新客户希望他们提供快速、高容量的文件访问软件。这些供应商可能是大赢家。

间接受益的人和未受影响者

云文件服务供应商——他们可以使用他们存储在云中的数据集来为LLM提供数据，但数据需要从他们的底层对象库转移到更快的访问存储；换句话说就是某种形式的ETL。除非像AWS、Azure和谷歌这样的云计算服务提供商找到一些类似GPU direct的方式，将数据从S3和Azure Blobs泵送到他们的GPU实例。

数据协调者——如果他们能够协调LLM所需的数据，他们可能会获得间接的好处。

数据保护和安全——供应商需要检查聊天机器人接口到他们的管理设施，以更好地保护和保护数据集，并识别漏洞。特定领域的聊天机器人可以检查组织的攻击面，并确定保护它的行动。数据保护备份数据集可以为给定ETL进程的LLM提供数据。

磁盘驱动器阵列——你的产品太慢了，只能用作闪存主存储之后的第二层。

生命周期管理者——供应商需要研究聊天机器人界面如何让他们的用户更有效率。

安全供应商——聊天机器人和其他人工智能技术可以使它们在检测和响应恶意软件以及处理用户交互方面更有效。

软件定义存储供应商面临着被GAI海啸抛在后面的危险，除非他们找到某种方法来满足所需的高性能访问。

存储管理员——聊天机器人可以提高他们的工作效率，或者用来让技能较低的员工做更熟练的工作。

磁带系统——归档系统速度太慢，无法向LLM提供数据，但仍有其一席之地。

这样的存储在LLM世界是行不通的。它太慢了。

大模型存储

佚名

原创栏目