AI21Lab新推出的LLM架构Mamba是什么

在ai领域，技术的每一次革新都推动着行业的快速发展。近日，ai21 lab推出了一种新的llm（大型语言模型）架构——mamba，这一消息迅速在ai圈内引起了广泛关注。mamba不仅预示着llm的未来走向，更为ai的发展带来了新的思路和方向。

mamba架构的创新点

mamba是一款创新的结构化状态空间（ssm）模型，旨在克服传统transformer架构的限制。传统的transformer模型在处理长序列时，自注意力机制的计算量会随着上下文长度的增加而呈平方级增长，这在一定程度上限制了模型的应用范围。而mamba则通过引入选择性ssm（状态空间模型）来优化这一问题。

选择性ssm是mamba架构的核心创新点。与传统的自注意力机制不同，ssm能够根据内容动态过滤和处理信息，使得模型能够有选择地记住或忽略部分输入。这种机制不仅显著降低了计算量，而且提高了模型处理长序列的能力。在实际应用中，mamba的性能在百万token长度序列上可得到显著提升，同时推理吞吐量也能提高5倍以上。

jamba：首个基于mamba架构的应用级ai模型

随着mamba架构的推出，ai21 lab还发布了全球首个基于mamba架构的、可用于实际应用的ai模型——jamba。jamba结合了mamba结构化状态空间模型（ssm）和传统transformer架构的优点，实现了性能和效率的显著提升。

jamba拥有256k个token的超长文本处理能力，相当于大约210页文本，同时可在单个80gb的gpu上容纳140k个token。这一突破得益于其混合ssm-transformer架构，该架构利用混合专家（moe）技术，在进行推算时仅调用其520亿个参数中的120亿个。这意味着jamba比大多数同类模型能够处理更长的文本，同时保持着高吞吐量和效率。

在处理长文本时，jamba的吞吐量是同等规模的transformer模型（例如mixtral 8x7b）的三倍。这得益于其独特的混合架构，该架构由transformer、mamba和混合专家（moe）层组成，可同时优化内存占用、吞吐量和性能。

jamba还采用了模块化设计，每个模块包含一个注意力层或一个mamba层，以及一个多层感知器（mlp）。这种设计让jamba在单个gpu上最大限度地提高运算质量和吞吐量，同时为常见的推理任务留出充足的内存空间。

mamba架构的未来展望

mamba架构的出现为llm的未来发展带来了新的可能。它不仅优化了传统transformer在处理长序列时的性能瓶颈，更为ai的发展带来了新的思路和方向。

首先，mamba架构的引入将推动llm在处理长序列任务上的性能提升。随着ai技术在各个领域的应用不断深入，处理长序列的能力变得越来越重要。mamba架构通过引入选择性ssm，显著提高了模型在处理长序列时的效率和可扩展性，为ai技术在更多领域的应用提供了可能。

其次，mamba架构的创新将激发ai领域的技术创新。每一次架构的革新都带来了显著的性能提升，同时也推动了相关技术的发展。mamba架构的推出将激发更多研究者对ai架构的探索和创新，推动ai技术的不断进步。

最后，mamba架构的开源将促进ai技术的普及和应用。jamba作为首个基于mamba架构的应用级ai模型，已经以开源形式发布，任何人都可以免费使用和修改。这将降低ai技术的门槛，让更多人能够接触到先进的ai技术，并推动其在各个领域的应用和发展。

总之，mamba架构的出现为llm的未来发展带来了新的机遇和挑战。我们有理由相信，在不久的将来，mamba将会引领ai走向一个新的高峰。