Mixtral 8x22B MoE - 用于商业用途的强大的新型开放式 LLM

米斯塔尔人工智能最近发布了一个大规模的开放权重模型,米斯塔尔8x22B MoE,拥有令人印象深刻的1760亿参数。这个模型是由8个专家模型组成的混合体,每个模型有220亿参数,形成了一个高度强大和多功能的语言模型。

米斯塔尔8x22B MoE有几个值得注意的特点:

• 大上下文长度:该模型可支持高达655,000个标记,远远超过以前的版本。
• 出色的性能:即使在基础形式上,该模型也在各种基准测试中超越了之前的最先进的开放权重模型Cair R+。
• 商业可用性:该模型在Apache 2.0许可下发布,允许商业使用。
• Hugging Face集成:该模型及其标记器已经在Hugging Face平台上提供,使其更易于人工智能社区访问。

虽然该模型的预训练数据和多语言能力仍然未知,但初步评估表明,米斯塔尔8x22B MoE是一个高度强大的语言模型。其性能估计介于Chinchilla和GPT-4之间,但鼓励用户在自己的应用程序上测试该模型,以获得更准确的评估。

该模型一个值得注意的方面是它能够遵循指令并提供相关响应,即使在其基本形式中也是如此。这表明该模型已经在大量的指令性数据上进行了训练,这可能会导致一旦推出微调版本就会有更加令人印象深刻的结果。

然而,需要注意的是,该模型的大尺寸和高资源需求可能会限制其可访问性。运行该模型需要大量的GPU内存,16位精度需要260GB的VRAM,4位精度需要73GB的VRAM。这对许多用户来说可能是一个挑战,但该模型功能的潜在优势可能会使那些拥有必要硬件资源的人觉得值得投资。