谷歌Gemma-2:大型语言模型的技术洞见和突破

谷歌最新开源语言模型Gemma 2引入了几项架构创新,为其出色的性能做出了贡献。该模型采用了仅解码器的Transformer架构,相比传统的编码器-解码器设置,简化了模型设计。

一个关键创新是使用了256,000个词汇量的大型词汇表。这使模型能够处理广泛的多语言任务,尽管主要是在英语数据上进行训练。大型词汇表为模型提供了丰富的词汇理解,使其能够在不同语言领域表现出色。

此外,Gemma 2架构还对标准Transformer设计进行了几项修改。包括对注意力机制、层归一化和残差连接的调整,旨在提高模型的效率和有效性。技术报告详细阐述了这些架构选择及其对模型性能的影响。

此外,Gemma 2还利用知识蒸馏方法训练了更小的模型变体,如90亿和270亿参数版本。通过从更大的教师模型蒸馏知识,较小的学生模型能够在保持更实用规模的同时,实现出色的结果。这种技术展示了高效训练高性能语言模型的潜力,无需庞大的数据集和计算资源。

总的来说,Gemma 2的架构创新为其在各种基准测试中达到最先进的性能做出了贡献,使其成为广泛自然语言处理任务的引人注目选择。

Google的Gemini 2模型是在一系列多样化的数据源上进行训练的,包括内部和外部公开数据集。训练数据的关键方面如下:

1. LMS聊天提示: 团队使用了LMS聊天数据集中的提示(但不包括答复),这使模型能够从广泛的对话场景中学习,而不受预设答复的偏差。

2. 内部数据: 除了公开数据,团队还使用了内部数据源对模型进行预训练。这可能为模型提供了更广泛和多样的知识库。

3. 数据过滤: 所有训练数据都经过了严格的过滤过程,以删除不安全或重复的内容。这有助于确保模型学习到高质量、经过策划的数据。

4. 多语言分词器: 模型使用了256,000个词汇量的大型分词器,使其能够在训练和推理过程中处理广泛的语言,包括非英语语言。

通过利用这种多样化的训练数据,Gemini 2模型能够获得广泛而稳健的知识库,这可能有助于其在基准测试和实际对话任务中的出色表现。

训练大型语言模型的一个主要挑战是需要大量数据来有效微调它们。即使Gemini 2系列中较小的模型也需要大量数据,Lamda 3系列需要多达15万亿个令牌的微调,相比最先进的模型只有不到1%的改进。

为了解决这个问题,Gemini 2团队采用了知识蒸馏技术。这种方法涉及使用更大的"教师"模型(如Gemini 1.5或Colossal-AI)来训练更小的"学生"模型。学生模型不是直接预测下一个令牌,而是被训练去匹配教师模型的概率分布,使用Kullback-Leibler(KL)散度作为损失函数。

这种知识蒸馏过程在Gemini 2的90亿和27亿参数模型的预训练和微调阶段都有应用。而27亿参数模型则是从头开始训练,没有使用知识蒸馏。

这种方法的好处有两个。首先,它允许较小的模型利用更大的教师模型的知识和能力,提高它们在基准测试和任务上的性能。论文中提供的消融研究表明,使用知识蒸馏训练的20亿令牌模型达到了67.8的平均得分,而从头开始训练只有60分。

其次,知识蒸馏过程还提高了较小模型的困惑度,使它们在推理过程中更加高效。论文指出,在推理过程中改变滑动窗口大小对困惑度的影响很小,允许以更快的速度进行推理,而不会显著降低性能。

总的来说,在Gemini 2模型中使用知识蒸馏是一种有前景的方法,可以在不牺牲性能的情况下训练出更小、更高效的语言模型。这种技术可能会对实用高性能AI系统的发展产生更广泛的影响。

Gemini 2模型使用了特定的提示模板来进行单轮对话。提示结构如下:

<start_of_conversation>
<user_role>
<end_of_turn>
<model_role>
<end_of_sequence>

对于对话的第二轮,提示会附加如下内容:

<start_of_conversation>
<user_role>
<end_of_turn>
<model_role>
<end_of_turn>
<user_role>
<end_of_sequence>

关键要点如下:

• 提示以<start_of_conversation>令牌开始。
• <user_role>令牌表示用户在对话中的角色。
• <end_of_turn>令牌分隔用户输入和模型响应。
• <model_role>令牌表示模型在对话中的角色。
• <end_of_sequence>令牌标记对话的结束。

这种结构化的提示格式使模型能够理解对话的上下文和流程,这可能有助于其在基于聊天的基准测试中表现出色。

Google训练Gemma 2模型的方法是利用LMS聊天数据集中的提示,但不使用实际的回复。相反,他们使用教师模型生成这些提示的回复,然后通过知识蒸馏的方式用于训练学生模型。

这种策略有几个潜在的好处:

1. 避免偏差: 通过不使用LMS聊天数据集中预设的回复,模型被鼓励在输出上更加创造性和灵活,而不是简单地模仿数据集中存在的偏差。

2. 利用教师模型的专业知识: 更大、更强大的教师模型用于生成LMS聊天提示的高质量回复。这些回复然后被用于训练学生模型,使他们能够从教师的专业知识中获益。

3. 在LMS基准测试中的改善表现: 知识蒸馏的过程,加上使用LMS聊天提示,可能有助于Gemma 2模型在LMS相关的基准测试和任务中表现更出色,因为它们已经针对这种类型的数据进行了特定的训练。

总的来说,这种方法展示了Google努力利用多样化的数据源和创新的训练技术来提高其语言模型的性能,特别是在与实际应用相关的任务和基准测试中。

论文提出了重要的消融研究,验证了用于训练Gemini 2模型的技术的有效性。这些研究提供了宝贵的见解:

1. 知识蒸馏的影响: 消融研究显示,对于较小的2B模型,从头开始训练只能达到60的平均基准得分,而知识蒸馏过程将其提高到67.8 - 这是一个显著的改进。这证明了知识蒸馏在增强较小模型性能方面的力量,而无需大量的训练数据。

2. 滑动窗口大小: 实验表明,在推理过程中改变滑动窗口大小对困惑度的影响很小。这意味着通过调整窗口大小,模型可以实现更快的推理速度,而只有微小的性能下降。这种灵活性对于实际部署至关重要。

3. 合并模型迭代: 论文提到作者使用了合并多个模型迭代的技术来进一步提高性能。这种模型平均方法有助于稳定训练并提高最终模型的质量。

4. 安全过滤: 模型包含一个安全层,用于过滤掉不安全或重复的输出。这是在实际应用中部署这些大型语言模型的一个重要实际考虑。

总之,消融研究验证了Gemini 2模型训练中使用的关键技术的有效性,包括知识蒸馏、滑动窗口优化和模型合并。这些发现展示了作者在模型开发和优化方面的严谨方法,这对于提供高性能、实用的语言模型至关重要。

Gemma 2模型可以直接使用。最简单的访问方式是通过Google AI Studio,在"模型"部分提供了这些模型。此外,模型权重也可在Hugging Face平台上获得,允许您将其集成到自己的代码中。

要使用Gemma 2模型,您需要遵循特定的提示模板。提示应该以特殊令牌开始,后跟用户角色、对话结束令牌、模型角色和对话结束令牌。对于第二轮对话,您需要将相同的提示结构附加到前一个提示的末尾,确保存在对话结束令牌。

Gemma 2模型有两个版本:90亿参数模型和270亿参数模型。两个版本都可供使用,您可以根据需求选择合适的版本。这些模型是使用内部和外部公开数据进行训练的,包括LMS聊天数据集的提示,但没有相应的答复。

用于训练较小Gemma 2模型的知识蒸馏过程已经显示出了有前景的结果,20亿参数模型在各种基准测试中的表现优于从头开始训练的60亿参数模型。这种技术可能是训练较小模型而不牺牲性能的有价值方法。

在后续的视频中,我将演示如何将Gemma 2模型集成到您自己的代码中,并提供如何有效使用它们的示例。敬请关注这一大型语言模型领域的最新进展。