Google Gemma-2: Insights Técnicos e Avanços em Modelos de Linguagem em Larga Escala

O Gemma 2, o mais recente modelo de linguagem de código aberto do Google, introduz várias inovações arquiteturais que contribuem para seu forte desempenho. O modelo usa uma arquitetura Transformer apenas com decodificador, o que simplifica o design do modelo em comparação com a configuração tradicional de codificador-decodificador.

Uma inovação-chave é o uso de um tamanho de vocabulário grande de 256.000 tokens. Isso permite que o modelo lide com uma ampla gama de tarefas multilíngues, apesar de ser treinado principalmente em dados em inglês. O grande tamanho do vocabulário fornece ao modelo um rico entendimento lexical, permitindo que ele tenha um bom desempenho em diversos domínios linguísticos.

Adicionalmente, a arquitetura do Gemma 2 incorpora várias modificações no design padrão do Transformer. Esses incluem ajustes no mecanismo de atenção, normalização de camada e conexões residuais, que visam melhorar a eficiência e eficácia do modelo. O relatório técnico fornece insights detalhados sobre essas escolhas arquiteturais e seu impacto no desempenho do modelo.

Os modelos Gemini 2 do Google foram treinados em um conjunto diversificado de fontes de dados, incluindo conjuntos de dados públicos internos e externos. Os principais aspectos dos dados de treinamento são:

1. Prompts de Bate-papo LMS: A equipe usou os prompts (mas não as respostas) do conjunto de dados de bate-papo LMS, um conjunto de dados público de prompts conversacionais. Isso permitiu que os modelos aprendessem com uma ampla gama de cenários conversacionais sem serem influenciados pelas respostas predeterminadas.

2. Dados Internos: Além dos dados públicos, a equipe também usou fontes de dados internos para o pré-treinamento dos modelos. Isso provavelmente forneceu aos modelos uma base de conhecimento mais ampla e diversificada.

3. Filtragem de Dados: Todos os dados de treinamento passaram por um rigoroso processo de filtragem para remover conteúdo inseguro ou duplicado. Isso ajudou a garantir que os modelos aprendessem a partir de dados de alta qualidade e curados.

Um dos principais desafios no treinamento de modelos de linguagem de grande porte é a necessidade de grandes quantidades de dados para ajustá-los efetivamente. Mesmo os modelos menores da família Gemini 2 exigem uma quantidade significativa de dados, com a família Lamda 3 sendo ajustada em até 15 trilhões de tokens, resultando em menos de 1% de melhoria em comparação com os modelos de ponta.

Para abordar esse problema, a equipe do Gemini 2 adotou uma técnica chamada destilação de conhecimento. Essa abordagem envolve o uso de um modelo "professor" maior, como o Gemini 1.5 ou o Colossal-AI, para treinar um modelo "aluno" menor. Em vez de prever diretamente o próximo token, o modelo aluno é treinado para corresponder à distribuição de probabilidade do modelo professor, usando a divergência de Kullback-Leibler (KL) como função de perda.

Esse processo de destilação de conhecimento é aplicado durante as etapas de pré-treinamento e ajuste fino para os modelos Gemini 2 menores de 9 e 2 bilhões de parâmetros. O modelo de 27 bilhões, por outro lado, é treinado do zero sem o uso da destilação de conhecimento.

O modelo Gemini 2 usa um modelo de prompt específico para conversas de uma única vez. A estrutura do prompt é a seguinte:

<start_of_conversation>
<user_role>
<end_of_turn>
<model_role>
<end_of_sequence>

Para uma segunda vez na conversa, o prompt seria anexado como:

<start_of_conversation>
<user_role>
<end_of_turn>
<model_role>
<end_of_turn>
<user_role>
<end_of_sequence>

Os pontos-chave são:

• O prompt começa com o token <start_of_conversation>.
• O token <user_role> indica a parte do usuário na conversa.
• O token <end_of_turn> separa a entrada do usuário e a resposta do modelo.
• O token <model_role> indica a parte do modelo na conversa.
• O token <end_of_sequence> marca o fim da conversa.

A abordagem do Google para treinar os modelos Gemma 2 envolveu aproveitar os prompts do conjunto de dados de bate-papo LMS, mas não as respostas reais. Em vez disso, eles usaram o modelo professor para gerar respostas para esses prompts, que foram então usadas para treinar os modelos alunos por meio da destilação de conhecimento.

Essa estratégia tem vários benefícios potenciais:

1. Evitar Vieses: Ao não usar as respostas predeterminadas do conjunto de dados de bate-papo LMS, o modelo é incentivado a ser mais criativo e flexível em suas saídas, em vez de simplesmente imitar os vieses presentes no conjunto de dados.

2. Aproveitar a Expertise do Modelo Professor: O modelo professor, que é maior e mais capaz, é usado para gerar respostas de alta qualidade para os prompts de bate-papo LMS. Essas respostas são então usadas para treinar os modelos alunos, permitindo que eles se beneficiem da expertise do professor.

Os modelos Gemma 2 estão prontamente disponíveis para uso. A maneira mais fácil de acessá-los é por meio do Google AI Studio, onde os modelos são fornecidos na seção "Modelos". Além disso, os pesos dos modelos também estão disponíveis na plataforma Hugging Face, permitindo que você os integre em sua própria base de código.

Para usar os modelos Gemma 2, você precisará seguir um modelo de prompt específico. O prompt deve começar com tokens especiais, seguidos pelo papel do usuário, o token de fim de turno, o papel do modelo e o token de fim de sequência. Para um segundo turno, você precisará anexar a mesma estrutura de prompt ao final do anterior, garantindo que o token de fim de sequência esteja presente.

Os modelos Gemma 2 vêm em duas versões: o modelo de 9 bilhões de parâmetros e o modelo de 27 bilhões de parâmetros. Ambas as versões estão disponíveis para uso, e você pode escolher a que melhor atender às suas necessidades.