Explorando as Capacidades do LLAMA-3: RAG, Roteamento e Chamada de Função

Nesta seção, exploraremos as capacidades do LLAMA-3 na realização de roteamento de consultas e chamada de funções. Usaremos a API Gro para carregar os modelos LLAMA-3 e testar seu desempenho em várias tarefas.

Primeiro, criaremos dois armazenamentos de vetores diferentes: um para divisão e incorporação de documentos, e outro para sumarização de documentos. Isso nos permitirá testar a capacidade do modelo de selecionar o armazenamento de vetores apropriado com base na consulta do usuário.

Em seguida, examinaremos o desempenho do modelo no roteamento de consultas. Forneceremos ao modelo consultas que exijam recuperação de fatos específicos ou sumarização de documentos, e observaremos como o modelo seleciona o armazenamento de vetores apropriado para gerar a resposta.

Finalmente, exploraremos as capacidades de chamada de função do modelo. Usaremos a implementação de uso de ferramentas da API Gro para permitir que o modelo chame funções externas, como recuperar pontuações de jogos da NBA. Observaremos como o modelo decide quando usar a função externa e como ele integra a saída da função na resposta final.

Ao longo da seção, compararemos o desempenho das versões de 38 bilhões e 70 bilhões do modelo LLAMA-3, destacando as melhorias no modelo maior.

Nesta seção, examinaremos a capacidade do LLAMA-3 de realizar tarefas de roteamento de consultas e chamada de funções. Usaremos o artigo "Synthetic Social Networking is Coming" da WGE como fonte de dados para nossos testes.

Primeiro, configuramos os componentes necessários, incluindo o carregamento do modelo LLAMA-3 (tanto a versão de 38 bilhões quanto a de 70 bilhões) usando a API Gro, e a criação de dois armazenamentos de vetores: um para divisão de documentos e outro para sumarização.

Em seguida, testamos as capacidades de roteamento de consultas do modelo, fazendo perguntas que exigem a recuperação de fatos específicos ou a sumarização de todo o documento. A versão de 70 bilhões do LLAMA-3 demonstra desempenho superior, fornecendo respostas mais precisas e abrangentes em comparação com a versão de 38 bilhões.

Depois, exploramos as capacidades de chamada de função do LLAMA-3, que não são oficialmente suportadas, mas podem ser implementadas usando o recurso de uso de ferramentas do Gro. Criamos uma mensagem do sistema que instrui o modelo a usar uma função externa para recuperar as pontuações dos jogos da NBA e incluir os nomes das equipes e os resultados finais na resposta. Tanto a versão de 38 bilhões quanto a de 70 bilhões do LLAMA-3 conseguem usar com sucesso a função externa e fornecer as informações solicitadas.

Em geral, os resultados mostram que o LLAMA-3 é capaz de se sair bem em uma variedade de tarefas de RAG (Geração Auxiliada por Recuperação), com a versão maior de 70 bilhões exibindo um desempenho mais forte em todos os aspectos.

O modelo LLAMA-3 de 70 bilhões de parâmetros demonstra um desempenho significativamente melhorado em comparação com a versão de 38 bilhões de parâmetros. As principais diferenças incluem:

• O modelo de 70 bilhões fornece resumos muito mais detalhados e precisos das informações mencionadas sobre empresas como Meta e OpenAI. Ele é capaz de sintetizar os principais pontos, em vez de simplesmente copiar frases do texto de origem.

• Para consultas mais complexas envolvendo várias partes, o modelo de 70 bilhões faz um trabalho melhor no roteamento de consultas - identificando corretamente qual das fontes de dados disponíveis (índice de vetor ou índice de resumo) é mais relevante para responder à pergunta.

• Quando questionado sobre tópicos não relacionados às funções de ferramenta disponíveis, o modelo de 70 bilhões é capaz de reconhecer isso e fornecer uma resposta ponderada, em vez de tentar uma chamada de ferramenta inadequada, como faz o modelo de 38 bilhões.

Em geral, o aumento da escala do modelo LLAMA-3 de 70 bilhões de parâmetros resulta em capacidades de compreensão e raciocínio linguístico substancialmente mais fortes, permitindo que ele lide com consultas mais sutis e abertas de forma mais eficaz. O maior tamanho do modelo parece ser um fator-chave para permitir essas melhorias de desempenho.

O LLAMA-3 não suporta oficialmente a chamada de funções, mas a API Grok fornece uma implementação para Uso de Ferramentas, o que permite que o modelo de linguagem aproveite ferramentas externas para responder a consultas complexas.

As principais etapas envolvidas nesse processo são:

1. Definição da Ferramenta: A mensagem do sistema inclui uma descrição detalhada da ferramenta disponível, incluindo seus parâmetros de entrada e saída. Isso permite que o modelo de linguagem determine qual ferramenta usar para uma determinada consulta.

2. Seleção de Ferramenta: Quando o usuário faz uma pergunta, o modelo de linguagem primeiro verifica se precisa usar uma ferramenta externa. Se sim, ele seleciona a ferramenta apropriada com base no contexto da consulta.

3. Invocação da Ferramenta: O modelo de linguagem faz uma chamada para a ferramenta selecionada, passando os parâmetros de entrada necessários. A resposta da ferramenta é então enviada de volta para o modelo de linguagem.

4. Geração da Resposta Final: O modelo de linguagem usa as informações da resposta da ferramenta para gerar a resposta final para o usuário.

Essa abordagem permite que o LLAMA-3 aproveite as capacidades externas, como realizar cálculos complexos ou recuperar dados específicos, para fornecer respostas mais precisas e abrangentes às consultas dos usuários.

O exemplo fornecido demonstra como o LLAMA-3 pode ser integrado à API Grok para responder a perguntas sobre pontuações de jogos da NBA. O modelo é capaz de selecionar a ferramenta apropriada, invocar a função "obter pontuação do jogo" e, em seguida, usar as informações recuperadas para gerar uma resposta detalhada para o usuário.

Em geral, essa integração do LLAMA-3 com ferramentas externas amplia as capacidades do modelo e permite que ele lide com uma gama mais ampla de consultas e tarefas.

Os modelos Lama 3, tanto a versão de 38 bilhões quanto a de 70 bilhões, demonstraram capacidades impressionantes em várias tarefas, como roteamento de consultas e chamada de funções. A capacidade do modelo de identificar com precisão o armazenamento de vetores ou o índice de resumo relevante com base na consulta do usuário demonstra seu forte entendimento de contexto e relevância.

O modelo de 70 bilhões, em particular, superou a versão menor de 38 bilhões em consultas mais complexas, fornecendo respostas mais detalhadas e precisas. A implementação do recurso de chamada de função, usando a API Gro, destaca ainda mais a flexibilidade do modelo e sua capacidade de aproveitar ferramentas externas para melhorar suas capacidades.

Em geral, os modelos Lama 3 provaram ser modelos de linguagem poderosos que podem lidar de forma eficaz com uma ampla gama de tarefas. As informações obtidas nesta análise podem ser valiosas para desenvolvedores e pesquisadores que trabalham em projetos semelhantes, à medida que exploram o potencial dos grandes modelos de linguagem e suas aplicações práticas.