Esplorando le capacità di LLAMA-3: RAG, Routing e Function Calling

In questa sezione, esploreremo le capacità di LLAMA-3 nell'eseguire l'instradamento delle query e la chiamata di funzioni. Utilizzeremo l'API Gro per caricare i modelli LLAMA-3 e testarne le prestazioni su vari compiti.

Prima, creeremo due diversi archivi di vettori: uno per il chunking e l'embedding dei documenti, e un altro per il riassunto dei documenti. Questo ci permetterà di testare la capacità del modello di selezionare l'archivio di vettori appropriato in base alla query dell'utente.

Successivamente, esamineremo le prestazioni del modello nell'instradamento delle query. Forniremo al modello query che richiedono o il recupero di fatti specifici o il riassunto dei documenti, e osserveremo come il modello seleziona l'archivio di vettori appropriato per generare la risposta.

Infine, esploreremo le capacità di chiamata di funzioni del modello. Utilizzeremo l'implementazione dell'utilizzo degli strumenti dell'API Gro per consentire al modello di chiamare funzioni esterne, come il recupero dei punteggi delle partite NBA. Osserveremo come il modello decide quando utilizzare la funzione esterna e come integra l'output della funzione nella risposta finale.

Lungo la sezione, confronteremo le prestazioni delle versioni da 38 miliardi e 70 miliardi di parametri del modello LLAMA-3, evidenziando i miglioramenti nel modello più grande.

In questa sezione, esamineremo la capacità di LLAMA-3 di eseguire compiti di instradamento delle query e chiamata di funzioni. Utilizzeremo l'articolo "Synthetic Social Networking is Coming" di WGE come fonte di dati per i nostri test.

Prima, imposteremo i componenti necessari, incluso il caricamento del modello LLAMA-3 (sia la versione da 38 miliardi che da 70 miliardi di parametri) utilizzando l'API Gro, e la creazione di due archivi di vettori: uno per il chunking dei documenti e uno per il riassunto.

Successivamente, testiamo le capacità di instradamento delle query del modello chiedendo domande che richiedono il recupero di fatti specifici o il riassunto dell'intero documento. La versione da 70 miliardi di parametri di LLAMA-3 dimostra prestazioni superiori, fornendo risposte più accurate e complete rispetto alla versione da 38 miliardi.

In seguito, esploriamo le capacità di chiamata di funzioni di LLAMA-3, che non sono ufficialmente supportate ma possono essere implementate utilizzando la funzionalità di utilizzo degli strumenti di Gro. Creiamo un messaggio di sistema che istruisce il modello a utilizzare una funzione esterna per recuperare i punteggi delle partite NBA e includere i nomi delle squadre e i punteggi finali nella risposta. Sia la versione da 38 miliardi che da 70 miliardi di parametri di LLAMA-3 sono in grado di utilizzare con successo la funzione esterna e fornire le informazioni richieste.

Complessivamente, i risultati mostrano che LLAMA-3 è in grado di eseguire bene una varietà di compiti RAG (Retrieval-Augmented Generation), con la versione più grande da 70 miliardi di parametri che mostra prestazioni più forti in tutti gli ambiti.

Il modello LLAMA-3 con 70 miliardi di parametri dimostra prestazioni notevolmente migliorate rispetto alla versione con 38 miliardi di parametri. Le principali differenze includono:

• Il modello da 70 miliardi fornisce riassunti molto più dettagliati e accurati delle informazioni menzionate su aziende come Meta e OpenAI. È in grado di sintetizzare i punti chiave anziché copiare semplicemente frasi dal testo di origine.

• Per query più complesse che coinvolgono più parti, il modello da 70 miliardi si comporta meglio nell'instradamento delle query - identificando correttamente quale delle fonti di dati disponibili (indice vettoriale o indice di riepilogo) è più rilevante per rispondere alla domanda.

• Quando gli viene chiesto di argomenti non correlati alle funzioni di strumenti disponibili, il modello da 70 miliardi è in grado di riconoscere questo e fornire una risposta riflessiva, invece di tentare una chiamata di strumento inappropriata come il modello da 38 miliardi.

Complessivamente, l'aumento della scala del modello LLAMA-3 da 70 miliardi di parametri si traduce in capacità di comprensione del linguaggio e di ragionamento sostanzialmente più forti, consentendogli di gestire query più sfumate e aperte in modo più efficace. La dimensione maggiore del modello sembra essere un fattore chiave per abilitare questi miglioramenti delle prestazioni.

LLAMA-3 non supporta ufficialmente la chiamata di funzioni, ma l'API Grok fornisce un'implementazione per l'utilizzo degli strumenti, che consente al modello di linguaggio di sfruttare strumenti esterni per rispondere a query complesse.

I passaggi chiave coinvolti in questo processo sono:

1. Definizione dello strumento: Il messaggio di sistema include una descrizione dettagliata dello strumento disponibile, inclusi i suoi parametri di input e output. Ciò consente al modello di linguaggio di determinare quale strumento utilizzare per una determinata query.

2. Selezione dello strumento: Quando l'utente pone una domanda, il modello di linguaggio verifica prima se deve utilizzare uno strumento esterno. In caso affermativo, seleziona lo strumento appropriato in base al contesto della query.

3. Invocazione dello strumento: Il modello di linguaggio effettua una chiamata allo strumento selezionato, passando i parametri di input necessari. La risposta dello strumento viene quindi reintrodotta nel modello di linguaggio.

4. Generazione della risposta finale: Il modello di linguaggio utilizza le informazioni dalla risposta dello strumento per generare la risposta finale per l'utente.

Questo approccio consente a LLAMA-3 di sfruttare le capacità esterne, come eseguire calcoli complessi o recuperare dati specifici, per fornire risposte più accurate e complete alle query degli utenti.

L'esempio fornito dimostra come LLAMA-3 possa essere integrato con l'API Grok per rispondere a domande sui punteggi delle partite NBA. Il modello è in grado di selezionare lo strumento appropriato, invocare la funzione "ottieni punteggio partita" e quindi utilizzare le informazioni recuperate per generare una risposta dettagliata per l'utente.

Complessivamente, questa integrazione di LLAMA-3 con strumenti esterni espande le capacità del modello e gli consente di gestire una gamma più ampia di query e compiti.

Il modello Lama 3, sia nella versione da 38 miliardi che da 70 miliardi di parametri, ha dimostrato capacità impressionanti in vari compiti come l'instradamento delle query e la chiamata di funzioni. La capacità del modello di identificare accuratamente l'archivio di vettori o l'indice di riepilogo rilevante in base alla query dell'utente mette in mostra la sua forte comprensione del contesto e della rilevanza.

Il modello da 70 miliardi, in particolare, ha superato la versione più piccola da 38 miliardi in query più complesse, fornendo risposte più dettagliate e accurate. L'implementazione della funzionalità di chiamata di funzioni, utilizzando l'API Gro, evidenzia ulteriormente la flessibilità del modello e la sua capacità di sfruttare strumenti esterni per migliorare le sue capacità.

Complessivamente, i modelli Lama 3 si sono dimostrati potenti modelli di linguaggio in grado di gestire in modo efficace una vasta gamma di compiti. Le informazioni acquisite da questa analisi possono essere preziose per gli sviluppatori e i ricercatori che lavorano su progetti simili, mentre esplorano il potenziale dei grandi modelli di linguaggio e le loro applicazioni pratiche.