Avslöjande av LLAMA 3: Metas banbrytande AI-modell för förbättrad språkförståelse

LLAMA 3 är den senaste stora språkmodellen som släppts av Meta, med imponerande framsteg i prestanda och funktionalitet. Denna toppmoderna modell är öppet tillgänglig, vilket möjliggör omfattande användning och utforskning.

Modellen utmärker sig i språknyanser, kontextuell förståelse och komplexa uppgifter som översättning och dialoggenerering. Med förbättrad skalbarhet och prestanda kan LLAMA 3 hantera flerstegstjänster utan ansträngning. Dess förfinade efterbearbetningsprocesser har avsevärt minskat avvisningsfrekvensen, förbättrat svarsutlinjering och ökat mångfalden i modellsvar.

Tränad på en massiv datauppsättning på 15 biljoner tokens är LLAMA 3 sju gånger större än sin föregångare, LLAMA 2. Denna betydande ökning av träningsdata har sannolikt bidragit till modellens imponerande prestanda på olika referensmätningar, särskilt inom matematik.

Medan modellen stöder en kontaktlängd på upp till 8 000 tokens förväntas gemenskapen utforska sätt att utöka denna begränsning, eftersom andra modeller har uppnått mycket högre tokenkapaciteter.

Viktigt är att LLAMA 3 innehåller mekanismer för ansvarsfull användning, inklusive en omfattande guide för att säkerställa att modellen är i linje med etiska principer och lämplig för företagstillämpningar.

Referensmätningarna för LLAMA 3-modellen med 8 miljarder parametrar är imponerande, särskilt resultaten på matematikuppgifter. Modellen verkar vara bäst i klassen för en modell av denna storlek. Men det verkliga testet kommer att vara hur modellen presterar i verkliga tillämpningar, inte bara på standardiserade referensmätningar.

Teamet har också tillhandahållit resultat från mänsklig utvärdering, som visar att LLAMA 3 överträffar andra modeller som GPT-3.5, Megatron-Turing NLG och till och med LLAMA 2 när det gäller mänskliga preferenser. Modellen ligger mycket nära prestandan hos Chinchilla-modellen, vilket är en betydande prestation.

Teamet arbetar också med mycket större modeller, över 400 miljarder parametrar, som de är upprymda över. Dessa större modeller förväntas överträffa den första versionen av GPT-4 och potentiellt matcha eller överträffa dess prestanda.

Meta har lagt stor vikt vid ansvarsfull användning och anpassning av LLAMA 3. De har släppt en "Guide för ansvarsfull användning" som beskriver mekanismer för att säkerställa att modellen används på ett etiskt och anpassat sätt, särskilt för företagstillämpningar.

Guiden bygger på det system som användes för LLAMA 2, som tidigare kallades "LLAMA Guard 2". Detta utökade system har nu anpassats för LLAMA 3 för att upprätthålla ansvarsfulla metoder.

Meta har också släppt LLAMA 3-databasen på GitHub, som innehåller modellens vikter. Användare måste dock registrera sig för att få åtkomst till modellen, precis som för LLAMA 1 och 2. Gemenskapen förväntas göra modellen tillgänglig på plattformar som Hugging Face, så att användarna slipper registreringsprocessen.

Meta har släppt LLAMA 3-modellen, som nu är öppet tillgänglig. Modellen finns i två storlekar - 8 miljarder och 70 miljarder parametrar. Detta är första gången Meta har släppt en 8 miljarder parameter-modell, vilket är ett intressant val.

LLAMA 3-modellen kan nås via Metas nya intelligenta assistentplattform. Användare behöver ett Facebook-konto för att registrera sig och börja interagera med modellen. Modellen är utformad för att utmärka sig i språknyanser, kontextuell förståelse och komplexa uppgifter som översättning och dialoggenerering.

Modellen har tränats på en massiv datauppsättning på 15 biljoner tokens, vilket är 7 gånger större än den datauppsättning som användes för LLAMA 2. Detta tyder på att Meta sannolikt har använt en betydande mängd syntetiska data för att träna modellen.