Upptäck Mistrals kraftfulla 'Mr Large 2'-modell: Överträffar GPT-4 på viktiga riktmärken

Den nyligen lanserade Mistral Large 2-modellen från Mistral är en kraftfull språkmodell som överträffar den senaste 405B-modellen på flera viktiga mätpunkter. Trots att den är betydligt mindre till storleken, med endast 123 miljarder parametrar jämfört med 405 miljarder, visar Mistral Large 2-modellen imponerande förmågor.

En av nyckelstyrkor hos Mistral Large 2-modellen är dess förbättrade prestanda inom kodgenerering och matematik/logikuppgifter. Den ger också mycket starkare flerspråkigt stöd, med förmågan att hantera upp till 80 programmeringsspråk och stöd för språk som franska, tyska, spanska, italienska, portugisiska, arabiska, hindi, ryska, kinesiska, japanska och koreanska.

En annan anmärkningsvärd funktion hos Mistral Large 2-modellen är dess förbättrade kontextfönster på 128 000 tokens, vilket gör att den kan hantera längre kontexter jämfört med tidigare versioner. Detta gör den särskilt lämplig för verkliga tillämpningar som kräver hantering av långa, flervändiga konversationer.

Modellen har också tränats med fokus på att minimera hallucinationer, ett vanligt problem med stora språkmodeller. Den är nu bättre utrustad att erkänna när den saknar tillräcklig information för att ge ett säkert svar, vilket minskar risken för att generera trovärdiga men felaktiga eller irrelevanta uppgifter.

Dessutom utmärker sig Mistral Large 2-modellen inom instruktionsföljning och inriktning, vilket gör den till en stark kandidat för tillämpningar som kräver precis uppgiftsutförande och hantering av komplexa, flerstegsinstruktioner.

Modellens förmågor inom verktygsanvändning och funktionsanrop är också anmärkningsvärda. Den kan utföra parallella och sekventiella funktionsanrop, vilket möjliggör agentorkestrering och förbättrade hämtningsförmågor, vilket är avgörande för många affärs- och företagstillämpningar.

Mr Large 2-modellen från Mistol överträffar den tidigare ansedda toppmodellen 405b, både för proprietära och öppna källkodmodeller. Enligt blogginlägget är Mr Large 2 betydligt mer kapabel inom kodgenerering, matematik och logik. Den ger också mycket starkare flerspråkigt stöd och avancerade funktionsanropsförmågor.

Modellen har ett kontextfönster på 128 000 tokens, vilket stödjer en mycket större kontext jämfört med vissa av de tidigare versionerna. Den är flerspråkig, med stöd för franska, tyska, spanska, italienska, portugisiska, arabiska, hindi, ryska, kinesiska, japanska och koreanska. Dessutom stöder den över 80 programmeringsspråk.

Vad gäller mätpunkter ligger Mr Large 2-modellen på samma nivå som GPT-4 och överträffar 405b-modellen på de flesta mätpunkter, trots att den bara är en tredjedel så stor som 405b-modellen (123 miljarder parametrar jämfört med 405 miljarder).

Ett av de viktigaste fokusområdena under träningen av Mr Large 2 var att minimera modellens tendens att hallucinera eller generera trovärdigt klingande men faktiskt felaktiga eller irrelevanta uppgifter. Detta har varit ett betydande problem med stora språkmodeller, och det verkar som om Mistol har ägnat nära uppmärksamhet åt detta problem, vilket resulterat i en modell med minskad hallucinering.

En annan förbättring är inom instruktionsföljning och inriktning. Enligt blogginlägget är denna modell särskilt bättre på att följa precisa instruktioner och hantera långa, flervändiga konversationer, vilket är avgörande för verkliga tillämpningar. Mindre modeller tenderar att lida i prestanda när det gäller långa, flervändiga konversationer.

Modellen har också förbättrade verktygsanvändnings- och funktionsanropsförmågor, vilket är praktiska tillämpningar för företag och organisationer. Den kan utföra både parallella och sekventiella funktionsanrop, och på mätpunkter dedikerade till funktionsanrop överträffar den till och med GPT-4 och Chinchilla 3.5, vilket är en betydande prestation.

Ett av de viktigaste fokusområdena under träningen av Mr. Large 2 var att minimera modellens tendens att hallucinera eller generera trovärdigt klingande men faktiskt felaktiga eller irrelevanta uppgifter. Detta har varit ett betydande problem med stora språkmodeller, men skaparna av Mr. Large 2 har ägnat nära uppmärksamhet åt detta.

De har samlat in träningsdata där modellens hallucinering har reducerats avsevärt. Som ett resultat är den nya modellen tränad att erkänna när den inte kan hitta lösningar eller inte har tillräcklig information för att ge ett säkert svar.

En annan förbättring i Mr. Large 2 är dess instruktionsföljnings- och inriktningsförmågor. Enligt skaparna är denna modell särskilt bättre på att följa precisa instruktioner och hantera långa, flervändiga konversationer. Detta är en betydande förbättring, eftersom mindre modeller tenderar att lida i prestanda när det gäller långa, flervändiga interaktioner.

De förbättrade hallucinationsreduktions- och instruktionsföljningsförmågorna hos Mr. Large 2 förväntas göra den mer lämplig för verkliga tillämpningar, där korrekta och tillförlitliga svar är avgörande.

Mr Large 2-modellen från Anthropic har förbättrade förmågor när det gäller verktygsanvändning och funktionsanrop. Detta gör att modellen kan interagera med externa verktyg och funktioner för att samla in information och utföra uppgifter, vilket gör den mer praktisk för verkliga tillämpningar.

Processen fungerar på följande sätt:

1. LLM:en analyserar användarfrågan och avgör om den behöver använda ett verktyg eller inte. Om inget verktyg krävs kommer den att generera ett direkt svar.
2. Om LLM:en beslutar att använda ett verktyg, kommer den att välja ett lämpligt verktyg från en förutbestämd lista baserat på uppgiften.
3. LLM:en kommer sedan att generera de nödvändiga indata för det valda verktyget.
4. Användarens kod måste sedan exekvera verktygsanropet eller funktionen och skicka tillbaka svaret till LLM:en.
5. LLM:en kommer sedan att använda verktygets svar för att generera det slutliga svaret till användaren.

Denna funktionalitet möjliggörs genom användning av ett JSON-schema som beskriver de tillgängliga verktygen, deras namn, beskrivningar, indataparametrar och önskade utdata. LLM:en kan sedan referera till denna information för att avgöra vilket verktyg som ska användas och hur den ska interagera med det.

Mr Large 2-modellen har visat stark prestanda på mätpunkter som fokuserar på funktionsanrop, och överträffar till och med GPT-4 och Chinchilla 3.5 i vissa fall. Detta tyder på att modellens verktygsanvändnings- och funktionsanropsförmågor är en betydande förbättring jämfört med tidigare LLM:er.

Sammanfattningsvis gör de förbättrade verktygsanvändnings- och funktionsanropsförmågorna hos Mr Large 2-modellen den till ett mer praktiskt och mångsidigt verktyg för verkliga tillämpningar, där förmågan att interagera med externa data och system är avgörande.

Mistral AI gör sina modeller tillgängliga via olika API-leverantörer, inklusive Google, Microsoft, Amazon, Bedrock och IBM Watson. Prissättningen för att använda Mr. Large 2-modellen via deras plattform verkar vara liknande prissättningen för 405B-modellen från andra leverantörer.

Emellertid verkar utmatningsprissättningen från Mistrals plattform vara något dyrare jämfört med Anthropics Fireworks AI, som erbjuder $3 per miljon tokens för både indata och utdata för 405B-modellen.

Det är viktigt att notera att prissättningen kan variera beroende på API-leverantör och de specifika användningskraven. Företag och utvecklare som är intresserade av att använda Mr. Large 2-modellen kommer att behöva kontakta Mistral AI för att erhålla en kommersiell licens, eftersom modellen släpps under Mistral Research License och inte är fritt tillgänglig för kommersiell användning.

Sammanfattningsvis ger tillgängligheten av Mr. Large 2-modellen via flera API-leverantörer användarna fler alternativ att välja mellan, men prissättningen kan behöva utvärderas noggrant baserat på de specifika behoven och användningsmönstren för tillämpningen.

För att demonstrera funktionsanropsförmågorna hos Mr. Large 2-modellen, låt oss gå igenom ett stegvis exempel:

1. Installera nödvändiga beroenden:

   • Installera Mistral AI Python-klienten: pip install mistral-ai
   • Importera de nödvändiga biblioteken:

     1import pandas as pd
     2from functools import partial
     3from mistral_ai.client import MistralClient

2. Förbered exempeldata:

   • Skapa en exempelDataFrame med transaktionsdata:

     1data = {
     2    'customer_id': [1, 2, 3, 4, 5],
     3    'transaction_id': ['tx1', 'tx2', 'tx3', 'tx4', 'tx5'],
     4    'payment_amount': [100.0, 50.0, 75.0, 25.0, 150.0],
     5    'payment_date': ['2023-04-01', '2023-04-02', '2023-04-03', '2023-04-04', '2023-04-05'],
     6    'status': ['paid', 'pending', 'paid', 'refunded', 'paid']
     7}
     8df = pd.DataFrame(data)

3. Definiera verktygets funktioner:

   • Skapa funktioner för att hämta betalningsstatus och betalningsdatum:

     1def retrieve_payment_status(data, transaction_id):
     2    return {'status': data[data['transaction_id'] == transaction_id]['status'].values[0]}
     3
     4def retrieve_payment_date(data, transaction_id):
     5    return {'date': data[data['transaction_id'] == transaction_id]['payment_date'].values[0]}

4. Beskriv verktygsanvändningen:

   • Tillhandahåll ett JSON-schema för att beskriva verktygets funktioner:

     1tools = [
     2    {
     3        'type': 'function',
     4        'name': 'retrieve_payment_status',
     5        'description': 'Hämtar betalningsstatus för en given transaktions-ID',
     6        'parameters': [
     7            {'name': 'data', 'type': 'object', 'description': 'Transaktionsdata'},
     8            {'name': 'transaction_id', 'type': 'string', 'required': True, 'description': 'Transaktions-ID'}
     9        ],
     10        'returns': {'type': 'object', 'description': 'Betalningsstatus'}
     11    },
     12    {
     13        'type': 'function',
     14        'name': 'retrieve_payment_date',
     15        'description': 'Hämtar betalningsdatum för en given transaktions-ID',
     16        'parameters': [
     17            {'name': 'data', 'type': 'object', 'description': 'Transaktionsdata'},
     18            {'name': 'transaction_id', 'type': 'string', 'required': True, 'description': 'Transaktions-ID'}
     19        ],
     20        'returns': {'type': 'object', 'description': 'Betalningsdatum'}
     21    }
     22]
     23
     24tools_dict = {
     25    'retrieve_payment_status': partial(retrieve_payment_status, df),
     26    'retrieve_payment_date': partial(retrieve_payment_date, df)
     27}

5. Interagera med Mr. Large 2-modellen:

   • Konfigurera Mistral AI-klienten och modellen:

     1client = MistralClient(api_key='your_api_key')
     2model = client.chat_model('mr-large-v2')

   • Initiera konversationen och låt modellen välja lämpligt verktyg:

     1messages = [{'content': 'Vad är statusen för min transaktion tx3?', 'role': 'user'}]
     2response = model.generate_response(messages, tools=tools)
     3print(response)

   • Modellen kommer att välja verktyget retrieve_payment_status, exekvera funktionen och generera det slutliga svaret:

     {'content': 'Din transaktion tx3 är markerad som betald.', 'role': 'assistant'}
     

Detta exempel visar hur Mr. Large 2-modellen kan integrera med externa funktioner eller verktyg för att tillhandahålla mer omfattande och korrekta svar. Modellen analyserar användarens fråga, väljer lämpligt verktyg och genererar sedan det slutliga svaret genom att kombinera verktygets utdata med sina egna språkgenereringsförmågor.

Du kan utöka detta exempel ytterligare genom att lägga till fler verktyg, hantera inbäddade verktygsanrop och utforska modellens andra förmågor, som flerspråkigt stöd och avancerade funktionsanropsförmågor.

Det verkar som om storleken på dessa stora språkmodeller (LLM) inte spelar lika stor roll som vi tror. Det handlar förmodligen mer om kvaliteten på data och skalningen av beräkningar, eftersom vi har en relativt liten modell jämfört med GPT-4 och den får bättre resultat än den modellen. Även Llama 3.17 miljarder parametrar-modellen ligger väldigt nära GPT-4 nu.

Du måste ge företag som OpenAI eller Anthropic kredit, eftersom de kan släp