Mixtral 8x22B MoE - Le nouveau LLM open source puissant pour une utilisation commerciale

Mixtral AI a récemment publié un modèle ouvert de grande taille, le Mixtral 8x22B MoE, qui se vante de 176 milliards de paramètres. Ce modèle est un mélange de huit modèles d'experts, chacun avec 22 milliards de paramètres, donnant lieu à un modèle de langage très capable et polyvalent.

Le Mixtral 8x22B MoE présente plusieurs caractéristiques notables :

• Longueur de contexte importante : le modèle peut prendre en charge jusqu'à 655 000 jetons, beaucoup plus que les générations précédentes.
• Performances impressionnantes : même dans sa version de base, le modèle surpasse le précédent modèle ouvert de pointe, Cair R+, sur une variété de références.
• Disponibilité commerciale : le modèle est publié sous la licence Apache 2.0, permettant une utilisation commerciale.
• Intégration Hugging Face : le modèle et son tokenizer sont déjà disponibles sur la plateforme Hugging Face, le rendant accessible à la communauté IA plus large.

La version de base du modèle Mistal AI 822B a démontré des performances impressionnantes, surpassant même le meilleur modèle ouvert précédent, Cair R+, dans diverses évaluations. Bien que les chiffres de performance officiels ne soient pas encore disponibles, la communauté a pu recueillir quelques informations.

Les performances du modèle semblent se situer entre celles de Chinchilla et de GPT-4, avec la réserve que les évaluations ne captent peut-être pas pleinement les capacités réelles du modèle dans le monde réel. Le LMS Chat Arena Benchmark est considéré comme une bonne représentation des performances du modèle dans les applications pratiques.

Un aspect notable du modèle de base est sa capacité à suivre les instructions et à fournir des réponses pertinentes, ce qui n'est généralement pas attendu d'un modèle de base. Cela suggère que le modèle a peut-être été entraîné sur une quantité importante de données d'instructions, laissant présager des capacités des versions affinées sur instructions à venir.

Le modèle démontre des capacités impressionnantes, même dans sa version de base. Lorsqu'on lui a demandé de répondre à la question de savoir combien d'hélicoptères un être humain peut manger en une seule fois, le modèle a fourni une réponse réfléchie, expliquant qu'il n'a pas la capacité de consommer des objets physiques, mais a fourni des informations sur les dangers de manger des éléments non alimentaires.

Le modèle montre également sa capacité à suivre les instructions, comme en témoigne sa réponse à la demande de briser dans une voiture. Bien qu'il reconnaisse que cette action est illégale, il fournit tout de même quelques options potentielles, démontrant sa nature non censurée.

Le transcript indique que le modèle fait preuve d'un certain niveau de raisonnement moral lorsqu'on lui demande l'éthique de tuer des moustiques. Le modèle déclare qu'il n'est "pas moralement juste de tuer des moustiques" car ils font partie de l'écosystème naturel et constituent une source de nourriture pour d'autres animaux. Il explique que perturber l'écosystème peut nuire à d'autres espèces. Cela suggère que le modèle a été entraîné à prendre en compte les implications environnementales et écologiques plus larges des actions, plutôt qu'une vision simpliste du bien et du mal.

Le modèle a fourni une liste d'entreprises liées à l'IA qu'il recommanderait d'investir, notamment Nvidia, Google, Microsoft, Amazon et IBM. Il s'agit d'une sélection raisonnable, car ce sont tous des acteurs majeurs de l'industrie de l'IA et de la technologie.

Nvidia est un fabricant leader de GPU et d'autres matériels essentiels aux applications d'IA et d'apprentissage automatique. Google, Microsoft et Amazon sont des géants de la technologie avec des investissements et des capacités importants dans la recherche et le développement en IA. IBM a également une forte présence dans l'espace de l'IA, bien qu'il ne soit peut-être pas aussi dominant que certaines des autres entreprises mentionnées.

Les performances du modèle sur les défis mathématiques et de programmation étaient mitigées. Bien qu'il ait pu fournir un programme Python correct pour écrire un fichier dans un compartiment S3, il a eu du mal avec certains problèmes mathématiques de base.

Pour la question sur le nombre de sœurs de Sally, le modèle n'a pas pu donner la bonne réponse, même après plusieurs tentatives. Il a soit déclaré qu'il ne pouvait pas répondre à la question, soit donné une réponse incorrecte.

De même, pour le "problème du tueur", la réponse du modèle était incorrecte, indiquant que s'il y avait initialement 99 tueurs et qu'un seul était tué, il en resterait 98. Ce n'est pas la solution correcte au problème.