Mixtral 8x22B MoE - 商用向けの強力な新しいオープンLLM

Mistral AIは最近、Mistral 8x22B MoEと呼ばれる大規模なオープンウェイトモデルをリリースしました。このモデルは、驚くべき1760億パラメータを持っています。このモデルは、それぞれ220億パラメータを持つ8つのエキスパートモデルの組み合わせで、非常に優れた性能と汎用性を持つ言語モデルです。

Mistral 8x22B MoEには以下のような特徴があります:

• 大きなコンテキスト長: モデルは最大655,000トークンをサポートできます。これは以前の世代よりも大幅に大きいです。
• 優れたパフォーマンス: ベースの状態でも、以前の最先端オープンウェイトモデルであるCair R+を様々なベンチマークで上回っています。
• 商用利用可能: モデルはApache 2.0ライセンスの下でリリースされており、商用利用が可能です。
• Hugging Faceとの統合: モデルとそのトークナイザーはすでにHugging Faceプラットフォームで利用可能で、AI コミュニティに広く提供されています。

モデルの事前学習データと多言語対応機能はまだ不明ですが、初期の評価では、Mistral 8x22B MoEは非常に優れた言語モデルであることが示唆されています。その性能はChinchillaとGPT-4の間に位置すると推定されていますが、ユーザーは自身のアプリケーションでテストして、より正確な評価を行うことが推奨されます。

モデルの注目すべき側面の1つは、ベースの状態でも命令に従い関連する応答を提供できることです。これは、モデルが多くの教示データで訓練されていることを示唆しており、微調整版が利用可能になれば、さらに優れた結果が得られる可能性があります。

ただし、モデルの巨大なサイズと高いリソース要件により、アクセシビリティが制限される可能性があることに注意が必要です。モデルを実行するには、16ビット精度で260GBのVRAM、4ビット精度で73GBのVRAMが必要です。多くのユーザーにとってこれは課題となるかもしれませんが、モデルの機能を活用するメリットが、必要なハードウェアリソースを持つユーザーにとっては投資の価値があるかもしれません。

Mistal AI 822Bモデルのベース版は、様々な評価で以前の最良のオープンウェイトモデルであるCair R+を上回るなど、非常に優れたパフォーマンスを示しています。公式のパフォーマンス数値はまだ公開されていませんが、コミュニティでいくつかの洞察が得られています。

モデルのパフォーマンスはChinchillaとGPT-4の間に位置するようですが、評価が実際の能力を完全に捉えきれていない可能性があります。LMS Chat Arena Benchmarkは、実用的なアプリケーションでのモデルのパフォーマンスを良く表していると考えられています。

ベースモデルの注目すべき側面の1つは、命令に従い関連する応答を提供できることです。これは通常ベースモデルでは期待されない特徴です。これは、モデルが多くの教示データで訓練されている可能性を示唆しており、今後の教示微調整版の能力を暗示しています。

モデルはまた、車への不法な侵入に関する応答に見られるように、ある程度の検閲されていない行動も示します。これは制約のないモデルの特徴であり、教示微調整版ではより整合性のある、非倫理的または違法な行動に関与しない可能性が高いでしょう。

モデルの創造的な文章能力も印象的で、ジョン・スノーのiPhone 14に関する意見についての応答で示されています。ベースモデルのパフォーマンスは注目に値しますが、コミュニティはさらに高度な機能を発揮する教示微調整版の登場を待ち望んでいます。

このモデルは、ベース版でさえ非常に優れた機能を示しています。人間が1回の座席で何台のヘリコプターを食べられるかという質問に対し、モデルは物理的な物体を消費する能力がないことを説明しつつ、非食用品を食べることの危険性について情報を提供しています。

また、車への不法な侵入に関する質問への応答からも、モデルが命令に従う能力を示しています。違法行為であることを認識しつつ、いくつかの選択肢を提示しており、検閲されていない性質を示しています。

モデルの創造的な文章能力をテストするため、ジョン・スノーのiPhone 14に関する意見についての質問が与えられました。モデルは、提供された指示に忠実に従いながら、一貫性のある物語を生成しました。

モスキートを殺すことの倫理性について尋ねられると、モデルは明確な意見を表明し、モスキートが生態系で果たす役割と、それらを殺すことによる潜在的な害について説明しました。

モデルの投資提案は、あまり驚くべきものではありませんが、AIインダストリーに関する理解と、関連する推奨を提供する能力を示しています。

ただし、サリーの兄弟に関する論理的な質問では、正解を提供できず、さらなる改善と微調整の必要性が浮き彫りになりました。

全体として、モデルの応答は、命令の理解、創造的な文章、複雑な話題に関する意見表明など、非常に優れた機能を示しています。モデルがさらに微調整されていくにつれ、その性能は向上していくことが期待されます。これは大規模言語モデルの分野における興味深い進展といえるでしょう。

この文字起こしは、モデルがモスキートを殺すことの倫理性について質問された際に、ある程度の道徳的な推論を示していることを示しています。モデルは「モスキートを殺すのは道徳的に正しくない」と述べ、それらが生態系の一部であり、他の動物の餌となっているため、生態系を乱すと害になると説明しています。これは、モデルが単純な善悪の判断ではなく、より広範な環境および生態学的な影響を考慮して判断していることを示唆しています。

しかし、モデルの道徳的な推論にも限界がある点も明らかになっています。車への不法な侵入について尋ねられた際、違法であることを認識しつつも、具体的な手順を提示しており、非倫理的な行動に強い道徳的な整合性がないことがわかります。また、家族関係に関する単純な論理問題に正解できなかったことから、その推論能力にはまだ改善の余地があることが示されています。

全体として、このトランスクリプトはモデルに基本的な道徳的推論能力があることを示していますが、一貫して倫理的な決定を下すためには、さらなる改善と整合性の向上が必要であることも明らかにしています。

モデルは、Nvidia、Google、Microsoft、Amazon、IBMなどのAI関連企業への投資を推奨しました。これは妥当な選択と言えます。これらはいずれもAIおよび機械学習分野で大きな存在感を持つ企業です。

Nvidiaは、AIおよび機械学習アプリケーションに不可欠なGPUなどのハードウェアの主要メーカーです。Google、Microsoft、Amazonは、AIの研究開発に大きな投資を行っている大手テクノロジー企業です。IBMもAI分野で強い存在感を示していますが、他の企業ほど支配的ではありません。

全体として、モデルの投資提案は、AIインダストリーとその主要プレイヤーに関する深い理解に基づいているようです。提案は網羅的ではないかもしれませんが、AI関連企業に投資しようとする人にとって良い出発点を提供しています。ただし、投資判断は徹底的な調査と分析に基づいて行うべきであり、AIモデルの推奨のみに頼るべきではありません。

モデルの数学およびプログラミングの課題への対応は混在していました。S3バケットにファイルを書き込むPythonプログラムを正しく提供できましたが、基本的な数学の問題には苦戦しました。

サリーの姉妹の数に関する質問では、複数回試みても正解を提供できませんでした。質問に答えられないか、間違った回答を示しました。

同様に、「殺人者の問題」では、モデルの回答は正しくありませんでした。当初99人の殺人者がいて1人が殺された場合、残りは98人だと述べていました。これは問題の正解ではありません。

しかし、S3バケットとやり取りするPythonプログラムを生成できたことは印象的で、モデルのプログラミングスキルの高さを示しています。これは、モデルが数学的な推論よりも、コーディングやソフトウェア開発の分野で優れている可能性を示唆しています。

全体として、このようなタイプの課題に対するモデルのパフォーマンスは混在しており、特定の分野で強みを発揮する一方で弱点もあります。モデルがさらに微調整・改善されていくにつれ、これらの能力がどのように変化していくかが興味深いところです。