גלה את הדגם 'מר גדול 2' החזק של מיסטרל: עולה על GPT-4 בבנצ'מרקים עיקריים

הדגם Mistral Large 2, שהושק לאחרונה על ידי Mistral, הוא מודל שפה עוצמתי המעבר את מודל 405B המתקדם ביותר בכמה מדדים חשובים. למרות שהוא קטן בהרבה בגודלו, עם רק 123 מיליארד פרמטרים לעומת 405 מיליארד, מודל Mistral Large 2 מציג יכולות מרשימות.

אחת מנקודות החוזק העיקריות של מודל Mistral Large 2 היא השיפור בביצועים בייצור קוד ובמשימות מתמטיקה/הסקה. הוא גם מספק תמיכה רב-לשונית חזקה הרבה יותר, עם יכולת לטפל בעד 80 שפות תכנות ותמיכה בשפות כמו צרפתית, גרמנית, ספרדית, איטלקית, פורטוגזית, ערבית, הינדי, רוסית, סינית, יפנית וקוריאנית.

תכונה בולטת נוספת של מודל Mistral Large 2 היא החלון הקשר המשופר של 128,000 אסימונים, המאפשר לו לטפל בהקשר ארוך יותר בהשוואה לשחרורים קודמים. זה הופך אותו מתאים במיוחד ליישומים בעולם האמיתי הדורשים טיפול בשיחות ארוכות ורב-שלביות.

המודל אומן גם תוך דגש על צמצום הנטייה להזיה, בעיה נפוצה עם מודלי שפה גדולים. הוא מצויד עכשיו טוב יותר להכיר כשאין לו מידע מספיק לספק תשובה בטוחה, מה שמפחית את הסיכון ליצירת מידע סביר אך שגוי או לא רלוונטי.

בנוסף, מודל Mistral Large 2 מצטיין בעקיבה אחר הוראות והיישור, מה שהופך אותו למועמד חזק ליישומים הדורשים ביצוע משימות מדויק וטיפול בהוראות מורכבות ורב-שלביות.

יכולות המודל בשימוש בכלים וקריאת פונקציות הן גם ראויות לציון. הוא יכול לבצע קריאות פונקציה מקבילות וסדרתיות, מה שמאפשר תיאום סוכנים ושיפור ביכולות אחזור, חיוניים לרבות מיישומים עסקיים ולארגונים.

בכללותו, מודל Mistral Large 2 מייצג התקדמות משמעותית בתחום מודלי שפה גדולים, המציע שילוב מרשים של ביצועים, יעילות וגמישות. שחרורו מדגיש את הקצב המהיר של ההתקדמות בנוף הבינה המלאכותית הקוד פתוח, מאתגר את ההגמוניה של מודלים פרופריטריים ומספק הזדמנויות חדשות למפתחים וחוקרים.

הדגם Mr Large 2 מ-Mistol עולה על הדגם 405b, שנחשב קודם לכן כאחד מהמודלים המתקדמים ביותר, הן עבור מודלים פרופריטריים והן עבור מודלים קוד פתוח. על פי הפוסט בבלוג, Mr Large 2 מסוגל הרבה יותר בייצור קוד, מתמטיקה והסקה. הוא גם מספק תמיכה רב-לשונית חזקה הרבה יותר ויכולות קריאת פונקציות מתקדמות.

למודל יש חלון הקשר של 128,000 אסימונים, תומך בהקשר הרבה יותר גדול בהשוואה לשחרורים מוקדמים יותר. הוא רב-לשוני, עם תמיכה בצרפתית, גרמנית, ספרדית, איטלקית, פורטוגזית, ערבית, הינדי, רוסית, סינית, יפנית וקוריאנית. בנוסף, הוא תומך ביותר מ-80 שפות תכנות.

מבחינת מדדי ביצועים, מודל Mr Large 2 שווה ל-GPT-4 ועולה על הדגם 405b ברוב המדדים, למרות שהוא רק שליש מגודלו של הדגם 405b (123 מיליארד פרמטרים לעומת 405 מיליארד).

אחד הנושאים המרכזיים במהלך האימון של Mr Large 2 היה לצמצם את הנטייה של המודל להזיה או ליצור מידע סביר אך שגוי או לא רלוונטי. זו הייתה בעיה משמעותית עם מודלי שפה גדולים, וניראה שMistol שם לב מקרוב לבעיה הזו, מה שהביא למודל עם הזיה מופחתת.

שיפור נוסף הוא בעקיבה אחר הוראות והיישור. על פי הפוסט בבלוג, מודל זה טוב יותר במיוחד בעקיבה אחר הוראות מדויקות וטיפול בשיחות ארוכות ורב-שלביות, מה שחיוני ליישומים בעולם האמיתי. מודלים קטנים נוטים לסבול בביצועים כשמדובר בשיחות ארוכות ורב-שלביות.

למודל יש גם יכולות משופרות בשימוש בכלים וקריאת פונקציות, שהן יישומים מעשיים עבור עסקים וארגונים. הוא יכול לבצע קריאות פונקציה מקבילות וסדרתיות, ואפילו עולה על GPT-4 ו-Chinchilla 3.5 במדדים המוקדשים לקריאת פונקציות, מה שהישג משמעותי.

חשוב לציין שבעוד שהמדדים מבטיחים, תמיד מומלץ לבצע הערכה עצמית ו"בדיקת תדר" עבור היישומים הספציפיים שלך, מכיוון שביצועי מודלים אלה יכולים להשתנות בהתאם לפרומפטים ולנתונים המשמשים לבדיקה.

אחד הנושאים המרכזיים במהלך האימון של Mr. Large 2 היה לצמצם את הנטייה של המודל להזיה או ליצור מידע סביר אך שגוי או לא רלוונטי. זו הייתה בעיה משמעותית עם מודלי שפה גדולים, אך היוצרים של Mr. Large 2 שמו לב מקרוב לבעיה הזו.

הם אספו נתוני אימון שבהם הזיית המודל צומצמה באופן ניכר. כתוצאה מכך, המודל החדש מאומן להכיר כשאין לו פתרונות או מידע מספיק לספק תשובה בטוחה.

שיפור נוסף ב-Mr. Large 2 הוא ביכולות העקיבה אחר הוראות והיישור שלו. על פי היוצרים, מודל זה טוב יותר במיוחד בעקיבה אחר הוראות מדויקות וטיפול בשיחות ארוכות ורב-שלביות. זהו שיפור משמעותי, מכיוון שמודלים קטנים נוטים לסבול בביצועים כשמדובר באינטראקציות ארוכות ורב-שלביות.

הצמצום המשופר של ההזיה והשיפור ביכולות העקיבה אחר הוראות של Mr. Large 2 צפויים להפוך אותו מתאים יותר ליישומים בעולם האמיתי, שם תגובות מדויקות ואמינות הן קריטיות.

הדגם Mr Large 2 מ-Anthropic משפר את היכולות שלו בשימוש בכלים וקריאת פונקציות. זה מאפשר למודל להתקשר עם כלים וקריאות פונקציה חיצוניים כדי לאסוף מידע ולבצע משימות, מה שהופך אותו מעשי יותר ליישומים בעולם האמיתי. התהליך פועל כך:

1. המודל LLM מנתח את שאילתת המשתמש ומחליט אם עליו להשתמש בכלי או לא. אם לא נדרש כלי, הוא יייצר תגובה ישירה.
2. אם המודל LLM יחליט להשתמש בכלי, הוא יבחר בכלי מתאים מרשימה מוגדרת מראש בהתאם למשימה בידיו.
3. המודל LLM יייצר את הקלטים הנדרשים עבור הכלי הנבחר.
4. קוד המשתמש יצטרך להפעיל את קריאת הכלי או הפונקציה ולהעביר את התגובה חזרה למודל LLM.
5. המודל LLM ישתמש בתגובת הכלי כדי לייצר את התפוקה הסופית עבור המשתמש.

פונקציונליות זו מאופשרת באמצעות סכמת JSON המתארת את הכלים הזמינים, את שמותיהם, תיאוריהם, פרמטרי הקלט והפלט הנדרשים. המודל LLM יכול לאזכר מידע זה כדי לקבוע את הכלי המתאים לשימוש ואיך להתקשר אליו.

הדגם Mr Large 2 הפגין ביצועים חזקים במדדים המתמקדים בקריאת פונקציות, אפילו עולה על GPT-4 ו-Chinchilla 3.5 במקרים מסוימים. זה מרמז שיכולות השימוש בכלים וקריאת הפונקציות של המודל הן שיפור משמעותי לעומת מודלי LLM קודמים.

בכללותו, היכולות המשופרות של הדגם Mr Large 2 בשימוש בכלים וקריאת פונקציות הופכות אותו לכלי מעשי ורב-תכליתי יותר ליישומים בעולם האמיתי, שבהם היכולת להתקשר עם נתונים וממערכות חיצוניות היא קריטית.

Mistral AI מפיצים את המודלים שלהם דרך ספקי API שונים, כולל Google, Microsoft, Amazon, Bedrock ו-IBM Watson. התמחור להשתמש בדגם Mr. Large 2 דרך הפלטפורמה שלהם נראה דומה לתמחור עבור הדגם 405B מספקים אחרים. 然, התמחור לפלט מפלטפורמת Mistral נראה יקר יותר במקצת בהשוואה לFireworks AI של Anthropic, שמציע $3 למיליון אסימונים עבור קלט ופלט עבור הדגם 405B. חשוב לשים לב שהתמחור עשוי להשתנות בהתאם לספק ה-API ודרישות השימוש הספציפיות. עסקים ומפתחים המעוניינים להשתמש בדגם Mr. Large 2 יצטרכו ליצור קשר עם Mistral AI כדי לקבל רישיון מסחרי, מכיוון שהמודל משוחרר תחת רישיון המחקר של Mistral ואינו זמין בחינם לשימוש מסחרי. בכללותו, הזמינות של דגם Mr. Large 2 דרך מספר ספקי API נותנת למשתמשים יותר אפשרויות לבחור מהן, אך התמחור עשוי להיות צריך להיות מוערך בקפידה בהתאם לצרכים והדפוסי השימוש הספציפיים של היישום.

כדי להדגים את יכולות קריאת הפונקציות של דגם Mr. Large 2, בואו נעב