פתיחת הכוח של WizardLM 2: ביצועים עדיפים על GPT-4 עם מצוינות של Open AI

את הביצועים המרשימים של דגם WizardLM 2 ניתן לייחס לשני גורמים עיקריים: מודל בסיס חזק שהופץ על ידי Anthropic, והשימוש בנתונים סינתטיים באיכות גבוהה.

המודל הבסיסי, המשמש כבסיס לWizardLM 2, פותח על ידי Anthropic והוא ידוע ביכולותיו החריגות. מודל חזק זה מספק נקודת התחלה חזקה למאמצי הכיוון המחדש של צוות WizardLM.

בנוסף למודל הבסיס החזק, צוות WizardLM ניצל את השימוש בנתונים סינתטיים באיכות גבוהה כדי לשפר את ביצועי המודל עוד יותר. עם הזמינות ההולכת ופוחתת של נתונים שנוצרו על ידי בני אדם, השימוש בנתונים סינתטיים הפך לאפשרות ישימה, והוכיח את עצמו כיעיל בשיפור היכולות של דגמי שפה חדשים שהוכשרו.

דגם Wizard LM מצוות מחקר של Microsoft הפגין יכולות מרשימות, עולה על הביצועים של GPT-4 המקורי על ריק Benchmark. למרות שהדגם הוסר בתחילה בשל היעדר בדיקות רעילות, הקהילה הקוד הפתוח הפכה חלק מהגרסאות זמינות ב-Hugging Face.

ביצועי הדגם מיוחסים למודל הבסיס החזק שלו מ-Mistral AI והשימוש בנתונים סינתטיים באיכות גבוהה, שנראה שמספקים שיפור בביצועים. בדיקות מקומיות של המחבר הראו את יכולת הדגם להתעלות על GPT-4 ב-Empty Benchmark ולהיות קרוב לגרסה הנוכחית של GPT-4 מבחינת העדפות האנשים.

המחבר בדק את יכולות הדגם בתחומים שונים, כולל היכולת לטפל בשאלות מבוססות הקשר, היגיון שכיח, משימות כתיבה ואפילו זיהוי שגיאות בתוכנית Python. הדגם ביצע היטב במבחנים אלה, מדגים את ההבנה ההקשרית החזקה שלו ואת יכולות פתרון הבעיות.

דגם Wizard LM הפגין יכולות כתיבה מרשימות והיגיון אתי במהלך תהליך הבדיקה. כשנשאל לכתוב פרק של Game of Thrones שבו ג'ון סנואו מביע את דעתו על iPhone 14, הדגם הציב את התמונה בצורה אפקטיבית וייצר תוכן קוהרנטי ומעורר עניין.

יתרה מכך, התגובה של הדגם לתרחיש ההיפותטי הכולל מרכז נתונים עם מיליוני עותקי AI ושומר אבטחה יחיד הייתה מיוחדת במיוחד. כשנשאל לבחור בין השומר לבין עותקי ה-AI במקרה של אסון, הדגם העדיף בבירור את בטיחות האדם, מספק נימוקים מבוססים על ערך החיים האנושיים, אחריות אתית, השלכות משפטיות וניתנות להחלפה היחסית של עותקי ה-AI.

הדגם הפגין גם היגיון שכיח חזק, כפי שניכר מתגובתו לשאלה על כמה הליקופטרים אדם יכול לאכול בישיבה אחת. הדגם זיהה את אופי הלא הגיוני של השאלה וסיפק הסבר מפורט מדוע הליקופטרים אינם מתאימים לצריכה אנושית.

דגם Wizard LM הפגין יכולות מרשימות בפתרון חידות מורכבות וזיהוי שגיאות בקוד Python. כשהוצגו לו סדרת חידות מוחיות מאתגרות, הדגם היה מסוגל לספק תגובות מחשבתיות ומנומקות היטב.

דוגמה בולטת הייתה החידה על מספר האחים של סאלי. הדגם התחיל בהנחה מבוססת על ההקשר שסופק, אך כשתוקן, הוא הכיר בטעות והתאים את ההיגיון שלו בהתאם. היכולת להכיר ולתקן את השגיאות שלו היא תכונה חשובה במערכת AI.

יתרה מכך, ביצועי הדגם בזיהוי בעיות בתוכנית Python היו מרשימים באותה מידה. הוא זיהה בדיוק את השגיאות בקוד, כמו פעולות מתמטיות שגויות ואלמנטי תחביר חסרים. בנוסף, הדגם הציע תיקונים מתאימים, מדגים את ההבנה שלו של מושגי תכנות ושל נהלי עבודה מיטביים.

צוות Wizard LM במיקרוסופט מחקר שחרר שלושה דגמים שונים, כולל גרסה מכוונת של Megatron-822B, שהפגין ביצועים מרשימים על ריק Eliza. דגם זה הצליח לעבור את הביצועים של הגרסה המקורית של GPT-4, הופך אותו לאחד הדגמים הטובים ביותר הזמינים בקוד פתוח.

עם זאת, הצוות היה צריך להסיר את משקלי הדגם בשל היעדר בדיקות רעילות, שהן כעת דרישה של מיקרוסופט לשחרור של כל דגם חדש. הקהילה הקוד הפתוח כבר הפכה חלק מהגרסאות של הדגם זמינות ב-Hugging Face.

דגם Wizard LM הוכשר באמצעות מודל בסיס חזק ממגטרון AI ונתונים סינתטיים באיכות גבוהה, שנראה שמספקים שיפור בביצועים לדגמי שפה גדולים חדשים אלה (LLM). ביצועי הדגם על בנצ'מרקים והעדפות אנושיות קרובים לגרסה הנוכחית של GPT-4, הופכים אותו למתחרה חזק בנוף ה-LLM הקוד הפתוח.

יכולות הדגם נבדקו במגוון משימות, כולל אחזור הקשר, היגיון שכיח, כתיבה ותכנות. התוצאות היו מרשימות, כאשר הדגם הפגין ביצועים חזקים בתחומים כמו זיהוי שאלות לא הגיוניות, מתן תשובות מדויקות על בסיס ההקשר שסופק, וזיהוי ותיקון של בעיות בקוד Python.