קטן אך עצום: חקירת דגם השפה הקטן בן 53

הדגם הלשוני בן 53 שפותח על ידי מיקרוסופט הוא הישג מרשים בתחום של דגמי שפה גדולים. למרות גודלו הקטן, הוא מתחרה בביצועים של דגמים גדולים הרבה יותר כמו GPT-3.5 ו-Megatron-LLM 8x7B בבנצ'מרקים שונים.

היתרונות העיקריים של דגם 53 כוללים:

1. טביעת רגל קטנה: הדגם המיני 53, שהוא הגרסה הקטנה ביותר, יכול להיות מכמת ל-4 ביטים ותופס רק 1.8 ג'יגה-בייט של זיכרון. זה הופך אותו לקל להטמעה במכשירים ניידים וסביבות אחרות עם משאבים מוגבלים.

2. ביצועים גבוהים: הדגם המיני 53 משיג ציון של 69% במבחן MMLU וציון של 8.38 במבחן EmptyBench, למרות גודלו הקטן. ביצועים אלה שקולים לאלה של דגמים גדולים הרבה יותר.

3. הדרכה יעילה: החוקרים שמאחורי דגם 53 פיתחו מתכון נתונים חדשני המשלב נתוני אינטרנט מסוננים בכבדות ונתונים סינתטיים. זה מאפשר להם להשיג תוצאות באיכות גבוהה עם דגם יחסית קטן.

4. ניתנות להתאמה: הדגם המיני 53 בנוי על מבנה בלוקים דומה למודל LLaMA, מה שאומר שחבילות שפותחו עבור משפחת הדגמים של LLaMA יכולות להיות מותאמות ישירות לדגם המיני 53.

5. הטמעה מקומית: החוקרים הצליחו להטמיע את הדגם המיני 53 על iPhone 14, להריץ אותו באופן מקומי ומנותק, ולהשיג יותר מ-12 אסימונים לשנייה, שנחשב לביצועים מקובלים.

6. פוטנציאל לעוזרים: הגודל הקטן והביצועים הגבוהים של דגם 53 הופכים אותו למועמד אידיאלי להנעת עוזרי בינה מלאכותית במכשירים ניידים, מעניקים למשתמשים גישה ליכולות שפה עוצמתיות בכל עת.

באופן כללי, דגם השפה 53 מייצג צעד משמעותי קדימה בפיתוח של דגמי שפה גדולים יעילים ומסוגלים שניתן להטמיע על מגוון רחב של מכשירים, פותח אפשרויות חדשות ליישומים ועוזרים מבוססי בינה מלאכותית.

הדגם המיני 53 הוא דגם שפה בעל 3.8 מיליארד פרמטרים שהודרך על 3.3 טריליון אסימונים. למרות גודלו הקטן, הוא מתחרה בביצועים של דגמים גדולים הרבה יותר כמו Mixl 8x7B ו-GPT-3.5 בבנצ'מרקים אקדמיים.

כמה פרטים טכניים עיקריים על דגם המיני 53:

• אורך הקשר ברירת המחדל של 4K אסימונים, עם גרסת קשר ארוך (53 מיני 128K) שמרחיבה זאת ל-128K אסימונים - אותו דבר כמו חלון ההקשר של GPT-4.
• בנוי על מבנה בלוקים דומה למודל LLaMA, תוך שימוש באותו אוצר מילים של 32,064 אסימונים.
• ניתן להכמת ל-4 ביטים, תופס רק 1.8 ג'יגה-בייט של זיכרון.
• נבדק והופעל באופן מקומי על iPhone 14, משיג יותר מ-12 אסימונים לשנייה - מהירות הסקה מקובלת לשימוש מקומי.
• בנצ'מרקים מראים שהדגם המיני 53 משיג 68.8% במשימת MMLU, עובר את הדגם LLaMA 3 Instruct בעל 8 מיליארד פרמטרים.
• חולשות ידועות כוללות ידע עובדתי מוגבל והגבלה רק לשפה האנגלית, אם כי המחברים מציעים שניתן להתמודד עם אלה באמצעות שילוב עם מנועי חיפוש ויצירת גרסאות ספציפיות לשפות.

באופן כללי, הדגם המיני 53 מדגים את הפוטנציאל של דגמי שפה מסוגלים מאוד להיות מוטמעים ביעילות על מגוון רחב של מכשירים, פותח אפשרויות חדשות לעוזרי בינה מלאכותית נפוצים.

דגם המיני 53, דגם שפה בעל 3.8 מיליארד פרמטרים, הוכח כמתחרה בביצועים של דגמים גדולים הרבה יותר כמו Megatron-LLM 8x7B ו-GPT-3.5. על פי מאמר המחקר, הדגם המיני 53 משיג ציון של 68.8% במבחן MMLU וציון של 8.38 במבחן EmptyBench, למרות גודלו הקטן.

המפתח לביצועים המרשימים של הדגם המיני 53 טמון באיכות הגבוהה של מערך הנתונים ששימש להדרכה. החוקרים סיננו באופן כבד נתוני אינטרנט והשתמשו בטכניקות יצירת נתונים סינתטיים כדי ליצור גרסה מוגדלת של מערך הנתונים ששימש עבור הדגם F2 הקודם. גישה זו מבוססת על נתונים אפשרה לדגם המיני 53 להשיג רמות איכות הנראות בדרך כלל רק בדגמים גדולים הרבה יותר.

בעוד שלדגם המיני 53 יש מגבלות מסוימות, כמו יכולת מופחתת לאחסן ידע עובדתי, החוקרים מאמינים שניתן להתמודד עם חולשות אלה באמצעות שימוש במנועי חיפוש ובכלים אחרים. על ידי הרחבת הדגם המיני 53 עם היכולת לגשת למקורות מידע חיצוניים ולבצע הסקה ספציפית למשימה, ניתן להתגבר על מגבלות הידע שלו ולספק דגם שפה מסוגל מאוד שניתן להטמיע באופן מקומי על מגוון רחב של מכשירים, כולל טלפונים חכמים.

הגודל הקטן והביצועים הגבוהים של הדגם המיני 53 הופכים אותו למועמד מבטיח להנעת עוזרי בינה מלאכותית ויישומים אחרים הדורשים הבנת שפה ויכולות יצירה על מכשירים עם משאבים מוגבלים. אופיו הקוד פתוח והתאימות שלו למשפחת הדגמים של LLaMA הופכים אותו גם לאפשרות מושכת עבור הקהילה הרחבה של בינה מלאכותית לנסות ולבנות עליו.

לדגם המיני 53 יש מספר מגבלות עיקריות, כפי שצוין בתמלול:

1. ידע עובדתי מוגבל: לדגם אין את הקיבולת לאחסן כמות גדולה של ידע עובדתי, כפי שמוכח מביצועיו הנמוכים במבחן Trivia QA.

   • פתרון פוטנציאלי: החוקרים מציעים שחולשה זו יכולה להיפתר על ידי הרחבת הדגם עם מנוע חיפוש, מאפשר לו לגשת למידע בזמן אמת לפי הצורך.

2. הגבלה לשפה: הדגם מוגבל בעיקר לשפה האנגלית, שעשוי להיות בעיה עבור דוברי שפות אחרות.

   • פתרון פוטנציאלי: החוקרים מציעים שניתן ליצור גרסאות שונות של הדגם עבור שפות שונות, במקום לארוז מספר שפות בתוך דגם אחד.

3. אתגרים עם לוגיקה ותהליכי הסקה מורכבים: הדגם התקשה במשימות הדורשות לוגיקה ותהליכי הסקה מורכבים, כמו כתיבת סקריפט Python עבור המשחק Snake.

   • פתרון פוטנציאלי: הדגם המיני 53 מתאים כנראה טוב יותר למשימות המבוססות יותר על ידע והבנת שפה, במקום על פתרון בעיות מורכבות. שילוב הדגם עם כלים וסוכנים חיצוניים שיכולים לטפל במשימות כאלה עשוי להיות דרך להתגבר על מגבלה זו.

באופן כללי, דגם המיני 53 מייצג הישג מרשים מבחינת גודלו הקטן וביצועיו הגבוהים במגוון בנצ'מרקים. על ידי התמודדות עם המגבלות שלו באמצעות הפתרונות המוצעים, הדגם יכול להפוך לכלי עוצמתי ורב-תכליתי אפילו יותר, בעיקר עבור יישומים הדורשים דגם שפה מסוגל מאוד על מכשירים עם משאבים מוגבלים.

דגם המיני 53, דגם שפה בעל 3.8 מיליארד פרמטרים מבית מיקרוסופט, נבדק. למרות גודלו הקטן, הדגם מציג ביצועים מרשימים במגוון משימות:

1. פלט סקריפט Python: הדגם מסוגל להפיק במהירות את המספרים 1 עד 100, מדגים את מהירותו ויעילותו.

2. משחק Snake בפייתון: בעוד שהדגם לא הצליח לכתוב את המשחק Snake בפייתון במלואו, זה מדגיש את המגבלות של הדגם בטיפול במשימות קידוד מורכבות. חוזקו של הדגם נמצא יותר במשימות מבוססות ידע והסקה.

3. לוגיקה והסקה: הדגם מבצע באופן מצוין במשימות לוגיקה והסקה, מספק הסברים ברורים וקצרים לשאלות על זמן ייבוש חולצה, מהירות יחסית ובעיות מתמטיקה בסיסיות.

4. שפה טבעית ל-JSON: הדגם ממיר בדיוק תיאור בשפה טבעית של אנשים ותכונותיהם לייצוג JSON מובנה היטב.

5. בעיית לוגיקה מאתגרת: הדגם מתקשה עם בעיית לוגיקה מורכבת יותר הכוללת כדור זכוכית בכוס במיקרוגל, ולא מספק את ההסבר הנכון.

6. בעיית לוגיקה קלה יותר: הדגם מטפל בבעיית לוגיקה פשוטה יותר על מיקום כדור, מזהה בצורה נכונה את האמונות הפרטניות של שני הדמויות.

7. **