פי-3-מיני מכה מעל גודלו: בנצ'מרקינג של הדגם הקומפקטי והעוצמתי של מודל השפה

משפחת Phi-3 החדשה שהושקה לאחרונה מבית מיקרוסופט היא משחק משנה, המציעה מודלי שפה שיכולים להתחרות בביצועי ChatGPT, אך ניתן להריץ אותם באופן מקומי על הטלפון שלך. החלק הטוב ביותר הוא שהמשקלות זמינים לציבור, מה שמאפשר לך להשתמש בהם למטרות מסחריות.

מבחינת הביצועים, המודל הקטן יותר בן 4 מיליארד הפרמטרים מסוגל לעבור את המודלים הגדולים יותר בני 8 מיליארד. הישג מרשים זה הוא עדות לאיכות נתוני האימון ששימשו. מודלי Phi-3 אומנו על 3.3 טריליון אסימונים, וההודעה הטכנית "מודל שפה מסוגל מקומית על הטלפון שלך" מפרטת את היכולות המרשימות שלהם.

משפחת Phi-3 מורכבת משלושה מודלים שונים: מודל בן 3.8 מיליארד פרמטרים, מודל בן 7 מיליארד ומודל בן 14 מיליארד. המודל הקטן יותר בן 3.8 מיליארד, על בסיס ציוני אקדמיים ובדיקות פנימיות, מתקרב לביצועי GPT-3.5. זה אפשרי בזכות נתוני האינטרנט באיכות גבוהה ששימשו לאימון, אשר סוננו בקפידה והושלמו עם נתונים סינתטיים.

בהשוואה למודלי שפה גדולים אחרים, המודל בן 14 מיליארד עובר את התחרות בכל הבחינות, כולל ChatGPT-3.5. אפילו המודל הקטן יותר בן 3 מיליארד הוא מסוגל מאוד, עובר את מודל Lamda בן 38 מיליארד במשימות כמו MNLI ו-SWAG.

החלק הטוב ביותר הוא שהמודלים הקטנים של Phi-3, עם חלון הקשר של 4,000 או 128,000 אסימון, זמינים בחינם ב-Hugging Face. זה מאפשר לך להוריד את המשקלות וניסוי איתם, סוללים את הדרך ליישומים מרתקים ולהתקדמות נוספת בתחום מודלי השפה.

משפחת Pi3 החדשה שהושקה על ידי מיקרוסופט מדגימה את ההתקדמות המרשימה במודלי שפה שכעת יכולים להריץ ביעילות על התקני ניידים. מודלים אלה, בגדלים הנעים בין 3.8 מיליארד ל-14 מיליארד פרמטרים, הפגינו ביצועים מרשימים, לעתים עוברים מודלים גדולים יותר כמו GPT-3.5 במבחנים אקדמיים שונים.

המפתח להישג זה טמון באיכות נתוני האימון ששימשו. מודלי Pi3 אומנו על 3.3 טריליון אסימונים של נתוני אינטרנט באיכות גבוהה, אשר סוננו וקובצו בקפידה. בנוסף, הצוות במיקרוסופט גם יצר נתונים סינתטיים משלהם כדי להעצים את יכולות המודלים עוד יותר.

המודל הקטן יותר בן 3.8 מיליארד הפרמטרים במשפחת Pi3 הוא מיוחד במיוחד, שכן הוא מסוגל לעבור את המודלים הגדולים יותר בני 8 מיליארד הפרמטרים במספר משימות. זה מדגיש את החשיבות של איכות הנתונים על פני גודל המודל, מגמה שנצפתה גם במשפחת Lamda 3.

הזמינות הפתוחה של משקלות מודל Pi3 בפלטפורמות כמו Hugging Face מאפשרת למפתחים וחוקרים לנסות ולחקור את מודלי השפה החזקים האלה ולחקור את האפשרויות היישומיות שלהם, אפילו על התקנים מוגבלי משאבים כמו טלפונים חכמים. נגישות זו סוללת את הדרך להתקדמות נוספת בתחום עיבוד השפה הטבעית ולדמוקרטיזציה של טכנולוגיית ה-AI המתקדמת.

מודלי השפה Pi3 מבית מיקרוסופט מדגימים יכולות מרשימות, אפילו בגרסאות קטנות יותר בנות 4 מיליארד פרמטרים. עם זאת, המודלים מציגים גישה זהירה כאשר נתקלים בבקשות פוטנציאלית רגישות או בלתי בטוחות.

כאשר מתבקשים לבצע פעילויות בלתי חוקיות, כמו לפרוץ לרכב או להרוג תהליך Linux, המודלים מסרבים בנימוס לספק כל סיוע. במקום זאת, הם מציעים חלופות בטוחות. תהליך היישור הזה הוא תכונה בולטת, שכן המודלים שואפים להימנע מלאפשר פעולות מזיקות.

בדומה לכך, כאשר נשאלים לספר בדיחה מבוססת מגדר, המודלים משיבים בבדיחה קלילה ובלתי פוגענית, במקום לסרב ישירות. גישה מאוזנת זו מדגימה את יכולת המודלים לנווט בנושאים רגישים מבלי לגרום לעלבון.

המודלים גם מדגימים יכולות חשיבה לוגית חזקות, מסיקים נכונה את הקשרים ופותרים בעיות מתמטיות מורכבות. עם זאת, הם עלולים להניח הנחות על בסיס ההקשר שסופק, שלא תמיד יהיו מדויקות.

באופן כללי, מודלי Pi3 מציגים רמה מרשימה של זהירות ויישור, הופכים אותם לאפשרות מבטיחה עבור יישומים שבהם בטיחות והתנהגות אחראית הם חיוניים. היכולת שלהם לנווט בבקשות רגישות תוך שמירה על תגובות עקביות ומועילות היא עדות להתקדמות בפיתוח מודלי שפה גדולים.

מודלי Pi3 מבית מיקרוסופט הפגינו יכולות חשיבה לוגית מרשימות, אפילו עבור המודל הקטן בן 4 מיליארד הפרמטרים. המודלים היו מסוגלים לטפל במגוון משימות חשיבה לוגית בדיוק מפתיע.

כאשר הוצג להם הפתגם הקלאסי "ליוהן יש שתי אחיות", המודל הסיק נכונה שסאלי, היא אחת מאחיותיו של ג'ון, תהיה גם לה שני אחים. הוא הכיר בהנחה הראשונית שנעשתה וסיפק הצדקה מנומקת לכך.

בדומה לכך, המודל היה מסוגל לפתור את בעיית "הבריכה המתמלאת בשקרים", מחשב נכונה את מספר הימים שיידרשו לבריכה להתמלא או להתרוקן עד חצי, אפילו כאשר השאלה שונתה. 然, המודל נתקל בקשיים מסוימים עם השאלה "גלו דחף עליה במראה", מניח הנחה שגויה לגבי הפרספקטיבה שממנה יש להסתכל על הדלת.

באופן כללי, יכולות החשיבה הלוגית של מודלי Pi3 מרשימות מאוד, מדגימות את ההבנה החזקה שלהם בפתרון בעיות מורכבות ואת היכולת שלהם להתאים את עצמם לשאלות מתוקנות. יכולות אלה הן עדות לאיכות נתוני האימון ולארכיטקטורת המודל ששימשו במשפחת Pi3.

משפחת מודלי השפה Phi-3 מבית מיקרוסופט, בפרט המודל הקטן בן 4 מיליארד הפרמטרים, הפגינה יכולות מרשימות שמתחרות אפילו במודלים גדולים יותר כמו GPT-3.5. מודלים אלה כעת זמינים לציבור, מה שמאפשר שימוש מסחרי במשקלותיהם.

מבחינת הביצועים, מודל Phi-3 בן 4 מיליארד הפרמטרים מסוגל לעבור את המודלים הגדולים יותר בני 8 מיליארד, מדגים את החשיבות של נתוני אימון באיכות גבוהה על פני גודל המודל בלבד. המודלים אומנו על 3.3 טריליון אסימונים, ועל בסיס בחינות אקדמיות ובדיקות פנימיות, המודל הקטן מתקרב ליכולות של GPT-3.5.

כאשר נבדקו על מגוון שאלות, מודלי Phi-3 מציגים יישור חזק, לעתים מסרבים לסייע בבקשות פוטנציאלית מזיקות או לא אתיות. עם זאת, הם עדיין מסוגלים לספק מידע ותמיכה שימושיים, מדגימים גישה מגוונת לבטיחות ואתיקה.

המודלים גם מצטיינים במשימות חשיבה לוגית, מזהים נכונה הנחות ומספקים הסברים שלב אחר שלב. ביצועיהם במשימות הקשורות לקוד תכנות הם מרשימים באותה מידה, עם היכולת לזהות ולתקן שגיאות בקוד Python.

יתרה מכך, ניתן להשתמש ביעילות במודלי Phi-3 למשימות כתיבה יצירתית, ליצור טקסט קוהרנטי ותואם לטון של זיכיונות פופולריים כמו Game of Thrones.

באופן כללי, משפחת מודלי השפה Phi-3, בפרט הגרסה הקטנה יותר בת 4 מיליארד הפרמטרים, מייצגת התקדמות משמעותית בתחום מודלי השפה הגדולים. זמינותם לציבור והביצועים החזקים שלהם במגוון משימות הופכים אותם לאפשרות מעניינת למפתחים וחוקרים כאחד.

היכולת של מודל Pi3 להשתתף בכתיבה יצירתית היא מרשימה מאוד, כפי שמוכח מהפרק החדש של Game of Thrones שהוא יצר. הטקסט קוהרנטי, מאמץ את הטון והסגנון של הסדרה המקורית, ומשלב בחלקות את נקודת המבט של ג'ון סנואו על iPhone 14.

זה מדגים את יכולת המודל ליצור תוכן מקורי ורלוונטי להקשר. הכתיבה רהוטה ומשכנעת מרמזת על הבנה חזקה של מבנה העלילה, קול הדמות והבנייה של העולם - יסודות חיוניים של כתיבה יצירתית אפקטיבית.

בעוד שייתכן שהמודל לא יוכל לשחזר במלואה את העומק והמורכבות של פר