שחרר את הכוח של LLaMA 405b: הגבול הפתוח-מקור בבינה מלאכותית

הדגמים האחרונים שלנו מרחיבים את אורך ההקשר באופן מובנה ל-128 אלף, לעומת 8 אלף בעבר. עלייה משמעותית זו בחלון ההקשר מאפשרת למודלים שלנו לטפל ביעילות רבה יותר במשימות בעלות צורה ארוכה, כגון סיכום טקסט ארוך, סוכני שיחה רב-לשוניים, וסיוע בקידוד.

בנוסף להרחבת ההקשר, Llama 3.1 תומך כעת בשמונה שפות באופן מובנה, מאפשר יישומים מגוונים ורב-לשוניים יותר. הדגם הדגל בעל 405 מיליארד פרמטרים, Llama 3.1 405b, נחשב למודל בסיס בקוד פתוח מוביל בתעשייה, מתחרה ביכולות של המודלים הסגורים הטובים ביותר.

שחרור המודל החדש הזה מעצים את הקהילה לפתוח זרמי עבודה חדשים, כגון יצירת נתונים סינתטיים והפחתת מודלים. על ידי ניצול יכולות Llama 3.1 405b, מפתחים יכולים ליצור סוכנים מותאמים אישית שלהם ולחקור סוגים חדשים של התנהגות סוכנית. אנו גם מחזקים את המערכת האקולוגית עם כלי אבטחה וביטחון חדשים, כולל Llama Guard 3 ו-Prompt Guard, כדי לסייע בבניית אחריות.

כדי לתמוך עוד יותר בקהילה, אנו משחררים בקשה להערות על Llama Stack API, ממשק מתוקנן שיקל על פרויקטים של צד שלישי להשתמש במודלי Llama. גישה זו המתמקדת במערכת האקולוגית נועדה להעצים מפתחים ולאפשר אימוץ נרחב של יכולות מתקדמות אלה.

Meta שחררה את Llama 3.1, מודל בעל 405 מיליארד פרמטרים שנחשב לחדשני ביותר ויכול להתחרות במיטב המודלים הסגורים. זהו ציון דרך משמעותי עבור הקהילה של קוד פתוח, שכן הוא מוכיח שמודלי קוד פתוח יכולים כעת להתחרות במודלים הפרופריטריים המתוחכמים ביותר.

ההדגשים העיקריים של Llama 3.1 405b כוללים:

• גמישות ושליטה חסרות תקדים: המודל מציע יכולות מתקדמות המתחרות במיטב המודלים הסגורים, מאפשר זרמי עבודה חדשים כגון יצירת נתונים סינתטיים והפחתת מודלים.
• הרחבת אורך ההקשר: המודל תומך כעת באורך הקשר של עד 128 אלף אסימונים, עלייה משמעותית מ-8 אלף בעבר.
• תמיכה רב-לשונית: Llama 3.1 תומך ב-8 שפות, מאפשר יישומים מגוונים יותר.
• שיפור ביצועים: בדיקות ביצועים מראות ש-Llama 3.1 405b עולה על GPT-4 במגוון משימות, כולל ידע כללי, היגררות, מתמטיקה, שימוש בכלים, ותרגום רב-לשוני.
• גישה מבוססת מערכת אקולוגית: Meta הופכת את Llama למערכת אקולוגית על ידי אספקת רכיבים וכלים נוספים, כולל מערכת ייחוס, כלי אבטחה וביטחון, ובקשה להערות על Llama Stack API.
• תמיכה רחבה במערכת האקולוגית: Llama 3.1 נתמך על ידי מגוון רחב של שותפים, כולל AWS, Nvidia, Databricks, Google Cloud ואחרים, מבטיח אימוץ והטמעה נרחבים.

שחרור Llama 3.1 405b הוא צעד משמעותי קדימה עבור הקהילה של קוד פתוח בתחום הבינה המלאכותית, שכן הוא מוכיח שמודלי קוד פתוח יכולים כעת להתחרות במיטב האלטרנטיבות הסגורות. זהו עדות לעבודה הקשה והמסורה של צוות Meta, והוא בוודאי יהיה בעל השפעה ארוכת טווח על תעשיית הבינה המלאכותית.

Llama 3.1 הוא מודל פורץ דרך בקוד פתוח שיש לו פוטנציאל להתחרות בראש המודלים הסגורים של בינה מלאכותית. עם 405 מיליארד פרמטרים, זהו המודל הפתוח המתוחכם ביותר שהושק עד כה.

מודל זה מציע יכולות מתקדמות בידע כללי, היגררות, מתמטיקה, שימוש בכלים, ותרגום רב-לשוני. הוא מסוגל להתחרות ולעתים אף לעבור את ביצועי GPT-4, המודל האחרון של OpenAI.

שחרור Llama 3.1 הוא ציון דרך משמעותי עבור הקהילה של קוד פתוח, שכן הוא מוכיח שמודלי קוד פתוח יכולים כעת להתאים את יכולות העמיתים הסגורים. זוהי עדות לעבודה הקשה והמסורה של צוות Meta, שדחפו את הגבולות של מה שאפשרי עם בינה מלאכותית בקוד פתוח.

אחת התכונות המפתח של Llama 3.1 היא גמישותו ושליטתו. ניתן להתאים אישית ולהדריך את המודל למגוון רחב של יישומים, מאפשר למפתחים לפתוח זרמי עבודה חדשים כגון יצירת נתונים סינתטיים והפחתת מודלים.

בנוסף, המערכת האקולוגית של Llama מורחבת עם רכיבים וכלים חדשים, כולל מערכת ייחוס, כלי אבטחה וביטחון, ובקשה להערות על Llama Stack API. גישה זו המתמקדת במערכת האקולוגית נועדה להעצים מפתחים ליצור סוכנים מותאמים אישית שלהם וסוגים חדשים של התנהגות סוכנית.

שחרור Llama 3.1 הוא צעד משמעותי קדימה עבור הקהילה של קוד פתוח בתחום הבינה המלאכותית, והוא בוודאי יהיה בעל השפעה ארוכת טווח על התעשייה בכללותה.

כחלק משחרור האחרון, Meta מציגה גרסאות משודרגות של המודלים Llama בעלי 8 מיליארד פרמטרים ו-70 מיליארד פרמטרים. המודלים החדשים האלה הם רב-לשוניים ובעלי אורך הקשר משמעותית ארוך יותר של עד 128 אלף אסימונים. הם גם מציגים יכולות שימוש בכלים מתקדמות, שהן כעת טובות יותר מכל המודלים הסגורים בשוק, כולל Cohere של Anthropic.

בנוסף, המודלים המשודרגים האלה מציגים יכולות סיבתיות חזקות יותר, מאפשרים תמיכה ביישומים מתקדמים כגון סיכום טקסט ארוך, סוכני שיחה רב-לשוניים, וסיוע בקידוד. זוהי התפתחות מרגשת, שכן היא מאפשרת למודלים הקטנים האלה להתחרות ביעילות רבה יותר עם המודלים הסגורים והגדולים יותר.

ביצועי המודלים המשודרגים האלה נבדקו על פני 150 ערכות נתוני בדיקה המקיפות מגוון רחב של שפות. התוצאות מראות שמודלי Llama הקטנים כעת תחרותיים עם מודלים סגורים ופתוחים דומי גודל פרמטרים, מדגימים את ההתקדמות המרשימה שנעשתה במערכת האקולוגית של Llama.

כדי לתמוך בהסקה בהיקף גדול של מודל בקנה מידה של 405 מיליארד פרמטרים, Meta יישמה מספר טכניקות מפתח:

1. כימות מודל: הם כימתו את המודלים שלהם מ-16 ביט ל-8 ביט, מפחיתים בכך את דרישות החישוב הנדרשות ומאפשרים למודל להריץ בתוך צומת שרת יחיד.

2. יישור לאחר אימון: בתהליך שלאחר האימון, Meta מייצרת מודלי צ'אט סופיים על ידי ביצוע מספר סבבים של יישור על גבי המודל המאומן מראש. זה כולל טכניקות כמו הדרכה מפוקחת, דגימת דחייה, ואופטימיזציה של העדפה ישירה כדי לשפר את יכולות המודל עוד יותר.

3. יצירת נתונים סינתטיים: Meta השתמשה ביצירת נתונים סינתטיים כדי לייצר את רוב הדוגמאות של ההדרכה המפוקחת, מבצעת מספר סבבים כדי ליצור נתונים סינתטיים באיכות גבוהה יותר בכל היכולות. זה מאפשר להם להרחיב את נתוני האימון מבלי להסתמך רק על מאגרי נתונים אמיתיים מוגבלים.

4. שותפויות במערכת האקולוגית: כדי להבטיח תמיכה רחבה בהטמעה בקנה מידה גדול, Meta עבדה עם שותפים כמו AWS, NVIDIA, Databricks ואחרים כדי לבנות תמיכה מהיום הראשון עבור מודלי Llama 3.1 על פני פלטפורמות והיקשרויות הסקה שונות.

על ידי יישום אסטרטגיות אלה, Meta שואפת להפוך את המודל החזק בעל 405 מיליארד הפרמטרים של Llama 3.1 נגיש לשימוש בהטמעה בקנה מידה גדול, מעצים את הקהילה הרחבה של בינה מלאכותית לנצל יכולות מתקדמות ללא הצורך בתשתית פנימית עצומה.

שחרור Llama 3.1 מסמן ציון דרך משמעותי בנוף הבינה המלאכותית בקוד פתוח. כחלק מעדכון זה, Meta מציגה את Llama Stack - מערך של ממשקים מתוקננים ובעלי דעה על רכיבי שרשרת הכלים הקנוניים, הדרכה מפוקחת, יצירת נתונים סינתטיים, ויישומים סוכניים.

המטרה של Llama Stack היא לקדם יכולת תפעול הדדית קלה יותר בתוך מערכת האקולוגית של Llama, בשונה ממודלים סגורים שבהם הממשקים לעתים קרובות פרופריטריים. על ידי הגדרת ממשקים תקניים אלה, Meta מקווה שהם יאומצו ברחבי הקהילה, מאפשרים למפתחים להתאים