Раскройте силу LLaMA 405b: открытый источник на передовой ИИ

Наши последние модели расширяют длину контекста до 128k токенов, что значительно больше, чем 8k токенов ранее. Это существенное увеличение окна контекста позволяет нашим моделям более эффективно справляться с задачами, требующими длинных текстов, такими как обобщение длинных текстов, многоязычные разговорные агенты и помощь в программировании.

Помимо расширенного контекста, Llama 3.1 теперь поддерживает восемь языков, что позволяет создавать более универсальные и многоязычные приложения. Флагманская модель с 405 миллиардами параметров, Llama 3.1 405b, считается ведущей открытой фундаментальной моделью, сопоставимой по возможностям с лучшими закрытыми моделями.

Этот новый выпуск модели дает сообществу возможность открывать новые рабочие процессы, такие как генерация синтетических данных и дистилляция моделей. Используя возможности Llama 3.1 405b, разработчики могут создавать свои собственные пользовательские агенты и исследовать новые типы агентского поведения. Мы также укрепляем экосистему с помощью новых инструментов безопасности и защиты, включая Llama Guard 3 и Prompt Guard, чтобы помочь в ответственном построении.

Meta выпустила Llama 3.1, модель с 405 миллиардами параметров, которая считается передовой и может конкурировать с лучшими закрытыми моделями. Это значительный этап для сообщества открытого исходного кода, поскольку он демонстрирует, что открытые модели теперь могут конкурировать с самыми сложными проприетарными моделями.

Основные особенности Llama 3.1 405b включают:

• Беспрецедентная гибкость и контроль: Модель предлагает передовые возможности, которые конкурируют с лучшими закрытыми моделями, открывая новые рабочие процессы, такие как генерация синтетических данных и дистилляция моделей.
• Расширенная длина контекста: Модель теперь поддерживает длину контекста до 128k токенов, что значительно больше, чем предыдущие 8k.
• Многоязычная поддержка: Llama 3.1 поддерживает 8 языков, что позволяет создавать более разнообразные приложения.
• Улучшенная производительность: Тесты показывают, что Llama 3.1 405b превосходит GPT-4 по ряду показателей, включая общие знания, управляемость, математику, использование инструментов и многоязычный перевод.
• Экосистемный подход: Meta превращает Llama в экосистему, предоставляя больше компонентов и инструментов, включая эталонную систему, инструменты безопасности и защиты, а также запрос на комментарии по API стека Llama.
• Широкая поддержка экосистемы: Llama 3.1 поддерживается широким кругом партнеров, включая AWS, Nvidia, Databricks, Google Cloud и других, что обеспечивает широкое распространение и интеграцию.

Выпуск Llama 3.1 405b является значительным шагом вперед для сообщества открытого исходного кода AI, поскольку он демонстрирует, что открытые модели теперь могут конкурировать с лучшими закрытыми альтернативами. Это свидетельствует о напряженной работе и преданности команды Meta, и, несомненно, окажет длительное влияние на ландшафт AI.

Как часть последнего выпуска, Meta представляет обновленные версии моделей Llama с 8 миллиардами и 70 миллиардами параметров. Эти новые модели являются многоязычными и имеют значительно более длинные контексты до 128k токенов. Они также обладают передовыми возможностями использования инструментов, которые теперь лучше, чем у любых закрытых моделей на рынке, включая Cohere от Anthropic.

Кроме того, эти обновленные модели имеют более сильные возможности рассуждения, что позволяет им поддерживать такие сложные варианты использования, как обобщение длинных текстов, многоязычные разговорные агенты и помощь в программировании. Это захватывающее развитие, поскольку оно позволяет этим меньшим моделям более эффективно конкурировать с более крупными закрытыми моделями.

Производительность этих обновленных моделей была оценена на 150 контрольных наборах данных, охватывающих широкий спектр языков. Результаты показывают, что меньшие модели Llama теперь конкурентоспособны как с закрытыми, так и с открытыми моделями аналогичного размера, что дополнительно демонстрирует впечатляющий прогресс, достигнутый экосистемой Llama.

Для поддержки крупномасштабного производственного вывода для модели с масштабом 405 миллиардов параметров Meta реализовала несколько ключевых методик:

1. Квантование модели: Они квантовали свои модели с 16-битной до 8-битной точности, эффективно снижая вычислительные требования и позволяя модели работать в пределах одного серверного узла.

2. Выравнивание после обучения: В процессе пост-тренировки Meta создает финальные чат-модели, проводя несколько раундов выравнивания поверх предварительно обученной модели. Это включает в себя такие методы, как контролируемая доводка, отбраковка выборки и прямая оптимизация предпочтений, чтобы дополнительно улучшить возможности модели.

3. Генерация синтетических данных: Meta использовала генерацию синтетических данных, чтобы создать большую часть своих примеров для контролируемой доводки, многократно итерируя, чтобы генерировать более качественные синтетические данные для всех возможностей. Это позволяет им масштабировать обучающие данные, не полагаясь только на дефицитные реальные наборы данных.

4. Партнерства в экосистеме: Чтобы обеспечить широкую поддержку крупномасштабного развертывания, Meta сотрудничала с партнерами, такими как AWS, NVIDIA, Databricks и другими, чтобы обеспечить поддержку моделей Llama 3.1 с первого дня на различных платформах и фреймворках для вывода.

Выпуск Llama 3.1 знаменует собой значительный этап в ландшафте открытого исходного кода AI. В рамках этого обновления Meta представляет Llama Stack - набор стандартизированных и обоснованных интерфейсов для построения канонических компонентов инструментальной цепочки, доводки, генерации синтетических данных и агентских приложений.

Цель Llama Stack - способствовать более легкой совместимости в экосистеме Llama, в отличие от закрытых моделей, где интерфейсы часто являются проприетарными. Определяя эти стандартные интерфейсы, Meta надеется, что они будут приняты в более широком сообществе, позволяя разработчикам легче настраивать и расширять модели Llama.

Некоторые ключевые компоненты Llama Stack включают:

1. Вывод в режиме реального времени и пакетный вывод: Стандартизированные интерфейсы для развертывания моделей Llama в производственных средах, поддерживающие как вывод в режиме реального времени, так и пакетный вывод.

2. Контролируемая доводка: Определенные интерфейсы для доводки моделей Llama на пользовательских наборах данных, позволяющие разработчикам адаптировать модели к своим конкретным потребностям.

3. Оценки: Стандартизированные фреймворки оценки для оценки производительности моделей Llama по широкому спектру контрольных наборов данных и задач.

Выпуск Llama 3.1 с 405-миллиардной параметрической моделью является значительной вехой в мире открытого исходного кода AI. Эта модель считается передовой и может конкурировать с лучшими закрытыми моделями, предоставляя сообществу беспрецедентный доступ к передовым возможностям AI.

Основные особенности этого выпуска включают:

• Llama 3.1 405b является крупнейшей на сегодняшний день открытой моделью, обученной на более чем 15 триллионах токенов с использованием 16 000 GPU H100.
• Модель демонстрирует конкурентоспособную производительность по широкому спектру контрольных наборов данных, часто превосходя мощную модель GPT-4.
• Более мелкие модели Llama, такие как версия с 8 миллиардами параметров, также значительно улучшили качество, что делает их жизнеспособной альтернативой для локального развертывания.
• Meta позиционирует Llama как экосистему, с введением API стека Llama и партнерствами с крупными технологическими компаниями, расширяя возможности разработчиков по созданию пользовательских агентов и приложений.
• Открытый характер Llama обеспечивает более широкий доступ к передовым возможностям AI, демократизируя технологию и предотвращая ее концентрацию в руках немногих.