Исследование возможностей LLAMA-3: RAG, маршрутизация и вызов функций

В этом разделе мы исследуем возможности LLAMA-3 в выполнении маршрутизации запросов и вызова функций. Мы будем использовать API Gro для загрузки моделей LLAMA-3 и тестирования их производительности на различных задачах.

Прежде всего, мы создадим два разных векторных хранилища: одно для разбиения документов на фрагменты и создания эмбеддингов, и другое для обобщения документов. Это позволит нам протестировать способность модели выбирать соответствующее векторное хранилище на основе запроса пользователя.

Затем мы рассмотрим производительность модели в маршрутизации запросов. Мы предоставим модели запросы, требующие либо конкретного извлечения фактов, либо обобщения документа, и понаблюдаем, как модель выбирает соответствующее векторное хранилище для генерации ответа.

Наконец, мы исследуем возможности модели по вызову функций. Мы будем использовать реализацию использования инструментов API Gro, чтобы позволить модели вызывать внешние функции, такие как получение результатов матчей НБА. Мы будем наблюдать, как модель решает, когда использовать внешнюю функцию, и как она интегрирует вывод функции в окончательный ответ.

На протяжении всего раздела мы будем сравнивать производительность версий LLAMA-3 с 38 миллиардами и 70 миллиардами параметров, выделяя улучшения в более крупной модели.

В этом разделе мы рассмотрим способность LLAMA-3 выполнять задачи маршрутизации запросов и вызова функций. Мы будем использовать статью "Synthetic Social Networking is Coming" из WGE в качестве источника данных для наших тестов.

Прежде всего, мы настраиваем необходимые компоненты, включая загрузку модели LLAMA-3 (как версии с 38 миллиардами, так и с 70 миллиардами параметров) с помощью API Gro, и создание двух векторных хранилищ: одного для разбиения документов на фрагменты и другого для обобщения.

Затем мы тестируем возможности модели по маршрутизации запросов, задавая вопросы, требующие извлечения конкретных фактов или обобщения всего документа. Версия LLAMA-3 с 70 миллиардами параметров демонстрирует превосходную производительность, предоставляя более точные и всеобъемлющие ответы по сравнению с версией с 38 миллиардами параметров.

Затем мы исследуем возможности LLAMA-3 по вызову функций, которые официально не поддерживаются, но могут быть реализованы с использованием функции использования инструментов Gro. Мы создаем системное сообщение, которое инструктирует модель использовать внешнюю функцию для получения результатов матчей НБА и включить названия команд и окончательные счета в ответ. Как версия LLAMA-3 с 38 миллиардами, так и версия с 70 миллиардами параметров успешно используют внешнюю функцию и предоставляют запрошенную информацию.

В целом, результаты показывают, что LLAMA-3 способен хорошо справляться с различными задачами RAG (Retrieval-Augmented Generation), при этом более крупная версия с 70 миллиардами параметров демонстрирует более сильные результаты во всех областях.

Модель LLAMA-3 с 70 миллиардами параметров демонстрирует значительно улучшенную производительность по сравнению с версией с 38 миллиардами параметров. Ключевые различия включают:

• Модель с 70 миллиардами параметров предоставляет гораздо более подробные и точные обобщения информации, упомянутой о компаниях, таких как Meta и OpenAI. Она способна синтезировать ключевые моменты, а не просто копировать предложения из исходного текста.

• Для более сложных запросов, включающих несколько частей, модель с 70 миллиардами параметров лучше справляется с маршрутизацией запросов - правильно определяя, какой из доступных источников данных (векторный индекс или индекс обобщения) наиболее актуален для ответа на вопрос.

• Когда ее спрашивают о темах, не связанных с доступными функциями инструментов, модель с 70 миллиардами параметров способна распознать это и предоставить обдуманный ответ, вместо попытки неуместного вызова инструмента, как это делает модель с 38 миллиардами параметров.

В целом, увеличение масштаба модели LLAMA-3 с 70 миллиардами параметров приводит к существенно более сильным возможностям понимания языка и рассуждений, позволяя ей более эффективно справляться с более тонкими и открытыми запросами. Увеличение размера модели, похоже, является ключевым фактором, обеспечивающим эти улучшения производительности.

LLAMA-3 официально не поддерживает вызов функций, но API Grok предоставляет реализацию для использования инструментов, что позволяет языковой модели использовать внешние инструменты для ответа на сложные запросы.

Основные шаги этого процесса следующие:

1. Определение инструмента: Системное сообщение включает подробное описание доступного инструмента, включая его входные и выходные параметры. Это позволяет языковой модели определить, какой инструмент использовать для данного запроса.

2. Выбор инструмента: Когда пользователь задает вопрос, языковая модель сначала проверяет, нужно ли ей использовать внешний инструмент. Если да, она выбирает соответствующий инструмент на основе контекста запроса.

3. Вызов инструмента: Языковая модель вызывает выбранный инструмент, передавая необходимые входные параметры. Ответ инструмента затем передается обратно в языковую модель.

4. Генерация окончательного ответа: Языковая модель использует информацию из ответа инструмента для генерации окончательного ответа для пользователя.

Такой подход позволяет LLAMA-3 использовать внешние возможности, такие как выполнение сложных вычислений или получение конкретных данных, чтобы предоставлять более точные и всеобъемлющие ответы на запросы пользователей.

Представленный пример демонстрирует, как LLAMA-3 может быть интегрирован с API Grok для ответа на вопросы о результатах матчей НБА. Модель способна выбрать соответствующий инструмент, вызвать функцию "получить результат матча" и затем использовать полученную информацию для генерации подробного ответа для пользователя.

В целом, эта интеграция LLAMA-3 с внешними инструментами расширяет возможности модели и позволяет ей справляться с более широким спектром запросов и задач.

Модели Lama 3, как версия с 38 миллиардами, так и версия с 70 миллиардами параметров, продемонстрировали впечатляющие возможности в различных задачах, таких как маршрутизация запросов и вызов функций. Способность модели точно определять соответствующее векторное хранилище или индекс обобщения на основе запроса пользователя демонстрирует ее сильное понимание контекста и релевантности.

В частности, 70-миллиардная модель превзошла более мелкую 38-миллиардную версию в более сложных запросах, предоставляя более подробные и точные ответы. Реализация функции вызова функций с использованием API Gro дополнительно подчеркивает гибкость модели и ее способность использовать внешние инструменты для расширения своих возможностей.

В целом, модели Lama 3 зарекомендовали себя как мощные языковые модели, способные эффективно справляться с широким спектром задач. Полученные в ходе этого анализа выводы могут быть ценными для разработчиков и исследователей, работающих над аналогичными проектами, поскольку они исследуют потенциал крупных языковых моделей и их практические применения.