Phi-3-Mini превосходит свои размеры: тестирование мощной компактной языковой модели

Новое семейство моделей Phi-3 от Microsoft является игрой-чейнджером, предлагая языковые модели, которые могут соперничать с производительностью ChatGPT, но могут работать локально на вашем телефоне. Лучшая часть заключается в том, что веса доступны публично, позволяя использовать их в коммерческих целях.

С точки зрения производительности, меньшая модель с 4 миллиардами параметров способна превзойти более крупные модели с 8 миллиардами. Это впечатляющее достижение является свидетельством качества используемых данных для обучения. Модели Phi-3 были обучены на 3,3 триллиона токенов, и технический отчет "Высокоэффективная языковая модель локально на вашем телефоне" подробно описывает их впечатляющие возможности.

Семейство Phi-3 состоит из трех разных моделей: модели с 3,8 миллиардами параметров, модели с 7 миллиардами и модели с 14 миллиардами параметров. Меньшая модель с 3,8 миллиардами параметров, основываясь на академических бенчмарках и внутреннем тестировании, приближается к производительности GPT-3.5. Это стало возможным благодаря высококачественным веб-данным, использованным для обучения, которые были тщательно отфильтрованы и дополнены синтетическими данными.

Семейство моделей Pi3 от Microsoft демонстрирует выдающийся прогресс в языковых моделях, которые теперь могут эффективно работать на мобильных устройствах. Эти модели, размером от 3,8 миллиарда до 14 миллиардов параметров, показали впечатляющую производительность, часто превосходя более крупные модели, такие как GPT-3.5, по различным академическим бенчмаркам.

Ключ к этому достижению заключается в качестве используемых данных для обучения. Модели Pi3 были обучены на огромном объеме 3,3 триллиона токенов высококачественных веб-данных, которые были тщательно отфильтрованы и отобраны. Кроме того, команда в Microsoft также сгенерировала собственные синтетические данные для дальнейшего улучшения возможностей моделей.

Особенно примечательна меньшая модель Pi3 с 3,8 миллиардами параметров, так как она способна превзойти более крупные модели с 8 миллиардами параметров по нескольким задачам. Это подчеркивает важность качества данных по сравнению с размером модели, тенденция, которая также наблюдалась с семейством Lamda 3.

Модели языковых моделей Pi3 от Microsoft демонстрируют впечатляющие логические возможности рассуждения, даже для меньшей модели с 4 миллиардами параметров. Модели справились с разнообразными задачами логического рассуждения с удивительной точностью.

Когда им был представлен классический пример "У Джона две сестры", модель правильно вывела, что Салли, будучи одной из сестер Джона, также будет иметь двух братьев. Она признала исходное предположение и предоставила хорошо обоснованное объяснение для него.

Аналогичным образом, модель смогла решить задачу "пруд, заполняющийся ложью", правильно рассчитав количество дней, необходимых для того, чтобы пруд был наполовину заполнен или наполовину опустошен, даже когда условие было изменено.

Семейство языковых моделей Phi-3 от Microsoft, особенно меньшая модель с 4 миллиардами параметров, продемонстрировало впечатляющие возможности, которые соперничают даже с более крупными моделями, такими как GPT-3.5. Эти модели теперь доступны публично, что позволяет использовать их веса в коммерческих целях.

С точки зрения производительности, 4-миллиардная модель Phi-3 способна превзойти более крупные 8-миллиардные модели, демонстрируя важность высококачественных данных для обучения по сравнению с простым размером модели. Модели были обучены на 3,3 триллиона токенов, и, основываясь на академических бенчмарках и внутреннем тестировании, меньшая модель приближается к возможностям GPT-3.5.

При тестировании на различных запросах модели Phi-3 демонстрируют сильное выравнивание, часто отказываясь помогать в потенциально вредных или неэтичных запросах. Тем не менее, они все еще способны предоставлять полезную информацию и руководство, демонстрируя нюансированный подход к безопасности и этике.

Способность модели Pi3 к творческому письму весьма впечатляет, о чем свидетельствует новая глава "Игры престолов", которую она сгенерировала. Текст связный, принимая тон и стиль оригинального сериала, и плавно интегрирует перспективу Джона Сноу на iPhone 14.

Это демонстрирует способность модели генерировать оригинальный, контекстуально уместный контент. Беглое и захватывающее письмо свидетельствует о сильном понимании структуры повествования, голоса персонажа и мирового строительства - ключевых элементов эффективного творческого письма.

Семейство моделей языка Pi3 от Microsoft является впечатляющей разработкой, предлагая высокоэффективные модели, которые можно запускать локально на телефоне. Эти модели, варьирующиеся от 3,8 миллиарда до 14 миллиардов параметров, продемонстрировали сильные результаты на академических бенчмарках, часто превосходя более крупные модели, такие как GPT-3.5.

Ключевыми факторами, способствующими успеху этих моделей, являются высококачественные веб-данные, используемые для обучения, а также генерация синтетических данных. Этот подход позволил меньшей 4-миллиардной модели достичь результатов, близких к более крупной 8-миллиардной модели.