Phi-3-Mini는 크기에 비해 강력합니다: 강력한 소형 언어 모델 벤치마킹

마이크로소프트에서 새롭게 출시한 Phi-3 제품군은 게임 체인저로, ChatGPT의 성능을 능가하는 언어 모델을 제공하지만 스마트폰에서 로컬로 실행할 수 있습니다. 가장 좋은 점은 가중치가 공개되어 상업적 목적으로 사용할 수 있다는 것입니다.

성능 면에서 더 작은 40억 매개변수 모델이 더 큰 80억 모델을 능가할 수 있습니다. 이러한 인상적인 성과는 사용된 교육 데이터의 품질을 보여줍니다. Phi-3 모델은 3.3조 토큰으로 교육되었으며, "당신의 스마트폰에서 실행되는 고성능 언어 모델"이라는 기술 보고서에 그들의 인상적인 기능이 자세히 설명되어 있습니다.

Phi-3 제품군은 38억 매개변수 모델, 70억 모델, 140억 모델의 세 가지 모델로 구성됩니다. 더 작은 38억 모델은 학술 벤치마크와 내부 테스트 결과 GPT-3.5와 거의 동등한 성능을 보입니다. 이는 교육에 사용된 고품질 웹 데이터와 합성 데이터 보완 덕분입니다.

Phi-3 모델을 다른 대규모 언어 모델과 비교할 때, 140억 모델은 ChatGPT-3.5를 포함한 모든 벤치마크에서 경쟁을 능가합니다. 심지어 더 작은 30억 모델도 MNLI와 SWAG 같은 작업에서 38억 Lamda 모델을 능가할 정도로 매우 뛰어납니다.

가장 좋은 점은 4,000 또는 128,000 토큰 문맥 창을 가진 Phi-3 미니 모델이 Hugging Face에서 공개적으로 사용 가능하다는 것입니다. 이를 통해 가중치를 다운로드하고 실험할 수 있어 언어 모델 분야의 흥미로운 응용 프로그램과 발전을 이끌 수 있습니다.