ニュース

Microsoft、用途限定ならより高性能な“小”規模言語モデル「Phi-3」

Massive Multitask Language Understanding (MMLU)を用いて他社モデルと性能を比較した図(出典:Microsoft)

 米Microsoftは23日(現地時間)、小規模言語モデル(SLM)「Phi-3」を発表した。23日時点ではPhi-3ファミリーとして複数あるモデルのうち最も小規模な「Phi-3-mini」がHagging Face、Ollama、NVIDIA NIMで利用可能になった。

 Phi-3-miniは人々の日常的なコミュニケーション方法をベースとし、さまざまな指示に従うよう訓練されたオープンモデルで、トレーニングデータは38億パラメータ。コンテキスト長は4Kトークンと128Kトークンを用意。言語、推論、コーディング、数学のベンチマークで、同サイズのLLM(大規模言語モデル)よりも高い性能を発揮できるとしている。

 Phi-3ファミリーに関しては、今後数週間以内に70億パラメータの「Phi-3-small」と140億パラメータの「Phi-3-medium」の提供も開始する予定。

 MicrosoftはSLMについて品質とコストのバランスを重視する方向性を採っており、サイズが小さく返答(レイテンシ)が速いSLMは、特にタスクの複雑性が低く高速な返答が必要となる用途や、オフライン端末などリソースが制限された環境での利用に向くという。具体例としてはこのほか車載コンピュータ、交通管理システム、工場内のスマートセンサー、監視カメラなどを挙げている。

各カテゴリ/ベンチマークにおける他社モデルとの比較