Microsoft、商用利用可のSLM「Phi-3」リリース スマホで動くモデルも
2024年4月24日（水）8時13分 ITmedia NEWS
ベンチマーク結果（画像：Microsoft）
miniのトレーニングデータは38億パラメータ。smallは70億、mediamは140億と、大規模言語モデル（LLM）より少ないが、高品質なデータでトレーニングしているため、「主要なベンチマークにおいて、同じサイズまたはより大きなサイズの言語モデルよりも大幅に優れたパフォーマンスを示す」という。
例えばPhi-3-smallは、米OpenAIのGPT-3.5 Turbo（パラメータ数は公表されていないが、約175億とみられている）などの「はるかに大きなモデルよりも優れたパフォーマンスを発揮する」としている。
Microsoftは昨年12月に「Phi-2」をリリースした。これはベンチマークで、米MetaのLlama 2の700億パラメータモデルを幾つかの分野で上回っていた。Phi-2は200万回以上ダウンロードされた。
商用利用が可能なPhi-3-miniは、10倍のLLMに匹敵する機能を備える上、サイズが小さいため、LLMよりも実行コストも低くなる。Microsoftは関連論文で、パラメータを4ビットに圧縮したPhi-3-miniがiPhoneのA16 Bionicチップ上で1秒あたり12トークン以上を生成できたと紹介した。
米NVIDIAによると、Phi-3-miniは「RTX GPU」搭載のワークステーションや「GeForce RTX GPU」搭載のPCでローカルに実行可能という。
Microsoftは、Phi-3が「インターネットにアクセスしにくい可能性のある農業分野」などで低コストで活用できるとしている。
関連記事（外部サイト）
