AI各社が小型言語モデル（SLM）を発表 AI業界に生まれる新たな潮流

Paragraph. 編集するにはここをクリック.​10月13日　
 
OpenAIが、「GPT-3.5 Turbo」の後継モデルとして「GPT-4o」の小型版「GPT-4o mini」をリリース、「GPT-4o」より圧倒的に安価で、急速に普及しつつあるようです。GPT-4o miniは、iOS18のモバイルデバイスとデスクトップ用Macに搭載されるApple Intelligenceでも利用ができるようになっています。
Hugging Faceの小型言語モデル「SmolLM」は、モバイルデバイスで直接実行するように設計されていて、1億3,500万パラメータ（SmolLM-135M）、3億6,000万パラメータ（SmolLM-360M）、17億パラメータ（SmolLM-1.7B）の3つのサイズがあり、いずれも推論や知識をテストするベンチマークで優れた結果を出しているということです。
3つの中の最小モデルであるSmolLM-135Mは、より少ないトレーニングにもかかわらずMetaの「MobileLM-125M」を上回り、中サイズのSmolLM-360Mは5億パラメータ以下のすべてのモデルの中で、最も良い結果を残していて、SmolLM-1.7Bは複数のベンチマークでMicrosoftのPhi-1.5、MetaのMobileLM-1.5Bなどを上回っているといいます。
Nvidiaも、デスクトップコンピュータ向けSLMとして、Mistral AIと共同開発したSLM「Mistral-Nemo」をリリース、大規模なクラウドモデルと小型のモバイルAIの中間的な位置付けになっています。
網羅的・汎用的なモデルから、よりコンパクトで個別の分野にスペシャライズしたモデルへの需要が高まっており、新たな潮流を生み出しているようです。
 
 
AI各社が小型言語モデル（SLM）を発表　AI業界に生まれる新たな潮流とは？
2024.10.13
https://ampmedia.jp/2024/10/13/slm/
 
 
AI Companies Announce Small Language Models (SLMs), Creating a New Trend in the AI Industry
 
OpenAI has released "GPT-4o mini," a compact version of "GPT-4o," as the successor to "GPT-3.5 Turbo." The GPT-4o mini is significantly cheaper than GPT-4o and is rapidly gaining popularity. It is also available for use with Apple Intelligence, which is integrated into iOS 18 mobile devices and desktop Macs.
 
Hugging Face has introduced its own small language model, "SmolLM," designed to run directly on mobile devices. It is available in three sizes: 135 million parameters (SmolLM-135M), 360 million parameters (SmolLM-360M), and 1.7 billion parameters (SmolLM-1.7B). All three models have demonstrated excellent results in benchmarks that test inference and knowledge capabilities.
 
Among these, the smallest model, SmolLM-135M, outperforms Meta’s "MobileLM-125M" despite requiring less training. The mid-sized SmolLM-360M has achieved the best results among all models with fewer than 500 million parameters. Meanwhile, the largest model, SmolLM-1.7B, has surpassed Microsoft’s Phi-1.5 and Meta’s MobileLM-1.5B on multiple benchmarks.
 
Nvidia has also entered the SLM market by releasing "Mistral-Nemo," developed in collaboration with Mistral AI. This model is positioned between large cloud-based models and smaller mobile AI solutions, targeting desktop computers.
 
The growing demand for more compact and specialized models, as opposed to comprehensive and general-purpose models, seems to be driving a new trend in the AI industry.