「小さいLLM」という生成AI戦略で勝てるか？

米OpenAI（オープンAI）の「GPT」と比べると、国産のLLM（大規模言語モデル）はパラメーター数（モデルの数式に含まれる変数の数のことで、パラメーター数が多いほどモデルの表現力や学習能力が高くなるといわれている）が小さいですが、「小さいLLM」という生成AI戦略で勝てるか？という問いに、勝ち筋を見出したという記事が出ています。
　NECのcotomiは130億、NTTのtsuzumiは70億と6億の2種類を提供、GPT-3（1750億）と比べるとcotomiは100分の1以下、tsuzumiは軽量版のモデルで225分の1。Softbankは、マルチモーダルに対応した3900億パラメーターのLLMを2024年度中に完成させ、1兆パラメーターを目指す意向を明らかにしています。（なお、GPT-3.5は3,550億パラメーターで、GPT-4は1兆7,600億パラメーターのようです。）
　性能は、パラメーター数という量だけで決まるわけではなく、訓練データの質やモデルの構造なども重要な要素となっていて、そのあたりに勝ち筋があるのかもしれません。
 
 
国内IT大手の生成AI戦略、「小さいLLM」に見いだす勝算
https://xtech.nikkei.com/atcl/nxt/column/18/02741/
 
国産「小さいLLM」が2024年春に相次ぎ登場、NECとNTTが見いだした2つの勝ち筋
2024.02.08
https://xtech.nikkei.com/atcl/nxt/column/18/02741/020200002/
 
小さいLLMの精度向上に2つの工夫、肝は「正味のデータ量」とNEC
2024.02.09
https://xtech.nikkei.com/atcl/nxt/column/18/02741/020200003/index.html
 
SIとは違うカスタマイズ、NTTは「アダプター技術」で個別ニーズに対応
2024.02.13公開予定
 
Can the "small LLM" generative AI strategy win?
 
Compared to 'GPT' by the US-based OpenAI, domestically produced Large Language Models (LLMs) have fewer parameters (the number of variables in the model's formula, where a higher number of parameters is said to increase the model's expressive power and learning capability). However, there are articles suggesting that a strategy involving 'smaller LLMs' could be viable. NEC's cotomi has 13 billion, while NTT's tsuzumi offers two versions with 7 billion and 600 million, respectively. Compared to GPT-3's 175 billion, cotomi is less than 1/100th, and tsuzumi's lighter model is 1/225th. Softbank has announced its intention to complete a multimodal LLM with 390 billion parameters within the fiscal year 2024, aiming for 1 trillion parameters. (For reference, GPT-3.5 has 355 billion parameters, and GPT-4 is reported to have 1.76 trillion parameters.)
Performance is not determined solely by the number of parameters; the quality of training data and the structure of the model are also crucial factors, and these may provide a competitive edge.