「Transformer」後継期待の「RetNet」を活用した独自LLM

GPT-4はじめ現在の大規模言語モデル（LLM）は、「Transformer」が使われていますが、「Transformer」の後継として期待されているRetNet（「Retentive Network」の略称）技術を活用した日英大規模言語モデル（LLM）を、AIベンチャー・PKSHA Technologyが開発したと発表しています。
『長文入力』、『応答速度』、『運用コスト』という現在の大規模言語モデル（LLM）の課題を同時に解決できるポテンシャルをもっているということで、期待されます。
 
PKSHAが日英対応LLM開発、Transformerの後継候補の「RetNet」を活用　日本マイクロソフト協力　2024/4/1
https://ledge.ai/articles/pksha_llm_rertnet
 
「Transformer」後継と期待される「RetNet」活用　PKSHAが日英対応の独自LLMを開発　日本MSも協力　　2024年03月28日
https://www.itmedia.co.jp/aiplus/articles/2403/28/news185.html
 
 
 
Utilizing 'RetNet,' the Successor to 'Transformer,' for a Unique LLM
 
The current large language models (LLMs), including GPT-4, utilize 'Transformer.' However, PKSHA Technology has announced the development of a Japanese-English LLM that leverages 'RetNet' technology, which is expected to succeed 'Transformer.' RetNet stands for 'Retentive Network.' This new technology is anticipated because it has the potential to simultaneously address the challenges of long text inputs, response speed, and operational costs faced by current LLMs.
 
PKSHA develops a Japanese-English compatible LLM using 'RetNet,' a candidate successor to Transformer, with cooperation from Microsoft Japan. April 1, 2024
https://ledge.ai/articles/pksha_llm_rertnet
 
 
'RetNet,' Expected to Succeed 'Transformer,' Utilized by PKSHA to Develop a Unique Japanese-English Compatible LLM with Cooperation from Microsoft Japan. March 28, 2024
https://www.itmedia.co.jp/aiplus/articles/2403/28/news185.html
​