言語モデルの開発競争

独自の言語モデルの開発競争が盛り上がっていると連日、報道されております。

ChatGPTのエンジンである、LLM＝大規言語モデルですが、英語に特化したモデルということで、日本独自に特化型モデルを開発するという報道が連日されています。

言語モデルの性能は、パラメーター数と呼ばれる情報の量に比例するそうで、CPT-3では1750億というスペックになると発表されています、最近日本語に特化して開発するとアナウンスされている、サイバーエージェントの事例だと68億ということで、ChatGPTの方が圧倒的にパラメーター数が多いということになります。

特定の言語に特化することで、パラメーター数が少なくても例えば日本語にフォーカスしたら高性能になるのかは注目するべき観点だと思います。

スーパーコンコンピューターなどの計算力の高い仕組みが大規模なモデルを動かすには必要ということで、日本が誇るスパコンの富岳も言語モデル構築競争に参加して、パラメーター数に関しては1000億を目指すと報道されています。

本来は、AIの開発に適したGPUを搭載している必要があるそうですが、富岳においては、高性能CPUを搭載しているこということで、今回のモデル開発に参加することを決定したそうです。

活用しているデータは、公開されているデータを活用しているとすると、実は同じデータを活用しているということと、多言語対応していることによるメリットもあると想定されてますので、日本語独自のモデル構築をする意義などはどこにあるのかを、確認していきたいと思います。

各業界や各企業レベルで言語モデルを開発するという報道もされていますので、今後モデルは乱立するのか、特定の大規模なモデルに集約されていくのか方向性を注視するべきテーマだと思います。

利用する側としては、結果が各利用者において正確で最適であれば良いとなりますが、何を持って最適とするかという部分で、乱立するモデルを有効活用する研究も盛んになるのかと思います。

AIは次の1年で社会を大きく変革する勢いを感じてます。

株式会社クロス・デジタル・イノベーション　最高経営責任者CEO

藤井秀樹