セミコンポータル
半導体・FPD・液晶・製造装置・材料・設計のポータルサイト

ChatGPTの半導体産業へのインパクト、1万個のGPUがコア技術に

|

聞けばなんでも答えてくれるChatGPTが注目されているが、このAI(ディープラーニング)は、これまでのAI(機械学習)とは大きく違う。これまでは特定用途の専用AIだったのに対して、ChatGPTに使われる大規模言語モデル(LLM)は汎用AIにつながる技術だからである。この実現のためには桁違いの多くの積和演算半導体チップ(GPU)が必要である。ここに新たな半導体需要が生まれることになる。

大規模言語モデル(LLM)を学習モデルとして使うためには、従来なら学習に数カ月もかかるため、多くのAIソフトウエア開発者はLLMの開発をあきらめていた。しかし、超並列でGPUなど並列積和演算チップを大量に使って学習すれば合理的な時間で済むようになる。その結果生まれたのがChatGPTという生成AIだ。Microsoftが出資する研究開発企業OpenAI社が開発、いま注目を集めている。


AI DALL・E / OpenAI

図1 OpenAIが開発したテキストを入力するだけで欲しい画像が得られるAIのDALL・E(画家のダリと発音) 出典:OpenAI


ハードウエア側からChatGPTを実現するためには、学習させるうえでGPU(グラフィックスプロセッサ)が大量に必要となることは容易に想像できる。最近リリースし、話題になっているChatGPT-3には1750億パラメータで学習させたモデルが組み込まれているものの、ChatGPTを使ってみた様々なレポートを見ると、必ずしも正確ではないという。このため、2023年中ごろにリリースされる次世代版のChatGPT-4ではさらに多くのパラメータで学習されていることが予想される。現在のChatGPT-3を学習させるためにNvidiaのGPUが1万個も使われているとみられている。ということは、今後のChatGPTの開発にはさらに多くのGPUが必要となることを示唆している。

Nvidiaは、データセンター向けGPUの需要は毎年23.5%のペースで成長しており、2022年第3四半期には前年同期比30%成長した。

面白い実験として、米国のエレクトロニクスメディアのFierce ElectronicsはChatGPTにどのようなコンピュータを使っているのかを聞いてみたという(参考資料1)。返ってきた答えはまず機械学習の説明から始まった;

・ChatGPTは、並列処理用に大量のGPUを備えた分散コンピューティング上で走る機械学習モデル

・ChatGPTに使われるハードウエアは特殊なものだが、NvidiaのGPUがよく使われており、同社のソフトウエアCUDAがサポートしている。
・ChatGPTのような大規模ディープラーニングを学習するためのインフラとして一般的なクラウド環境であるAWSやGCP、Azureなどがある。
・推論は、機械学習されたモデルを使って、新しいデータを予測すること。ChatGPTでは、入力データに対して、人間のようなテキストを生成するために使われる。

そのあとさらに具体的にNvidia以外のGPUも使っているのかを尋ねたところ、次のような返事をしたという;

・将来はほかのベンダーのGPUでChatGPTなどの学習をできるだろうが、現在はNvidiaのGPUが広く使われている。CUDAサポートがあるからだ。CUDAはNvidiaのGPUを効率よく使うために必要な並列処理プラットフォームでありプログラミングモデルである。

・ChatGPTを開発したOpenAI社は、新しいAI技術やモデルを開発中で、モデルを改良するために常に新しいハードウエア(半導体チップ)やソフトウエアを試している。
・ChatGPTを例えば1万個のNvidiaのGPUのような大量のGPUを使って学習させることができる。ただし、具体的なインプリ方法や入手できるリソースによって正確なGPUの数は変わり、学習させるデータ量や学習モデルによっても変わる。

NvidiaのようなGPUではなく、AI学習を目的としたAIチップ(大量に並列処理できる積和演算器と、演算結果や重みデータを記録するメモリを集積したIC)があれば半導体メーカーは大規模言語モデルの生成AI向けの新市場に挑戦できる。そしてCUDAのようなプログラミングしやすい環境のプラットフォームも生み出す必要がある。ChatGPTは、日本も今から活躍可能な環境ができることを示している。

参考資料
1. Matt Hamblen, "Update: ChatGPT Runs 10K Nvidia Training GPUs with Potential for Thousands More", Fierce Electronics (2023/02/11)

(2022/02/17)

月別アーカイブ