日本生まれのファブレス半導体スタートアップ、EdgeCortixが生成AI用の新しい半導体チップ「SAKURA-II」をリリース（図1）、60 TOPS（Trillion Operations per Second）という高性能ながら、従来のチップよりも消費電力がはるかに少ない8Wだとしている。チップ設計だけではなく、モジュールやカードも製作しており、拡張性もあり4個接続で240 TOPSの性能を持つ。

図1　EdgeCortixが開発したAIチップSAKURA-IIを搭載したモジュール

2019年設立のEdgeCortixが目指したのは、低コストでしかも低消費電力の生成AIチップを提供すること。ミッションとして、クラウドレベルに近い性能をエッジで提供し、エネルギー効率と処理速度を桁違いに向上させ、顧客の運用コストを大幅に削減すること、としている。これまでの主要投資家として、北尾吉孝氏率いるSBI Investmentと、ルネサスエレクトロニクスがいる。

2020年に「SAKURA-I」を開発、リリースしたが、この時はFPGAでAIアクセラレータを作り、その後専用ICとした。今回の「SAKURA-II」が本格的な生成AI製品となる。パッケージされたICは19mm×19mmのサイズで、8GBあるいは16BGBのLPDDR4メモリを2個搭載したM.2モジュールボード（図1）で提供する。ボード全体込みで標準10Wに収まっている。HBM（High Bandwidth Memory）ではなくLPDDR（Low Power Double Data Rate）4を選んだのはあくまでも適切なサイズでコストを下げるため。

生成AIチップには、ソフトウエアライブラリやモデリング作りなども充実させる必要がある。しかし、充実させればさせるほどコストがかかるため、EdgeCortixはオープンソースのソフトウエアやモデルを中核に選んだ。大規模言語モデルLLMのLlama-2や画像生成のStable Diffusionなど数十億パラメータ程度のオープンな生成AIモデルをサポートしている。チャットGPTのようなGPT-3で学習した1750億パラメータという巨大なパラメータのAIモデルではない。

図2　EdgeCortix創業者兼CEOのSakya Dasgupta氏

チップ上では動作させていない回路をオフにするとか周波数を落とすなどの低消費電力化の工夫は言うまでもないが、消費電力の削減に最も効いたのは、おそらくデータフローコンピューティングに近いアーキテクチャを採用したからかもしれない。SambaNovaがデータセンター向けAIチップのデータフローアーキテクチャを採用して消費電力を大幅に減らした（参考資料1）のに対して、「当社はエッジ向けにデータフローアーキテクチャを開発した」と同社創業者兼CEOのSakya Dasgupta氏（図2）は述べている。

データフローコンピューティングを動かすためにDNA（Dynamic Neural Accelerator）と呼ぶフレキシブルでモジュラー方式のニューラルアクセラレータを開発、コンピュートエンジン同士の配線をリアルタイムで再構成できるアーキテクチャとなっている。ダイナミックにグループ分けすることで効率の良い並列処理を実現できるようになった。特許取得した技術を使ってEdgeCortixは、DNAエンジン同士のデータパスをリアルタイムで切り替えることができるようになり、集積したメモリのバンド幅を減らすことができ、効率よく作業を実行できるという。

MERAソフトウエアスタックもDNAと共に演算手順を最適化し、ニューラルネットワークにおけるタスクのスケジューリングのリソースの割り当てを最適化できるとしている。

チップの製造にはTSMCの12nmプロセスを使用した。今回のチップでは論理設計のRTL出力までだが、次のチップは物理設計（配置・配線・レイアウト）も自社で行いたいと意気込んでいる。

参考資料
1. 「ニューロAIはデータフローコンピュータに乗ってくる時代になるか」、セミコンポータル、(2024/02/08)