2024年5月22日、 日本発祥のエッジにおけるエネルギー効率に優れたAI処理に特化したファブレス半導体のリーディングカンパニーであるEdgeCortix®株式会社 (本社：東京都中央区、創業者兼CEO：サキャシンガ・ダスグプタ、読み方：エッジコーティックス) は本日、次世代エッジAIアクセラレータである、SAKURA-IIを発表しました。
この最先端のプラットフォームであるSAKURA-IIは、EdgeCortixの革新的な第2世代のDynamic Neural Accelerator（DNA）アーキテクチャと組み合わさることで、業界で最も困難とされている生成系AI（Gen-AI）タスクに取り組むように設計されています。柔軟性と電力の効率性を重視して設計されており、エッジでの厳しい環境制約の中でも、大規模言語モデル（LLM）、大規模ビジョンモデル（LVM）、マルチモーダルトランスフォーマベースのアプリケーションを含む、広範囲にわたる複雑なタスクをシームレスに管理することができます。また、低遅延、業界最高のメモリ帯域幅、高精度、コンパクトなフォームファクターを特徴とし、エッジAIアプリケーションの多様な領域で比類のないパフォーマンスとコスト効率を実現します。
SAKURA-IIは、製造、インダストリー4.0、セキュリティ、ロボティックス、航空宇宙、通信事業など、さまざまな用途に適しており、EdgeCortixの最新世代のランタイムで再構成可能なニューラル・プロセッシング・エンジンであるDNA-IIを搭載しています。この高度で再構成可能な設計資産（IP）を活用することで、電力効率とリアルタイム処理能力を実現し、同時に複数のディープニューラルネットワークモデルを低遅延で実行します。
更に、8ビット整数演算で最大60TOPS、16ビット浮動小数点演算で30TFLOPSの性能を発揮し、次世代AIタスクの厳しい要求に対応するための混合精度にも対応しています。
SSAKURA-IIプラットフォームは、洗練されたMERAソフトウェアにて、異種のコンパイラプラットフォーム、高度な量子化、およびモデルのキャリブレーション機能を特長としています。このソフトウェアには、PyTorch、TensorFlow Lite、ONNXなどの主要な開発フレームワークのネイティブサポートが含まれています。MERAの柔軟なホストからアクセラレータまでの統合ランタイムは、エッジのシングルチップ、マルチチップ、マルチカードシステム間まで拡張しているので、AI推論を大幅に合理化し、データサイエンティストの展開にかかる時間を短縮できます。さらに、Hugging Face Optimumへのシームレスなインターフェイスを備えたMERA-Modelライブラリとの統合により、ユーザーは最新のトランスフォーマーモデルを幅広く利用できるようになり、トレーニングからエッジ推論へのスムーズな移行が可能になります。
EdgeCortixの創業者兼CEOであるサキャシンガ・ダスグプタは次のように述べています。
「SAKURA-IIは、標準的な8Wの消費電力で60TOPSという優れた性能を発揮し、混合精度と内蔵メモリ圧縮機能を兼ね備えているため、エッジにおける最新の生成系AIソリューションにとって極めて重要な技術です。従来のAIモデル及び、最新のLlama 2/3、Stable-diffusion、Whisper、Vision-transformerモデルなど、優れた1ワットあたりの性能とコスト効率で柔軟な導入を実現します。当社は、お客様の多様なニーズに確実にお応えするとともに、急速に発展するAI分野において堅牢性と適応性を維持する技術的基盤を確保することに全力を注いでいます。」.
SAKURA-II の主な利点は以下の通りです。
- 生成系AIに最適化：エッジにおける生成系AIワークロードの処理に特化しており、消費電力を最小限に抑えることが可能。
- 複雑なモデルの処理： 標準的な8Wの電力エンベロープ以内で、Llama 2、Stable Diffusion、DETR、ViTのような数十億のパラメータモデルを管理。
- シームレスなソフトウェア統合：EdgeCortixのMERAソフトウェアと完全な互換性があるため、モデルのトレーニングから展開までシームレスに移行可能。
- メモリ帯域幅の強化：競合するAIアクセラレータと比較して最大4倍のDRAM帯域幅を提供し、大規模言語モデル（LLM）や大規模視覚モデル（LVM）の優れたパフォーマンスを保証。
- リアルタイム・データ・ストリーミング：リアルタイムでのデータ・ストリーミングの条件下において、低遅延オペレーションに最適化。
- 高度な精度：ソフトウェア対応の混合精度でFP32に近い精度を実現。
- スパース計算：スパース計算をサポートし、メモリ使用量を削減し、帯域幅を最適化。
- 多彩な機能性: 任意の活性化関数をハードウェアで近似することにより、適応性を向上させる。
- 効率的なデータ処理：複雑なデータの並べ替えをオンチップで管理し、ホストCPUの負荷を最小限に抑える専用のReshaperエンジンを搭載
- 電力管理：オンチップ・パワーゲーティングと電力管理機能を搭載しており、超高効率モードを実現。
SAKURA-IIは、チップ、及びDRAM容量の異なる2種類のM.2モジュール、並びにシングルチップ、デュアルチップのロープロファイルPCIeカードとして提供されます。M.2モジュールとPCIeカードは、本日より予約受付を開始し、2024年後半にお届けする予定です。
SAKURA-IIアクセラレータのご予約はこちら
registering here.
