OpenAI独自推論チップ「Jalapeño」、速度と電力効率を同時改善
OpenAIは8月25日、初の独自推論チップ「Jalapeño」の初期測定結果を公開しました。言語モデルの推論処理に合わせて、演算、メモリ、ネットワーク、ソフトウェアを一体設計した点が特徴です。
OpenAIによると、GPT-OSS 120B、DeepSeek R1 670B、Kimi K2.5 1Tを使った比較で、ピーク時の電力当たり処理量は1.5~1.9倍、エンドツーエンド遅延は1.7~3.6分の1でした。対話性を重視した条件では、性能が2.1~4.1倍に達したとしています。
応答待ちが積み重なるAIエージェントでは、低遅延と電力効率の両立が運用コストや使い勝手に直結します。OpenAIは年末までに自社計算基盤への導入を始める計画で、今後もNVIDIAなど他社製アクセラレーターと併用する方針です。
出典: OpenAI公式発表
コメント
コメントを投稿