OpenAIのカスタム推論チップ「Jalapeño」、高スループットと低レイテンシを両立

OpenAIがBroadcomと共同開発した推論システム向けカスタムチップ「Jalapeño」のベンチマークスコアを公表した。通常はトレードオフの関係にある高スループットと低レイテンシを単一アーキテクチャで実現している点が特徴。AI推論ワークロードの多様化に対応する設計となっており、OpenAIの独自ハードウェア開発への本格参入を示す動きとして注目される。クラウドプロバイダー依存からの脱却と、推論コストの最適化を目指す戦略の一環と見られる。

本記事は外部記事の要約です。原典は次のリンクを参照してください。