Google、AI処理を8倍高速化する新圧縮技術「TurboQuant」を発表

Google Researchが大規模言語モデルとベクトル検索エンジン向けの新しい圧縮技術群「TurboQuant」「PolarQuant」「QJL(Quantized Johnson-Lindenstrauss)」を発表した。これらの技術により、AI処理の速度を8倍に向上させつつ、メモリ使用量を6分の1に削減できるという。特にLLMのKVキャッシュと大規模ベクトル検索において効果が高いとされる。AI処理のボトルネックとなっているメモリ負荷を大幅に軽減できるため、より大規模なモデルの実行やコスト削減が期待できる技術として注目される。

本記事は外部記事の要約です。原典は次のリンクを参照してください。