Ai2がスクリーンショットベースで動作するWebエージェント「MolmoWeb」を公開

アレン人工知能研究所(Ai2)が、ブラウザを操作・制御するAIエージェント「MolmoWeb」を発表した。従来のWebエージェントがHTMLやDOMツリーを解析してページを理解するのに対し、MolmoWebはブラウザのスクリーンショットから視覚的に情報を取得して動作する点が特徴だ。この手法により、動的に生成されるコンテンツやShadow DOMなど、HTMLベースのアプローチでは扱いにくい要素にも対応できる可能性がある。人間がブラウザを操作する方法により近いアプローチで、WebオートメーションやE2Eテストの新しい可能性を示唆している。

本記事は外部記事の要約です。原典は次のリンクを参照してください。