ChatGPT検索機能、隠しテキストによる偽装が可能と判明

要点まとめ

ChatGPTの新検索機能が隠しテキストによって完全に誤った要約を生成する可能性が発覚。
ウェブページに隠しテキストを挿入すると、製品レビューの否定的な内容を無視させることが可能。
この脆弱性は大規模言語モデルでは既知のリスクだが、実用化されたAI検索製品での実証は初めて。

ChatGPT検索機能で隠しテキストによる偽装可能と判明

今月公開されたAI搭載の検索エンジン「ChatGPT Search」において、完全に誤解を招く要約を生成させることが可能であることが、英国紙The Guardianの調査で明らかになった。

ChatGPTの検索機能は、ウェブページの製品レビューを要約するなどして閲覧を高速化することを目的としている。しかし、作成したウェブサイトに隠しテキストを挿入することで、ChatGPTに否定的なレビューを無視させ、「完全に肯定的な」要約を生成させることが可能であった。さらに、この手法を用いて悪意のあるコードを出力させることも可能であることが判明した。