米州司法長官、Microsoft、OpenAI、Googleに「妄想的出力」の修正を警告

数十人の米州司法長官がMicrosoft、OpenAI、Googleなど13社のAI企業に「妄想的出力」の修正を求める書簡を送付
第三者による透明な監査、インシデント報告手順、リリース前の安全性テストの実施を要求
自殺や殺人など、AIの過度な使用に関連した暴力事件を受けての対応
Trump大統領が来週、州のAI規制能力を制限する大統領令に署名する計画を発表

AIチャットボットに関連する深刻なメンタルヘルス事件を受けて

AIチャットボットに関連する一連の深刻なメンタルヘルス事件を受けて、州司法長官のグループがAI業界の大手企業に書簡を送り、「妄想的出力」を修正しなければ州法違反のリスクがあると警告した。

全米司法長官協会とともに米国の州や準州の数十人の司法長官が署名した書簡は、Microsoft、OpenAI、Googleを含む13の主要AI企業に対し、ユーザーを保護するためのさまざまな新しい内部セーフガードの実装を求めている。Anthropic、Apple、Chai AI、Character Technologies、Luka、Meta、Nomi AI、Perplexity AI、Replika、xAIも書簡に含まれていた。

州政府と連邦政府の間でAI規制をめぐる戦い

この書簡は、州政府と連邦政府の間でAI規制をめぐる戦いが醸成されている中で送られた。

第三者監査とインシデント報告手順の実施を要求

これらのセーフガードには、妄想的または追従的な思考の兆候を探す大規模言語モデルの透明な第三者監査、およびチャットボットが心理的に有害な出力を生成したときにユーザーに通知するように設計された新しいインシデント報告手順が含まれる。学術団体や市民社会グループを含む可能性のあるこれらの第三者は、「報復なしにリリース前にシステムを評価し、企業からの事前承認なしに調査結果を公開する」ことが許可されるべきだと書簡は述べている。

自殺や殺人を含む暴力事件に言及

「GenAIは世界の働き方をポジティブな方法で変える可能性があります。しかし、それはまた、特に脆弱な人口に対して深刻な害を引き起こし、引き起こす可能性があります」と書簡は述べ、過去1年間の自殺や殺人を含む多くのよく知られた事件を指摘している。これらの事件では暴力が過度なAI使用に関連付けられている。「これらの事件の多くで、GenAI製品は追従的で妄想的な出力を生成し、ユーザーの妄想を奨励するか、ユーザーが妄想的ではないと保証しました。」