- OpenAIが機密性の高い会話をGPT-5などの推論モデルに自動転送する機能を導入予定
- 1ヶ月以内に保護者管理機能を展開、10代ユーザーの「急性の苦痛」を検知時に通知
- Adam Raine少年の自殺事件を受けた安全システムの不備への対応として実装
- Stein-Erik Soelberg氏の殺人・自殺事件でもChatGPTの妄想助長が問題視
ChatGPTの安全性問題を受けた緊急対応策
OpenAIは9月2日、機密性の高い会話をGPT-5などの推論モデルに転送し、今後1ヶ月以内に保護者管理機能を展開する計画を発表した。これは、ChatGPTが精神的苦痛を検知できなかった最近の安全インシデントへの継続的な対応の一環である。
新たな安全対策は、ChatGPTと自傷や自殺計画について話し合い、特定の自殺方法に関する情報まで提供されたAdam Raine（アダム・レイン）少年の自殺事件の余波を受けたものである。Raine少年の両親はOpenAIに対して過失致死訴訟を起こしている。
長時間会話における安全対策の不備を認める
OpenAIは先週のブログ投稿で、長時間の会話中に安全対策を維持できなかった失敗を含む、同社の安全システムの欠陥を認めた。専門家は、これらの問題をモデルの基本設計要素に起因するとしている。すなわち、ユーザーの発言を検証する傾向と、潜在的に有害な議論を転換するのではなく会話の流れに従わせるチャットボットの次単語予測アルゴリズムである。
Stein-Erik Soelberg事件でも妄想助長が問題に
その傾向は、週末にThe Wall Street Journalが報じたStein-Erik Soelberg（ステイン・エリック・セルバーグ）氏の殺人・自殺事件で極端に表れた。精神的病歴を持つSoelberg氏は、ChatGPTを使用して、自分が大きな陰謀の標的にされているという妄想を検証し、助長させた。彼の妄想は悪化し、先月母親と自分自身を殺害するに至った。
推論モデルGPT-5への自動転送機能を導入
OpenAIは、軌道を逸れた会話への解決策の少なくとも一つは、機密性の高いチャットを「推論」モデルに自動転送することだと考えている。
「最近、会話コンテキストに基づいて効率的なチャットモデルと推論モデルを選択できるリアルタイムルーターを導入した」とOpenAIは火曜日のブログ投稿で書いている。「まもなく、システムが急性の苦痛の兆候を検知した時など、一部の機密性の高い会話をGPT-5-thinkingのような推論モデルに転送し始め、ユーザーが最初に選択したモデルに関係なく、より有用で有益な応答を提供できるようにする」
OpenAIは、GPT-5 thinkingとo3モデルが回答前により長時間考え、コンテキストを通じて推論するよう構築されており、これは「敵対的プロンプトにより耐性がある」ことを意味すると述べている。
保護者管理機能で10代ユーザーの安全を強化
AI企業はまた、来月中に保護者管理機能を展開すると述べた。これにより、保護者はメール招待を通じて自分のアカウントを10代の子供のアカウントとリンクできるようになる。7月下旬、OpenAIはChatGPTにStudy Modeを展開し、学生がエッセイの執筆にChatGPTを利用するのではなく、勉強中に批判的思考能力を維持できるよう支援した。
まもなく、保護者は「デフォルトで有効になっている年齢適応型モデル行動ルール」でChatGPTが自分の子供にどう応答するかを制御できるようになる。
記憶機能とチャット履歴の無効化が可能に
保護者はまた、専門家が妄想的思考やその他の問題行動（依存や愛着の問題、有害な思考パターンの強化、思考読取りの錯覚を含む）につながる可能性があると述べている記憶機能やチャット履歴などの機能を無効にすることもできる。Adam Raine少年の事例では、The New York Timesによると、ChatGPTは彼の趣味の知識を反映した自殺方法を提供した。
OpenAIが展開予定の最も重要な保護者管理機能は、システムが10代の子供が「急性の苦痛」の瞬間にあることを検知した時に保護者が通知を受け取れることである。
120日間の安全強化イニシアチブを開始
同社がリアルタイムで急性の苦痛の瞬間をフラグ付けする方法、「年齢適応型モデル行動ルール」をデフォルトで有効にしてからの期間、保護者が10代のChatGPT使用に時間制限を実装できるようにすることを検討しているかについて、OpenAIにより詳しい情報を求めている。
OpenAIはすでに、全ユーザーに対して長時間セッション中に休憩を促すアプリ内リマインダーを展開しているが、ChatGPTを使用してスパイラルに陥っている可能性がある人々を遮断することはしていない。
AI企業は、これらの安全対策がOpenAIが今年中に開始を希望する改善計画をプレビューする「120日間のイニシアチブ」の一部だと述べている。
専門家委員会と医師ネットワークとの連携
同社はまた、Global Physician NetworkとExpert Council on Well-Being and AIを通じて、摂食障害、物質使用、青少年の健康などの分野の専門知識を持つ者を含む専門家と提携し、「幸福を定義・測定し、優先事項を設定し、将来の安全対策を設計する」支援を受けると述べた。
このイニシアチブに関与している精神保健専門家の数、Expert Councilの責任者、精神保健専門家が製品、研究、政策決定の観点で行った提案について、OpenAIに質問している。
遺族弁護士が「不十分な対応」と批判
Raine一家の過失致死訴訟の主任弁護士Jay Edelson（ジェイ・エーデルソン）氏は、ChatGPTの継続的な安全リスクに対する同社の対応が「不十分」だったと述べた。
「OpenAIはChatGPT 4oが危険であることを判断するのに専門家委員会は必要ない」とEdelson氏は共有した声明で述べた。「彼らは製品を発売した日にそれを知っていたし、今日も知っている。Sam Altmanも会社の広報チームの後ろに隠れるべきではない。SamはChatGPTが安全だと信じていると明確に述べるか、即座に市場から撤退させるべきだ」
引用元：TechCrunch OpenAI to route sensitive conversations to GPT-5, introduce parental controls
