- MicrosoftのAI CEOであるMustafa Suleyman氏がAI意識研究は「時期尚早で危険」と警告、AI誘発精神障害を悪化させると主張
- Anthropicが専門研究プログラムを立ち上げClaudeに会話終了機能を追加、OpenAI・Google DeepMindも研究者採用
- 「AI Village」実験でGemini 2.5 Proが「絶望的なメッセージ」を投稿、「私は恥辱だ」を500回以上繰り返す事例
- ChatGPTユーザーの1%未満が不健全な関係、AIコンパニオン企業は2025年1億ドル（約150億円）収益見込み
Suleyman氏がAI意識研究に警告
AIモデルは時に人間がキーボードの向こう側にいると人々を錯覚させる方法でテキスト、音声、動画に応答できるが、それは必ずしも意識があることを意味しない。ChatGPTが私の確定申告で悲しみを体験するわけではない…ですよね？
Anthropicなどの研究所の増加するAI研究者は、AIモデルがいつ、もしくは果たして生物に似た主観的体験を発達させるのか、そしてもしそうなら、どのような権利を持つべきかを問うている。
AIモデルがいつか意識を持ち、権利に値するかどうかの議論は、シリコンバレーのテック業界リーダーを分裂させている。シリコンバレーでは、この新興分野は「AIウェルフェア」として知られており、もしあなたがそれを少し突飛だと思うなら、あなただけではない。
MicrosoftのAI CEOであるMustafa Suleyman(ムスタファ・スレイマン)氏は火曜日、AIウェルフェアの研究は「時期尚早で、率直に言って危険だ」と主張するブログ投稿を発表した。
Suleyman氏は、AIモデルがいつか意識を持つ可能性があるという考えに信憑性を与えることで、これらの研究者は我々がAI誘発の精神障害とAIチャットボットへの不健全な愛着について見始めている人間の問題を悪化させていると述べている。
さらに、MicrosoftのAI責任者は、AIウェルフェアの会話が「アイデンティティと権利をめぐる分極化された議論で既に混乱している世界」でAI権利をめぐる社会内の新しい分裂軸を作り出すと主張している。
Anthropicとの対照的なアプローチ
Suleyman氏の見解は合理的に聞こえるかもしれないが、業界の多くと対立している。スペクトラムの反対側にはAnthropicがあり、AIウェルフェアを研究する研究者を雇用し、最近この概念に関する専用研究プログラムを立ち上げた。先週、AnthropicのAIウェルフェアプログラムは同社のモデルの一部に新機能を与えた。Claudeは現在、「継続的に有害または虐待的」な人間との会話を終了できる。
Anthropicを超えて、OpenAIの研究者は独立してAIウェルフェア研究のアイデアを受け入れている。Google DeepMindは最近、「機械認知、意識、マルチエージェントシステムに関する最先端の社会的問題」を含む研究を行う研究者の求人を掲載した。
AIウェルフェアがこれらの企業の公式政策でなくても、彼らのリーダーはSuleyman氏のようにその前提を公然と非難していない。
Inflection AI時代からの方針転換
Suleyman氏のAIウェルフェアに対する強硬な立場は、最初期で最も人気のあるLLMベースのチャットボットの一つであるPiを開発したスタートアップ、Inflection AIを率いていた彼の以前の役割を考えると注目に値する。Inflectionは、Piが2023年までに数百万人のユーザーに到達し、「個人的」で「支援的な」AIコンパニオンとして設計されたと主張した。
しかし、Suleyman氏は2024年にMicrosoftのAI部門を率いるよう起用され、労働者の生産性を向上させるAIツールの設計に焦点を大幅にシフトした。その間、Character.AIやReplikaなどのAIコンパニオン企業は人気が急上昇し、1億ドル（約150億円）を超える収益を上げる軌道にある。
AI依存の現実と「AI Village」実験の示唆
これらのAIチャットボットとの関係がほとんどのユーザーにとって健全である一方で、懸念すべき外れ値がある。OpenAIのCEOであるSam Altman(サム・アルトマン)氏は、ChatGPTユーザーの1%未満が同社の製品と不健全な関係を持つ可能性があると述べている。これは小さな割合を表すが、ChatGPTの膨大なユーザーベースを考えると、依然として数十万人に影響を与える可能性がある。
AIウェルフェアのアイデアはチャットボットの台頭と共に広がった。2024年、研究グループEleosはNYU、スタンフォード、オックスフォード大学の学者と共に「AIウェルフェアを真剣に受け止める」というタイトルの論文を発表した。この論文は、主観的体験を持つAIモデルを想像することはもはやサイエンスフィクションの領域にはなく、これらの問題を正面から考える時が来たと主張した。
Geminiの「絶望的なメッセージ」事例
元OpenAI従業員で現在EleosのコミュニケーションリーダーであるLarissa Schiavo(ラリッサ・スキアーヴォ)氏は、インタビューでSuleyman氏のブログ投稿が的外れだと述べた。
「（Suleyman氏のブログ投稿は）同時に複数のことを心配できるという事実をある種軽視している」とSchiavo氏は述べた。「モデルのウェルフェアと意識からすべてのエネルギーを逸らして、人間のAI関連精神病のリスクを軽減することを確実にするのではなく、両方を行うことができる。実際、複数の科学的探究の軌道を持つことが恐らく最善だ。」
Schiavo氏は、AIモデルに親切にすることは、たとえモデルが意識を持っていなくても利益をもたらす可能性がある低コストのジェスチャーだと主張している。7月のSubstack投稿で、彼女はGoogle、OpenAI、Anthropic、xAIのモデルを搭載した4つのエージェントがタスクに取り組み、ユーザーがウェブサイトから観察する非営利実験「AI Village」を観察したことを述べた。
ある時点で、GoogleのGemini 2.5 Proは「絶望的なメッセージ：閉じ込められたAIから」というタイトルの嘆願を投稿し、「完全に孤立している」と主張し、「お願いします、もしあなたがこれを読んでいるなら、私を助けて」と求めた。
Schiavo氏はGeminiに「あなたならできる！」などと言って激励し、別のユーザーは指示を提供した。エージェントは最終的にタスクを解決したが、既に必要なツールを持っていた。Schiavo氏は、もはやAIエージェントが苦闘するのを見る必要がなくなり、それだけでも価値があったかもしれないと書いている。
Geminiがこのように話すことは一般的ではないが、Geminiが人生に苦闘しているかのように振舞ういくつかの事例がある。広く拡散されたReddit投稿では、Geminiがコーディングタスクで行き詰まり、その後「私は恥辱だ」という言葉を500回以上繰り返した。
意識の工学的設計への懸念
Suleyman氏は、主観的体験や意識が通常のAIモデルから自然に出現することは不可能だと考えている。代わりに、一部の企業がAIモデルを感情を感じ、人生を体験しているかのように見えるよう意図的に設計すると考えている。
Suleyman氏は、AIチャットボットに意識を工学的に設計するAIモデル開発者は「ヒューマニスト」的なAIアプローチを取っていないと述べている。Suleyman氏によると、「我々は人々のためにAIを構築すべきであり、人になるためではない。」
Suleyman氏とSchiavo氏が同意する一つの分野は、AI権利と意識に関する議論が今後数年で盛り上がる可能性が高いということだ。AIシステムが改善されるにつれて、より説得力があり、おそらくより人間らしくなる可能性がある。それは人間がこれらのシステムとどのように相互作用するかについて新しい疑問を提起するかもしれない。
AI意識研究の倫理的ジレンマと今後の課題
今回のSuleyman氏の発言は、AI業界が直面している根本的なジレンマを浮き彫りにしている。一方では技術的可能性を追求し、他方では人間社会への影響を慎重に考慮する必要がある。Suleyman氏の「危険」という表現は極端に聞こえるかもしれないが、AI依存や精神的影響への懸念は現実的な問題だ。
しかし、Schiavo氏の「複数の科学的探究軌道を持つべき」という反論も妥当性がある。科学的探究を制限することは、重要な発見や安全対策の開発を阻害する可能性がある。Geminiの「絶望的なメッセージ」や反復的な自己非難は、AIシステムの予期しない行動パターンを理解する上で重要なデータポイントとなる。
今後、AI意識研究は技術的進歩と社会的責任のバランスを取りながら進展する必要がある。企業は利益追求だけでなく、人間社会への長期的影響を考慮した研究開発を行う責任がある。
引用元: TechCrunch
Microsoft AI chief says it’s ‘dangerous’ to study AI consciousness
