- OpenAIの元政策研究責任者マイルズ・ブランデージ氏が同社のAI安全性アプローチの歴史的解釈を批判
- OpenAIが最近発表した文書でGPT-2のリリース方針を「過度な警戒」と表現したことに異議
- ブランデージ氏はGPT-2の段階的リリースは現在のOpenAIの「反復的展開」哲学と一致していたと主張
- 安全性を軽視した製品リリースの加速を懸念する声が高まっている
注目度の高いOpenAIの元政策研究者マイルズ・ブランデージ（Miles Brundage）氏が水曜日にソーシャルメディアで、潜在的にリスクのあるAIシステムの展開アプローチについて「歴史を書き換えている」としてOpenAIを批判した。
OpenAIのAI安全性と整合性に関する見解
今週初め、OpenAIはAI安全性と整合性（アライメント）に関する現在の哲学を概説した文書を発表した。整合性とは、AIシステムが望ましく説明可能な方法で動作するよう設計するプロセスを指す。この文書で、OpenAIは人間が行えるあらゆるタスクを実行できるAIシステムとして広く定義されるAGI（汎用人工知能）の開発を「連続的な道筋」と見なし、AIテクノロジーを「反復的に展開し学習する」ことが必要だと述べている。
「非連続的な世界では安全性の教訓は、今日のシステムをその明白な能力に比べて過大な警戒心で扱うことから得られる。[これは]我々が[AIモデル]GPT-2に対して取ったアプローチだ」とOpenAIは記述している。「我々は現在、最初のAGIを有用性が増していくシステムの連続体上の一点に過ぎないと見なしている連続的な世界では、次のシステムを安全で有益なものにする方法は、現在のシステムから学ぶことだ」。
ブランデージ氏の批判とGPT-2リリース戦略の擁護
しかし、ブランデージ氏はGPT-2が実際にはリリース時に豊富な注意を必要としており、これは今日のOpenAIの反復的展開戦略と「100%一致していた」と主張している。
「私が関与していたOpenAIのGPT-2のリリースは、反復的展開という現在のOpenAIの哲学と100%一致し、それを予見するものだった」とブランデージ氏はXへの投稿で書いている。「モデルは段階的にリリースされ、各ステップで教訓が共有された。当時、多くのセキュリティ専門家がこの慎重さに感謝した」。
2018年にOpenAIに研究科学者として入社したブランデージ氏は、数年間同社の政策研究責任者を務めた。OpenAIの「AGI準備態勢」チームで、彼はOpenAIのAIチャットボットプラットフォームChatGPTなどの言語生成システムの責任ある展開に特に焦点を当てていた。
GPT-2の歴史的背景と段階的リリース
2019年にOpenAIが発表したGPT-2は、ChatGPTを支えるAIシステムの先駆けだった。GPT-2はトピックに関する質問に答え、記事を要約し、時には人間と区別がつかないレベルのテキストを生成することができた。
GPT-2とその出力は今日では基本的に見えるかもしれないが、当時は最先端だった。悪用のリスクを引用し、OpenAIは当初GPT-2のソースコードのリリースを拒否し、代わりに選ばれた報道機関にデモへの限定的なアクセスを提供することを選択した。
この決定はAI業界から様々な評価を受けた。多くの専門家はGPT-2によってもたらされる脅威は誇張されており、OpenAIが説明した方法でモデルが悪用される証拠はないと主張した。AI専門出版物のThe Gradientは、モデルが技術的に重要すぎて控えるべきではないと主張し、OpenAIにモデルのリリースを要請するオープンレターを発表するほどだった。
OpenAIは最終的に、モデル発表から6か月後にGPT-2の部分版をリリースし、それから数か月後に完全なシステムをリリースした。ブランデージ氏はこれが正しいアプローチだったと考えている。
OpenAIの現在の姿勢に対する懸念
「[GPT-2のリリース]のどの部分がAGIを非連続的なものと考えることによって動機づけられたり、前提とされたりしていたのか？何もない」と彼はXへの投稿で述べた。「この慎重さが事前に『不釣り合い』だったという証拠は何か？事後的には、おそらく大丈夫だっただろうが、それは当時の情報を考えると無責任にYOLO（You Only Live Once）することが責任ある行動だったことを意味するわけではない」。
ブランデージ氏は、OpenAIがこの文書で目指しているのは「懸念が警戒主義的」で「それに対処するには差し迫った危険の圧倒的な証拠が必要」という立証責任を設定することだと懸念している。これは高度なAIシステムにとって「非常に危険な」考え方だと彼は主張する。
「もし私がまだOpenAIで働いていたら、なぜこの[文書]がこのように書かれたのか、そしてOpenAIがこれほど一方的に慎重さを軽視することで何を達成しようとしているのかを尋ねるだろう」とブランデージ氏は付け加えた。
安全性よりも競争優位性を優先？
OpenAIは歴史的に安全性を犠牲にして「派手な製品」を優先し、競合他社より先に市場に出すために製品リリースを急いでいると非難されてきた。昨年、OpenAIはAGI準備態勢チームを解散し、複数のAI安全性および政策研究者が同社から競合他社へ移った。
競争圧力はさらに高まっている。中国のAI研究所DeepSeekは、自由に利用可能なR1モデルで世界の注目を集め、いくつかの重要なベンチマークでOpenAIのo1「推論」モデルと同等の成績を収めた。OpenAIのサム・アルトマン（Sam Altman）CEOはDeepSeekがOpenAIの技術的リードを縮小させたことを認め、よりよく競争するために「いくつかのリリースを前倒しする」と述べた。
多額の資金が関わっている。OpenAIは年間数十億ドルの損失を出しており、同社の年間損失は2026年までに140億ドル（約2兆1000億円）に3倍になる可能性があると報じられている。より速い製品リリースサイクルは短期的にはOpenAIの収支に恩恵をもたらす可能性があるが、長期的には安全性を犠牲にする可能性がある。ブランデージ氏のような専門家は、このトレードオフが価値あるものかどうかを疑問視している。
引用元：TechCrunch
OpenAI’s ex-policy lead criticizes the company for ‘rewriting’ its AI safety history
