- 日本のAIスタートアップSakanaがAI生成の査読付き科学論文発表を主張
- 同社のAI「The AI Scientist-v2」が論文を「エンドツーエンド」で生成したと主張
- ICLRワークショップに提出した3本のうち1本が査読通過したが、透明性のため直ちに取り下げ
- 専門家からは査読プロセスの厳格さや、AI単独での科学的貢献に対する疑問の声も
Sakanaの主張と査読プロセス
日本のAIスタートアップSakana.aiが、AIが初めての査読付き科学出版物の一つを生成したと発表した。しかし、この主張は必ずしも虚偽ではないものの、注意すべき点がある。
科学プロセスにおけるAIの役割を巡る議論は日に日に激しくなっている。多くの研究者はAIが「共同科学者」として十分に機能する段階ではないと考える一方、可能性を認めつつも初期段階であることを認める研究者もいる。Sakana.aiは後者に属する。
同社によれば、「The AI Scientist-v2」と呼ばれるAIシステムを使用して論文を生成し、長い歴史と評判を持つAI会議ICLRのワークショップに提出した。Sakanaは、ワークショップの主催者とICLRの指導部が、AI生成原稿のダブルブラインド査読実験を行うことに同意したと主張している。
AI生成論文の内容と査読結果
Sakana.ai
Sakanaはブリティッシュコロンビア大学とオックスフォード大学の研究者と協力し、前述のワークショップに3本のAI生成論文を査読のために提出した。同社によれば、The AI Scientist-v2は科学的仮説、実験、実験コード、データ分析、視覚化、テキスト、タイトルを含め、論文を「エンドツーエンド」で生成したという。
「AIにワークショップの要約と説明を提供することで研究アイデアを生成した」とSakana.aiの研究科学者兼創設メンバーであるRobert Lange（ロバート・ランゲ）氏はTechCrunchに電子メールで語った。「これにより、生成された論文がテーマに沿った適切な投稿であることを確保した」
3本のうち1本の論文がICLRワークショップに採択された―AIモデルのトレーニング技術に批判的な視点を投げかける論文だ。Sakana.aiは透明性とICLRの慣例への敬意を示すため、論文が公開される前に直ちに取り下げたという。
「採択された論文は、ニューラルネットワークをトレーニングするための新しい有望な手法を紹介すると同時に、残された経験的課題があることを示している」とLange氏は述べた。「さらなる科学的調査を促すための興味深いデータポイントを提供している」
成果の限界と専門家の見解
しかし、この成果は一見すると思われるほど印象的ではない。
Sakana.aiはブログ投稿で、そのAIが時に「恥ずかしい」引用エラーを犯したことを認めている。例えば、ある手法を元の1997年の研究ではなく、2016年の論文に誤って帰属させていた。
また、Sakana.aiの論文は他の査読付き出版物ほど厳密な審査を受けていない。同社が初期の査読後に論文を取り下げたため、ワークショップ主催者が理論上それを拒否できる追加の「メタレビュー」を受けていない。
さらに、会議ワークショップの採択率は主要な「会議トラック」の採択率よりも高い傾向がある―Sakana.aiもブログ投稿で率直に言及している事実だ。同社によれば、AI生成研究のいずれもICLR会議トラックの出版に関する同社の内部基準を満たさなかったという。
アルバータ大学のAI研究者兼助教授であるMatthew Guzdial（マシュー・グズディアル）氏は、Sakana.aiの結果を「少し誤解を招くもの」と呼んだ。
「Sakana.aiのチームはいくつかの生成された論文から採択されそうな出力を選択するという人間の判断を用いていた」と彼は電子メールで述べた。「これが示しているのは、人間とAIの組み合わせが効果的であり得るということであって、AI単独で科学的進歩を生み出せるということではない」
AIを専門とするキングスカレッジロンドンの研究員Mike Cook（マイク・クック）氏は、査読者とワークショップの厳密さに疑問を呈した。
「この新しいワークショップのようなものは、より若手の研究者によってレビューされることが多い」と彼はTechCrunchに語った。「また、このワークショップは失敗と困難に関するものである―素晴らしいことで、私も以前同様のワークショップを運営したことがある―が、AIが失敗について説得力を持って書くことは比較的容易だろう」
AIと科学研究の将来
Cook氏は、AIが人間らしい文章を書くことに優れていることを考えれば、AIが査読を通過できることに驚かないと付け加えた。部分的にAI生成された論文がジャーナルのレビューを通過することも新しいことではなく、これが科学にもたらす倫理的ジレンマも同様だと指摘した。
AIの技術的な欠点―幻覚を起こす傾向など―は、多くの科学者が重要な研究にAIを推奨することに慎重になる理由だ。さらに、専門家はAIが単に科学文献にノイズを生成するだけで、進歩を促進しないことを懸念している。
「我々は自問する必要がある―Sakana.aiの結果は、AIが実験を設計・実施することにどれだけ優れているかについてなのか、それとも人間にアイデアを売り込むことにどれだけ優れているか―AIがすでに得意としていることについてなのか」とCook氏は述べた。「査読を通過することと、分野に知識を貢献することの間には違いがある」
Sakana.aiは、そのAIが画期的な―あるいは特に斬新な―科学的研究を生み出せるとは主張していない点は評価に値する。むしろ、実験の目的は「AI生成研究の質を研究すること」であり、「AI生成科学に関する規範」の緊急な必要性を強調することだったと同社は述べている。
「[AI生成]科学がまずその本質で判断されるべきか、それに対するバイアスを避けるために難しい問題がある」と同社は記した。「今後も、この技術の状態に関して研究コミュニティと意見交換を続け、将来的に査読を通過することだけが目的となり、科学的査読プロセスの意味を大幅に損なうような状況に発展しないよう努める」
引用元：TechCrunch
Sakana claims its AI-generated paper passed peer review — but it’s a bit more nuanced than that
