要点まとめ
- Metaの幹部らがLlama 3開発中、OpenAIのGPT-4打倒に執着していた内部メッセージが明るみに。
- 同社は6万4000台のGPUを投入し、最先端モデル開発を加速。
- 著作権で保護された学術書籍データの使用に関する判断も争点に。
- マーク・ザッカーバーグCEOは2025年以降、Llamaを業界最先端のモデルにする方針を示唆。
GPT-4対抗への執着
Meta生成AI部門のVPアーマド・アル・ダーレ氏は2023年10月、同社研究者ヒューゴ・トゥブロン氏宛のメッセージで「正直に言って…我々の目標はGPT-4でなければならない。6万4000台のGPUが来る！最先端技術を構築してこのレースに勝つ方法を学ぶ必要がある」と述べた。
競合他社への姿勢
Metaはオープンなモデルをリリースしているが、同社のAIリーダーたちは、API経由でのみアクセス可能なAnthropicやOpenAIのモデルに対抗することに注力していた。フランスのAIスタートアップMistralについては、アル・ダーレ氏が「我々にとっては取るに足らない」と一蹴する発言をしている。
学習データをめぐる課題
トゥブロン氏はLlama 2で使用したデータセットの組み合わせを「良くなかった」と指摘。Llama 3の改善に向け、Cengage Learning、Macmillan Learning、McGraw Hill、Pearson Educationなどの著作権で保護された書籍を含むLibGenデータセットの使用を検討していたことが明らかになった。
ザッカーバーグの野心
マーク・ザッカーバーグCEOは2024年7月の書簡で「今年、Llama 3は最先端のモデルと競争力を持ち、一部の分野ではリードしている。来年以降、将来のLlamaモデルは業界で最も先進的なものになると期待している」と述べている。
2024年4月にリリースされたLlama 3は、Google、OpenAI、Anthropicの非公開モデルと競争力を持ち、Mistralのオープンモデルを上回る性能を示した。しかし、モデルの学習に使用されたデータは、複数の訴訟で精査の対象となっている。
引用元：TechCrunch
Meta execs obsessed over beating OpenAI’s GPT-4 internally, court filings reveal
