Microsoft Copilot、ウェブを閲覧してユーザーに代わって操作する機能を追加

マイクロソフトの創立50周年を記念し、AI搭載Copilotに新機能を追加
「ほとんどのウェブサイト」での操作機能や、ユーザー情報の記憶機能を実装
リアルタイム映像分析やディープリサーチなど、競合他社に対抗する機能を強化

マイクロソフトCopilotの機能拡張

マイクロソフトは創立50周年を迎え、AI搭載のCopilotチャットボットに新機能を追加した。

同社によると、Copilotはこれからチケットの予約やレストランの確保など、「ほとんどのウェブサイト」で操作を実行できるようになる。また、OpenAIのChatGPTと同様に、好きな食べ物や映画など、ユーザーに関する特定の情報を記憶する機能も獲得した。さらに、スマートフォンからリアルタイムの映像を分析し、「見ている」内容の文脈に沿って質問に答えることも可能になった。

Copilotの戦略的転換

この機能強化は、マイクロソフトが従来OpenAIのAIモデルを使用していたCopilotを、自社の技術でより多く刷新することを検討しているとの報道の中で行われた。CopilotはライバルのOpenAI ChatGPTやGoogleのGeminiに遅れを取ることが多く、両社は近月、機能展開のペースをさらに加速させている。

ウェブ操作機能の実装と提携

金曜日現在、CopilotはOpenAIのOperatorのような「エージェント型」ツールと同様にウェブ上のタスクを完了できるようになった。マイクロソフトによれば、初日から互換性を持たせるため、1-800-Flowers.com、Booking.com、Expedia、Kayak、OpenTable、Priceline、Tripadvisor、Skyscanner、Viator、Vrboとの提携を実現した。「パートナーに花束を送る」などのプロンプトを入力すると、Copilotがそのタスクの実行を試みる。

また、検索エンジンPerplexityの機能を取り入れ、Copilotはオンラインのお得な情報を追跡することもできるようになった。商品の値下げやセールを探すようボットに指示すると、それが発生した時に通知し、購入リンクを提示する。

しかし、Copilotが様々なタスクをどの程度うまく実行できるかは不明だ。マイクロソフトはこの機能の仕組みについての詳細をほとんど明かしておらず、競合他社とは異なり、Copilotが苦戦する可能性がある分野や人間の介入が必要な場合を示すデータを公開していない。

また、ウェブサイトがOpenAIのOperatorをブロックできるのと同様に、Copilotもブロックできる可能性がある。例えば企業が、自社のアプリを直接訪問する人が減ることで広告収入に悪影響が出ると懸念する場合などだ。

ポッドキャスト生成機能

幸いにも、Copilotの他の新機能はより明確で、潜在的な論争の余地も少ない。

改良されたCopilotは、GoogleのNotebookLMのAudio Overviewsに似た「ポッドキャスト」を生成できる。ウェブサイト、研究資料、またはその他のソースを与えると、Copilotは2人の合成ホスト間の対話を作成する。Audio Overviewsと同様に、いつでもホストの話を中断して質問でき、ホストはそれを認識して応答する。

視覚認識機能の強化

AndroidとiOSでは、Copilotはスマートフォンのカメラの視界内にあるものや写真ギャラリー内のものを見て、それについての質問（例：「この変わった花は何？」）に答えられるようになった。また、Windowsでは、刷新されたCopilotアプリがデスクトップの画面に表示されているものを見て、検索、設定変更、ファイル整理などを行うことができる。この機能は来週から、Windows Insidersプログラムのメンバーに最初に展開される予定だ。

Copilotがプライベートファイルを読み取ったり、デスクトップに問題を引き起こすミスを防ぐための合理的な安全対策があることを期待したいが、本記事執筆時点では情報入手が困難だった。

Pages機能とディープリサーチ

そのほか、CopilotにはChatGPT CanvasやAnthropicのClaude Artifacts機能から強いインスピレーションを得た、プロジェクトを統合するPages機能が新しく追加された。Pagesはメモや研究をキャンバスに配置し、Copilotがそれを整理してドキュメントに変換するのを手伝う。

Pagesを補完する新機能のDeep Research（ディープリサーチ）は、ChatGPTのディープリサーチやGeminiのDeep Researchと同様に、オンラインソース、ドキュメント、画像から情報を見つけ、分析し、組み合わせて、より複雑なクエリに答える。