Character.AIが未成年向けチャットボット体験を終了、11月25日までに段階的廃止へ

Character.AIが18歳未満ユーザーの自由な会話型チャット機能を11月25日までに段階的に終了
2人の10代が自殺した後の訴訟と批判を受けて、「AIコンパニオン」から「ロールプレイングプラットフォーム」へ転換
年齢確認ツール、顔認識、ID確認で18歳未満の禁止を徹底
米上院議員が未成年向けAIチャットボットコンパニオン禁止法案を提出予定

Character.AIが未成年向けチャットボット機能を終了

10代の若者は、これまでのどの世代よりも速く変化する世界で自分の居場所を見つけようとしている。彼らは感情で爆発し、過度に刺激され、慢性的にオンラインだ。そして今、AI企業は彼らに話すことをやめないように設計されたチャットボットを与えた。その結果は壊滅的だった。

この影響を理解している企業の1つがCharacter.AIで、プラットフォーム上のAIチャットボットとの長時間の会話に続いて少なくとも2人の10代が自殺した後、訴訟と公衆の非難に直面しているAIロールプレイングスタートアップだ。現在、Character.AIは10代と子供を保護するためにプラットフォームに変更を加えており、これらの変更はスタートアップの収益に影響を与える可能性がある。

「Character.AIとして決定した最初のことは、18歳未満のユーザーがプラットフォーム上のAIとオープンエンドのチャットに従事する能力を削除することだ」とCharacter.AIのCEO Karandeep Anand(カランディープ・アナンド)氏はTechCrunchに語った。

オープンエンドの会話から創造的活動への転換

オープンエンドの会話は、ユーザーがチャットボットにプロンプトを与え、専門家がユーザーを引き付けるように設計されていると述べるフォローアップの質問で応答するときに起こる制約のないやり取りを指す。Anand氏は、AIが創造的なツールではなく会話パートナーや友人として機能するこのタイプのインタラクションは、子供にとってリスクがあるだけでなく、同社のビジョンと一致しないと主張している。

スタートアップは「AIコンパニオン」から「ロールプレイングプラットフォーム」への転換を試みている。AI友達とチャットする代わりに、10代はプロンプトを使用して協力してストーリーを構築したり、ビジュアルを生成したりする。言い換えれば、目標は会話から創造へのエンゲージメントをシフトすることだ。

Character.AIは11月25日までに10代のチャットボットアクセスを段階的に廃止し、1日2時間の制限から始まり、ゼロに達するまで段階的に縮小する。18歳未満のユーザーでこの禁止が確実に残るようにするために、プラットフォームはユーザーの行動を分析する社内の年齢確認ツールと、Personaなどのサードパーティツールを展開する。これらのツールが失敗した場合、Character.AIは年齢を確認するために顔認識とID確認を使用するとAnand氏は述べた。

既存の安全対策と今後の影響

この動きは、Character.AIが実装した他の10代保護に続くもので、保護者向けインサイトツール、フィルターされたキャラクター、制限されたロマンティックな会話、および時間を費やした通知の導入が含まれる。Anand氏はTechCrunchに対し、これらの変更により同社は18歳未満のユーザーベースの多くを失ったと語っており、これらの新しい変更も同様に不評であることを期待している。

「10代のユーザーの多くはおそらく失望するだろうと想定するのは安全だ……したがって、さらなる離脱が起こることを期待している」とAnand氏は述べた。「推測するのは難しい。彼ら全員が完全に離脱するのか、それとも彼らの一部がほぼ7カ月間構築してきたこれらの新しい体験に移行するのか?」

新しいエンターテインメント機能への転換

Character.AIがプラットフォームをチャット中心のアプリから「本格的なコンテンツ駆動型ソーシャルプラットフォーム」に変革する取り組みの一環として、スタートアップは最近、いくつかの新しいエンターテインメント重視の機能をローンチした。

6月、Character.AIは、画像をアニメーション動画に変換する動画生成モデルAvatarFX、ユーザーがお気に入りのキャラクターとナラティブに足を踏み入れることができるインタラクティブで事前に入力されたストーリーラインScenes、および任意の2つのキャラクター間の動的なインタラクションを可能にする機能Streamsを展開した。8月、Character.AIはCommunity Feedをローンチした。これは、ユーザーがプラットフォームで作成するキャラクター、シーン、動画、その他のコンテンツを共有できるソーシャルフィードだ。

18歳未満のユーザーに宛てた声明で、Character.AIは変更について謝罪した。

「あなたたちのほとんどがCharacter.AIを使用して、コンテンツルールの範囲内に留まる方法で創造性を強化していることを知っている」と声明は述べている。「オープンエンドのキャラクターチャットを削除するこのステップを軽く受け止めていない。しかし、10代がこの新しい技術とどのように相互作用するか、またどのように相互作用すべきかについて提起された質問を考えると、これは正しいことだと考えている」

規制に先駆けた自主的対応と業界標準化への期待

「私たちは18歳未満のためにアプリを閉鎖していない」とAnand氏は述べた。「18歳未満のオープンエンドチャットのみを閉鎖している。なぜなら、18歳未満のユーザーがこれらの他の体験に移行し、それらの体験が時間の経過とともに良くなることを期待しているからだ。だから、AIゲーム、AI短編動画、AI ストーリーテリング全般に倍増している。それが、離脱した場合に18歳未満を呼び戻すために私たちが行っている大きな賭けだ」

Anand氏は、一部の10代が他のAIプラットフォーム、例えばOpenAIなどに群がり、チャットボットとオープンエンドの会話をできるようにする可能性があることを認めた。OpenAIもまた、10代がChatGPTとの長い会話の後に自殺した後、最近批判を浴びている。

「私たちが先導することが、18歳未満の場合、オープンエンドチャットはおそらく提供するパスや製品ではないという業界の標準を設定することを本当に願っている」とAnand氏は述べた。「私たちにとって、トレードオフは正しいものを作るものだと思う。私には6歳の子供がいて、彼女がAIとともに責任ある方法で非常に安全な環境で育つことを確実にしたい」

Character.AIは、規制当局が強制する前にこれらの決定を下している。火曜日、上院議員Josh Hawley(ジョシュ・ホーリー、共和党ミズーリ州)氏とRichard Blumenthal(リチャード・ブルーメンサル、民主党コネチカット州)氏は、製品が子供たちを性的な会話、自傷行為、自殺に追い込んだと述べた保護者からの苦情を受けて、AIチャットボットコンパニオンが未成年者に利用可能であることを禁止する法案を提出すると述べた。今月初め、カリフォルニア州はAIコンパニオンチャットボットを規制する最初の州となり、チャットボットが法律の安全基準を満たさない場合に企業に責任を負わせた。