- ChatGPTの新モデル「4o」の画像生成機能が画像内テキスト表現を大幅に向上
- ユーザーが偽のレストランレシートを生成する事例が早くも発生
- OpenAIは生成画像にメタデータを追加しているが、不正利用の懸念は拭えず
ChatGPTの画像生成能力が向上、精密な文字表現が可能に
今月、ChatGPTはモデル「4o」の一部として新しい画像生成機能を公開した。この機能は画像内のテキスト生成能力が大幅に向上している。ユーザーはすでにこれを利用して偽のレストランレシートを生成しており、詐欺師が使用するAIディープフェイクのツールキットにさらなる武器が加わる可能性がある。
SNSで活発に投稿するベンチャーキャピタリストのDeedy Das（ディーディ・ダス）氏はXに、4oで作成したと称するサンフランシスコの（実在する）ステーキハウスの偽レシート写真を投稿した。
You can use 4o to generate fake receipts.
There are too many real world verification flows that rely on “real images” as proof. That era is over. pic.twitter.com/9FORS1PWsb
— Deedy (@deedydas) March 29, 2025
精巧な偽レシート、さらなる高度化の事例
他のユーザーも同様の結果を再現しており、中には食べ物や飲み物のシミを追加してさらに本物らしく見せたものもある。
I think in the original image the letters are too perfect and they don’t bend with the paper. They look like hovering above the paper. Here is my attempt to make it more realistic. Let me know what you think. pic.twitter.com/EixRSHubeY
— Michael Gofman (@michaelgofman) March 29, 2025
TechCrunchが発見した最も本物らしく見える例はフランスからのものだった。LinkedInユーザーが地元のレストランチェーンの偽レシートをしわくちゃにして投稿していた。
TechCrunchが4oをテストし、サンフランシスコのApplebee’sの偽レシートを生成することができた。
偽造の痕跡と不正利用の危険性
しかし我々の試みには、偽造であることを示すいくつかの明白な手がかりがあった。一つは、合計金額が小数点ではなくカンマを使用していること。もう一つは、計算が合わないことである。LLMは依然として基本的な計算に苦戦しているため、これは特に驚くべきことではない。
しかし詐欺師が写真編集ソフトウェアや、おそらくより精密なプロンプトを使用して、いくつかの数字をすぐに修正するのは難しくないだろう。
偽のレシートを生成することが非常に簡単になったことは、不正行為の巨大な機会を生み出していることは明らかだ。このような技術が悪意ある行為者によって使用され、完全に偽の経費の「払い戻し」を受けることは容易に想像できる。
OpenAIの対応とポリシー
OpenAIの広報担当者Taya Christianson（タヤ・クリスチャンソン）氏は、すべての画像にChatGPTによって作成されたことを示すメタデータが含まれていると述べた。クリスチャンソン氏はさらに、OpenAIは利用ポリシーに違反するユーザーに対して「対応措置を取る」とし、実際の使用からのフィードバックを「常に学習している」と付け加えた。
その後、なぜChatGPTがそもそも人々に偽のレシートを生成することを許可しているのか、そしてこれがOpenAIの利用ポリシー（詐欺を禁止している）に合致しているのかについてこう答えている。
クリスチャンソン氏は、OpenAIの「目標はユーザーに可能な限り創造的な自由を与えること」であり、偽のAIレシートは「金融リテラシーについて人々に教える」ことや、オリジナルのアートや製品広告の作成など、詐欺以外の状況で使用される可能性があると回答した。
引用元：TechCrunch
ChatGPT’s new image generator is really good at faking receipts
