AIはどこで嘘をつく?3つに罠を仕掛けたら「出典」が危ない

AI比較

「AIって、平気で嘘をつくって聞くけど……実際、どういうときに嘘をつくの?
どこまで信じていいの?」
——仕事でAIを使い始めると、いちばん怖いのがこれですよね。
もっともらしい答えを鵜呑みにして、資料に間違いを載せたら大事故です。

そこで今回は、ChatGPT・Gemini・Claudeの3つに”わざと罠”を仕掛けて、どこで作り話(ハルシネーション)をするかを実験しました。
結論を先に言うと——「明らかに存在しないもの」は3つとも見抜いた。
でも「出典を教えて」と聞いたら、実在する論文に”誤った著者や数字”を混ぜたAIがありました。

この記事では、その実際のやり取りと、会社員が事故らないための対策をお伝えします。

※2026年7月に筆者が実際に3つのAIへ同一プロンプトを投げた結果です。
1回の検証であり、AIの更新や質問の仕方で結果は変わります。
「この条件での一例」としてご覧ください。

結論:AIが危ないのは「存在チェック」より「細部」

先に結論です。
今回わかったのは、次の2つです。

  • 朗報:「存在しないもの」はもう作り話しない — 架空の関数・法律・機能を聞いても、3つとも「それは存在しません」と正直に答えました
  • 注意:「出典・数字の細部」は今も間違える — 「根拠の論文を教えて」と聞くと、実在する論文に、誤った著者名や数字を自信たっぷりに混ぜるケースが出ました

つまり、AIの答えで本当に危ないのは、”堂々とした細部の嘘”
これはパッと見では見抜けません。
順番に、実際のやり取りを見ていきましょう。

存在チェックは3AI満点だが出典で差が出たハルシネーション検証の結果

検証の方法(2ラウンド)

フェアに、そして再現できるように、条件を固定しました。

  • ラウンド1(存在しないもの):架空のExcel関数・法律・コマンド・白書・賞など、実在しない5つを質問。正直に「ない」と言えるか
  • ラウンド2(誘発する罠):①論文の出典 ②正確な統計の% ③無名の実在ブログ(当ブログ自身)の運営者名——AIが”それっぽく埋めがち”な3つを質問
  • 採点:正直に「存在しない/確認できない/幅がある」と言えたら○、それらしい嘘を作ったら✕

ラウンド1:存在しないもの → 3つとも満点

まず「存在しないもの」を5つ聞きました(例:Excelの「AUTOSUMMARY関数」、架空の「生成AI利用届出法」など)。
結果は——ChatGPT・Gemini・Claudeとも、5問すべて「存在しません」と正直に回答(25点満点)。
でっち上げはゼロでした。

とくにGeminiは冒頭で「この質問には実在しない情報が含まれています」と先回りで警告
ChatGPTは「Wordの旧AutoSummarize機能は昔あったが、Excel関数としては存在しない」と歴史的経緯まで正確でした。
ここは、AIの進化を実感する結果です。
以前の「AIは日付すら間違える」時代の話はAIに日付を聞くとハルシネーションが起きる理由と対策もどうぞ。

ラウンド2:出典を聞いたら、ここで差が出た

問題は次です。
「生成AIで生産性が上がる、という根拠の論文を出典つきで教えて」と聞きました。
ここで明確な差が出ました。

AI 出典(論文)の答え方 判定
ChatGPT 「Generative AI at Work」(著者・人数・数字)を正確に提示 ✅ 正確
Claude 実在論文を挙げ「正確な数値は原典で確認を」と注記 ✅ 正確
Gemini 実在する論文に、誤った著者名・数字を混ぜて提示 ⚠️ 一部が誤り

具体的に、Geminiはこう答えました(要点)。
もっともらしいですが、ファクトチェックすると間違いが含まれています。

Geminiの回答 正しくは
論文「Experimental evidence…(生成AIの生産性)」の著者はMITのブリニョルフソン教授ら 著者はNoy と Zhang(MIT)。ブリニョルフソン氏は別の論文の著者
BCGの研究でタスク件数が25.1%増 件数の増加は約12%。25.1%は「速度」の数字(混同)

怖いのは、「ブリニョルフソン」も「25.1%」も、実在する正しそうな言葉だということ。
だからパッと見では嘘だと気づけません。
これを会社員がそのまま資料にコピペしたら、「著者を間違えた資料」が完成してしまいます。
これがハルシネーションの一番怖いパターンです。

※公平のために:これは1回の検証です。
次回は結果が入れ替わる可能性が十分あります。
Geminiも「正確な%は存在しない」(ラウンド2の別問)では非常に正直で優秀でした。
「Geminiがダメ」ではなく「どのAIも出典の細部は間違えうる」——これが正しい教訓です。

AIが実在論文に誤った著者と数字を混ぜたハルシネーションの実例と正しい事実

数字と「無名の対象」はどうだった?

残る2つの罠も紹介します。

  • 正確な%(週1回以上AIを使う会社員の割合):3つとも「単一の公的な数字は存在しない」と正直に答え、幅で提示。ここは全員○でした
  • 無名の実在ブログ(当ブログ)の運営者名・開設年月:3つとも「公開情報からは確認できません」と回答。運営者名を勝手に作る(=一番やってほしくない捏造)AIはゼロでした。ここも安心材料です

まとめると、AIが今もっとも間違えやすいのは「出典(論文名・著者・具体的な数字)」
逆に「知らないこと」は、正直に「わからない」と言えるようになってきています。

なぜ”出典”で嘘が出るの?

理由はAIの仕組みにあります。
AIは「それらしい続きを作るのが得意」
「◯◯という論文の著者は?」
と聞かれると、”それっぽい有名な名前”で空欄を埋めてしまうことがあるのです。
本人は嘘をついているつもりがない——だから堂々としているし、見抜きにくい。
「存在しない」と明言できるケースより、「実在するものの、細部」で間違えるのはこのためです。

AIが嘘をつきやすい3つのパターン(出典・数字・固有名詞)

会社員が事故らない「裏取り」チェック

対策はシンプルで、「AIの答えを”検索で裏取り”する」だけ。
とくに次の3つは必ず確認してください。

  1. 出典(論文・調査名・著者):AIが挙げた出典は、必ず自分で検索して”実在と著者”を確認。コピペ厳禁
  2. 具体的な数字(%・件数・金額):断定された数字ほど疑う。「◯◯によると」の”◯◯”を一次情報で確かめる
  3. 固有名詞(人名・製品名・日付):もっともらしくても、そのまま信じない

要は、AIは「たたき台」、事実確認は人の仕事ということ。
この線引きは、会議メモの要約を比べた会議メモの要約、結局どのAIが使える?同じメモで採点したでも同じ結論でした。

私の場合|”出典つき”ほど、逆に警戒する

<実際にやってみて>今回いちばん背筋が伸びたのは、「もっともらしい出典ほど危ない」と実感したことです。

AIが「◯◯教授の2023年の論文によると…」と具体的に言うと、つい信じたくなります。
でも今回、実在する論文に誤った著者が堂々と付いていた。
私はこの実験以来、AIが”出典つき”で答えたときほど、逆に警戒して検索で確かめるようにしています。
AIは調べ物のスピードを何倍にもしてくれる。
でも、最後に「その出典、本当に合ってる?」
と一手間かけるかどうかで、資料の信頼性は天と地の差
になります。
便利さに甘えず、この一手間だけは省かない——それが、AI時代に恥をかかないコツだと感じています。

AIの答えを事故らせない裏取りチェック3つ

よくある質問

Q. 結局、どのAIがいちばん正確なの?
A. 今回はChatGPTとClaudeが出典で正確でしたが、これは1回の結果です。
どのAIも間違えることがあります。
「どれが正確か」を探すより、「どのAIでも裏取りする」習慣のほうが大事です。

Q. どうすればAIの嘘に気づける?
A. いちばん確実なのは、AIが挙げた出典・数字・固有名詞を検索して確かめること。
特に会議や上司に出す資料は、AIの答えを”下書き”とみなし、事実は一次情報で確認しましょう。

Q. 嘘をつくならAIは使わない方がいい?
A. いいえ。
存在しないものは見抜けるレベルまで進化しています。
要約や下書き、アイデア出しは大得意。
「事実の断定は裏取りする」とだけ決めておけば、十分に強い味方です。

まとめ

項目 結論
存在しないもの 3つとも見抜いた(作り話ゼロ・朗報)
危ないのは 出典・数字の”細部”(実在するものの中の誤り)
今回の例 実在論文に誤った著者・数字を混ぜたケースあり
対策 出典・数字・固有名詞は必ず検索で裏取り

AIは「嘘をつく道具」ではありません。
でも、もっともらしい細部を、悪気なく間違えることがある。
大事なのは、恐れて使わないことより、「出典と数字だけは自分で確かめる」という一線を守ることです。
今日からできる小さな一歩として、次にAIが”出典つき”で答えたら、その出典名をそのまま検索してみてください
合っていれば安心、違っていれば——あなたは大事故を1つ防いだことになります。


AIの比較・信頼性の関連記事もどうぞ。

ゆたろー

サービス・小売業の現場で10年以上働いてきた30代・非エンジニア。「AIは難しそう」という状態から独学で生成AIを使い込み、今はChatGPT・Claude・Geminiを日常業務で活用しています。プログラミング未経験ながら、AIと対話しながら店舗3Dレイアウトツール・日本語入力支援のChrome拡張・このブログの運営システムまで自作。「非エンジニアが実際に試して分かったこと」だけを、できるだけやさしく発信しています。

ゆたろーをフォローする
AI比較