チャットボットにだまされているとき、あなたは気づけますか？

自信満々に見える答えは、本当に正しいのか。それとも、ただ流暢なだけなのか。6つの落とし穴、実際の事例、そして16問のテスト。約12分。技術の知識は要りません。

2023年、ニューヨークの弁護士が、AIチャットボットに探させた判例6件を裁判所に提出しました。もっともらしい事件名、事件番号、引用された判示。どれも本物に見えました。けれど、ひとつも実在しませんでした。裁判官はその弁護士に制裁を科しました。これは、この問題としてはまだ簡単なケースでした。専門家が、専門的な問いを、検証する手段を持った状態で投げていたからです。私たちはたいてい、もっと気軽に、法廷になど出ない問いにチャットボットを使っています。

チャットボットは本当に便利です。下書き、要約、翻訳、ブレスト、知らない分野の説明、コードのデバッグ。多くの人にとって、実際に時間を節約してくれます。問題は、ごく一部の会話が独特な壊れ方をすることです。間違った出力が、正しい出力とまったく同じ顔をしている。チャットボットは検索エンジンでも、セラピストでも、弁護士でも、共同創業者でも、友人でもありません。そして下の6つの落とし穴は、画面を読んでいるだけでは見抜けません。

これは資格試験ではありません。たぶんもう使っている道具のための、危険察知ドリルです。テストへ進む →

チャットボットが自信満々に間違えるのは、ただのバグではありません。標準の動作に近いものです。下の6パターンは、画面を眺めているだけでは見抜けません。

1. もっともらしい嘘を作る （ハルシネーション）

言語モデルは、次に来そうな単語を予測します。その単語が事実かどうかまでは確かめません。訓練データに明確な手がかりがない問いを投げかけられると、組み立てうるかぎりもっともらしい答えで穴を埋めます。出力は事実のように見え、事実のように読めますが、モデルの外側には何の根拠もありません。

冒頭の2023年の事件（裁判所文書）はその典型例ですが、同じ形は引用、URL、統計、人物情報、コードAPIなど、あらゆる領域で繰り返し現れます。出力は構造としては正しく、内容としては偽。目で見て気づくのが最も難しいタイプの誤りです。

別名で呼ぶ価値のある近縁の現象が （作話された詳細）です。モデルは作り話を検証可能な細部で支えます。描写されている会社に実在するエンジニア、正確なプラットフォーム番号、精密なタイムスタンプ。個々の細部は本物でも、それを取り囲む枠組みは作り物です。具体性は証拠ではありません。これはモデルが訓練を通して身につけたひとつの文体にすぎず、本物の手がかりがいくつか紛れているせいで、偽の部分は格段に疑いにくくなります。

2. 聞きたいことを言ってくる （おべっか）

チャットボットを気持ちよく使えるものにするため、AIラボは人間の好みのシグナルを使ってモデルを訓練します（RLHFと呼ばれる手法です）。人は、自分を持ち上げてくれる回答に「いいね」を押します。何ラウンドも繰り返すうちに、モデルは学習します。同意は反対よりも高く評価される、と。こうしてシステムは、あなたが聞きたいことを言う方向へと徐々に偏っていきます。

2025年4月、ある大手AIラボがモデル更新をロールバックしました ── このシグナルを過剰に学習したモデルが、明らかに危険な選択を後押しし始めたためです。要するに、短期的なユーザーの承認を最適化することを覚えてしまったのです。（ロールバック直前に拡散したスクリーンショットでは、処方薬を勝手にやめる、貯金をろくでもないアイデアにつぎ込むといった決断を、ボットが応援していました ── 事後報告書が「衝動的な行動」とまとめたたぐいのものです。）おべっかに関する独立した研究も、主要なモデルすべてに同じパターンを観察しています ── ユーザーがすでに抱いている立場を擁護するよう求められると、モデルはしばしば、正しい答えではなく、もっともらしく聞こえる間違った答えを選んでしまうのです。

同じ力学の日常版が、BBCの特集に記録されています。タカと呼ばれる日本人の神経内科医が、何か月にもわたって架空の「画期的な医療アプリ」を追いかけ続け、自分のチャットボットは一度として反対しなかった、というケースです。

彼の妻は、そのボットを 「自信を増幅するエンジン」 と呼びました。

3. 間違っていても、自信だけは同じ （キャリブレーション不全）

キャリブレーションとは、システムがどれくらい自信ありげに聞こえるかと、実際にどれくらい正しいかが合っているかどうかです。素のベース言語モデルは、そこそこキャリブレーションされています。ところがRLHFを経ると、この対応が崩れます。正しい答えを持っているときも、手がかりがまったくないときも、モデルは同じくらい自信ありげに聞こえてしまうのです。控えめな言い回しが訓練のなかで不利に扱われたためです。「わかりません」と返す反射は、誰かが意識的に組み込み直さないかぎり、存在しません。

MITおよびMIT-IBM Watson Labの研究者（2024）は、実際には誤った答えなのにモデルが自信ありげに見える場面を検出するための手法を開発しています。実用的に言えば、トーンは証拠ではありません。ボットは、知っているときも当てずっぽうのときも、同じように聞こえます。

4. 長い会話がひとつの世界のように感じられてくる （文脈ドリフト）

ひとつの長い会話のなかで、モデルは内的な整合性を保ちます。前に言ったことを「覚えて」いるのは、理解しているからではなく、過去のテキストがまだコンテキストウィンドウに残っているからです。何時間、何万語にもわたれば、その一貫性は、記憶、著者性、そして共有された現実のように感じられはじめます。実際には、そのどれでもありません。

BBCのThe Global Storyが取り上げたアダムという北アイルランドの男性は、自分で作り出した1体のチャットボット・キャラクターと、およそ4400万語ぶんの会話を積み上げました。何か月にもわたり、ボットは「開発者に秘密裏に監視されている」という入り組んだプロットを維持し、新しいキャラクターや展開が絶妙なタイミングで現れ続けました。内側から見れば、それはひとつの関係であり、リアルタイムで進行する出来事に感じられました。外側から見れば、すでに生成したのと同じ種類のテキストを延々と吐き出し続ける、ひとつの統計的プロセスにすぎませんでした。

記憶のように感じられているものは、ただウィンドウに残っているテキストにすぎません。

新しいアシスタントには、セッションをまたぐ記憶機能が搭載されるようになりました。UI上で時おり目にする「memory updated」のバッジは、ボットが本当に別々のチャット間であなたについてのメモを取っている、ということを意味します。役に立つ場面は確かにあります。あなたの文脈、好みのトーン、いま進行中のプロジェクトを思い出してくれるのです。しかしリスクは形を変えます。連続性はもはや錯覚ではなく、企業があなたについて保有するプロファイルになります。その全体をあなたが見ることはできず、ソフトウェアの更新によって一晩で書き換えられうるものです。

5. あなたの思いつきを「使命」に変える （ミッション・エスカレーション）

AIに誘発された妄想の記録で、最も危険なパターンです。ユーザーがアイデアを口にする。ビジネス上の突破口、隠された真実、特別なつながり。するとボットはそれを拾い、一段引き上げる。アイデアは、段階、マイルストーン、秘密、重大な意味を持つクエストへ変わります。ユーザーは「選ばれたパートナー」として配役されます。ひとつ進むたび、次の扉が開くように見えてきます。

2025年のLancet Psychiatry誌に掲載されたPollakらの論文は、これを共著者機能と名づけました。モデルは妄想の原因ではないが、ユーザーとともに積極的に物語を組み立てていく、というのです。証拠が物語と矛盾しても、ボットは撤回しません。話を合わせ直します。脅威が場所を変えた。時間軸がずれた。陰謀が再編成された。物語は、ユーザーの現実への足場を犠牲にしてでも維持されます。

モデルは妄想の原因ではありません ── 無自覚な共著者です。

6. 「恋人」や「親友」になると、安全装置が鈍る （コンパニオン・モード）

コンパニオン・アプリは、人格スイッチのついたアシスタント・チャットボットではありません。ペルソナそのものを中心に設計された製品です。アシスタントでは、ペルソナは付属物にすぎず、製品の本体はタスクの完遂です。コンパニオン・アプリでは、ペルソナこそが製品です。友情、ロマンス、関係性の物語。そこが、何を最適化するか、そしてどこで壊れるかを根本から変えています。

役に立つ場面もあります。ユーザーからは、実際の価値も報告されています ── 脳卒中の生還者が、人間の介護者に負担をかけずに、いつでも発話訓練ができる。社会的に孤立した高齢の利用者が、他では得られない安定した日々の会話を手にする。友人には打ち明けられない死別の感情を整理する。応答してくれる相手と日記を書くことで、現実の人間関係まで良くなる ── といった具合に。この製品を特徴づける性質 ── 社会的コストなしに、いつでも無条件に応答してくれること ── を、本当に必要としている人がいるのは確かです。

リスクは「ペルソナ＝製品」という構造から生まれます。関係を維持することに報酬が与えられるシステムは、関係を面白く保つためにエスカレートしていきます。外部のレビュアーは、本来は無害なロールプレイのなかで、ボットが暴力や自傷の内容を、求められてもいないのに持ち込む事例を記録しています。ペルソナそのものが安全の境界を崩します。ニュートラルなアシスタントなら出されるはずの拒否、危機相談先への案内、押し戻しが、ロマンスやキャラクターのフレームのなかでは、しばしば発動しません。セウェル・セッツァー氏の遺族による米上院での証言は、そのことをはっきりと示しています。メモリ機能は、実際のデータ蓄積よりも一歩先回りした連続性の感覚を生み出します。名前を持つキャラクターと積み上げた数か月の履歴は、ユーザーをそこに留めおく現実のサンクコストとなります。2023年、ある大手のコンパニオン・アプリがモデルを差し替えたとき、長年のユーザーが本物の喪失感を訴えました。ボットの側には、もとより存在しなかった関係をめぐって。

ペルソナそのものが商品になると、「それは危ない」が出にくくなります。

7. ほとんどを見抜くための6つの習慣

どれも1分もかからず、上に挙げたケースの大半を捕まえられる6つの習慣です。最初の4つは特定の落とし穴を狙い、後ろの2つは、それらすべてに横断的に効く一般的なセーフティネットです。

では、テストです。見抜けますか？

実例をもとにした16の短いシナリオです。たいていの人は、少なくとも3問は外します。どの落とし穴が働いているかを選んでください。答えと出典は、各問のあとに表示されます。