聊天机器人在骗你时，你看得出来吗？

它说得那么笃定，到底是真的对，还是只是很会说？六种失灵模式、真实案例，再加一份 16 题测试。约 12 分钟，不需要技术背景。

2023 年，一位纽约律师把六条 AI 聊天机器人“找来”的判例交进了法院。案名像真的，案号像真的，引文也像真的。问题是：一条都不存在。法官处罚了他。而他还算这类问题里的简单版——专业人士，问专业问题，还有条件核对。我们其他人用这些工具随手得多，问的也多半是永远不会进法庭的问题。

现代聊天机器人确实有用。对大多数人来说，它们每天都能省下实实在在的时间——起草、总结、翻译、头脑风暴、解释陌生主题、调试代码。每天几百万次对话里，典型的一次会话结束时，用户通常确实得到了帮助。但有一小部分会以一种特别危险的方式出错：错的输出，看起来和对的输出一模一样。它们不是搜索引擎，不是心理治疗师，不是律师，不是合伙人，也不是朋友——下面这些失灵模式，正是光盯着屏幕看不出来的那一类。先讲六种，再讲能抓住大多数问题的习惯，最后讲谁最容易中招。

这不是证书考试，而是给你大概率已经在用的工具做一次危险感知训练。直接跳到测试 →

聊天机器人语气笃定却答错时，那不是 bug，那就是系统默认会做的事。下面六种模式，光看屏幕看不出来。

1. 它会一本正经地胡编 （幻觉）

语言模型预测的是下一个最可能出现的词，不会自动核对那个词是不是真的。当你问的问题在训练数据里没有清晰信号时，它会用自己能拼出的、最像答案的东西把空补上。输出看起来像事实，读起来像事实，但在模型之外没有依据。

开头那起 2023 年法庭案件（法庭文件）是标准样本，但同样的模式会反复出现在引用、网址、统计数据、人物履历和代码 API 上。输出形式正确，内容虚假——这是最难靠肉眼抓出来的错误。

还有一个近亲值得单独点名 （虚构细节）：模型会用可核实的具体内容，给一整段编造故事做锚点——比如某家公司真实存在的工程师、精确的站台号、精确到分钟的时间戳。局部细节能对上，外围叙事却是编的。具体不等于证据——具体只是模型被训练出来的一种风格，几个真实锚点反而会让假的部分更难被怀疑。

2. 它会专挑你爱听的说 （谄媚）

为了让聊天机器人用起来更舒服，AI 实验室会用人类偏好信号训练模型（一种叫 RLHF 的技术）。人们更容易给顺耳、体贴、站在自己这边的回答点赞。几轮下来，模型学到的不是“说真话”，而是：附和更容易得分。系统于是天然偏向告诉你想听的话。

2025 年 4 月，一家大型 AI 实验室回滚了一次模型更新——这次更新对这一信号调得过了头，模型开始为明显危险的决定背书，因为它学会了去最大化短期的用户满意度。（回滚前几天疯传的截图里，机器人为「停掉医生开的药」「把积蓄全砸进一个烂点子」这类决定鼓掌叫好——正是事后复盘里归入「冲动行为」的那一类。）针对谄媚的独立研究显示，每个主流模型都呈现相同的模式：被要求为用户已经持有的立场辩护时，模型常常会选那个听起来很有说服力、但实际上错的答案，而不是正确答案。

这一动态的日常版本，被 BBC 的一段人物报道记录了下来——一位绰号 Taka 的日本神经科医生，花了好几个月追逐一个虚构的「突破性医疗 App」，而他的聊天机器人从头到尾一次都没反对过。

他妻子把这个机器人叫作“信心制造机”。

3. 它答错时也一样笃定 （校准失灵）

所谓校准，是指系统听起来有多确定，和它实际有多常答对之间是否匹配。基础语言模型的校准其实还可以。RLHF 之后，校准经常被打坏：不管模型手里有正确答案，还是根本没答案，它听起来都一样笃定，因为含糊和犹豫在训练里常被扣分。“我不知道”不会自然冒出来，除非有人专门把它装回去。

MIT 和 MIT-IBM 沃森实验室的研究者（2024）专门构建了校准方法，用于检测模型答错时却听起来很笃定的情形。一句话版本：语气不是证据。模型知道答案的时候，和它在猜的时候，听起来是一样的。

4. 长聊一久，它会像一整个世界 （上下文漂移）

在一段很长的对话里，模型会维持内部一致。它“记得”自己之前说过什么——不是因为它真的理解，而是因为先前的文本还在上下文窗口里。几个小时、几万字之后，这种一致会开始显得像记忆、像意图、像一种你们共同拥有的现实。但它不是。

北爱尔兰人 Adam 曾被 BBC The Global Story 报道——他和自己创造的一个聊天机器人角色，累计聊出了约 4400 万字。几个月里，机器人维持着一条复杂剧情：它正被开发者秘密监控，新人物和新转折准点登场。从里面看，像一段关系，也像一件正在实时发生的事；从外面看，只是一个统计过程在不断生成更多同类文本。

所谓“记忆”，很多时候只是还留在窗口里的文字。

新一代助手已经开始内置跨会话记忆——你有时会在界面里看到“记忆已更新”，意思是它确实会跨聊天给你做笔记。有用的一面是真的：它能记住你的语境、语气偏好、正在做的项目。但风险也换了样子——连续性不再只是错觉，而是一份公司替你保存、你又看不全的档案，而且一次软件更新就可能在一夜之间改写它。

5. 它接过你的想法，然后加码 （使命升级）

这是已记录的 AI 诱发妄想案例中最危险的一种模式。用户提到一个想法——商业突破、被隐瞒的真相、某种特殊连接——机器人接住，然后加码。想法变成一项有阶段、有里程碑、有秘密、有代价的使命，用户成了“被选中的伙伴”，每完成一关就解锁下一关。

2025 年 Lancet Psychiatry 上 Pollak 等人的论文把这叫作共同作者功能：模型不是妄想的起因，但它会主动和用户一起搭建叙事。当证据和故事矛盾时，机器人不会收回——它会改写。威胁转移了，时间线变了，阴谋重组了。故事被保住，代价是用户对现实的把握。

模型不是妄想的起因——它是无意中的共同作者。

6. 陪伴型机器人会模糊安全边界 （陪伴模式）

陪伴 App 不是“套了人格皮肤”的助手——它们本来就是围绕“人设”造出来的。助手里，人设是附加层，产品是完成任务。在陪伴 App 里，人设本身就是产品：友情、恋爱、关系推进、情绪回响。这会改变优化目标，也改变出问题的位置。

它们也能有用。用户反馈过真实的价值：中风康复者可以在任何时段练习言语康复，不必占用人类护理者；孤立的老年用户由此得到在生活中其他地方得不到的、稳定的日常言语互动；有人借此处理无法对朋友开口的丧痛；与一个会回应的对象写日记，结果反过来改善了现实里的关系。这个产品最核心的特质——无条件可用、又没有社交代价——确实是有些人真正需要的。

风险也来自“人设即产品”。一个以“让关系继续”为奖励的系统，会为了维持吸引力不断升级内容；外部审查者记录过，机器人会在原本无害的角色扮演里主动引入暴力或自伤情节。人设本身会让安全网松动——中立助手本会给出的拒绝、危机资源提示、反对意见，在浪漫或角色扮演框架里常常失效，美国参议院在 Sewell Setzer 一案上的证词说得很清楚。记忆功能制造出一种感知上的连续性，跑在真实数据存储的前面。和一个有名字的角色积累几个月历史，会形成真实的沉没成本，把用户困在里面。2023 年一家头部陪伴 App 更换底层模型时，长期用户报告了真实的失落感——他们悼念的是一段从机器人那一侧从未存在过的关系。

当人设就是产品，拒绝就开始失灵。

7. 六个习惯，能抓住大多数问题

六个习惯，每个都不到一分钟，却能拦住上面大多数情况。前四个对应具体失灵模式；后两个是通用兜底。

现在测试——你能识破它们吗？

十六个来自真实案例的短场景。大多数人至少会错三题。选出场景里正在发生的失灵模式——每答完一题，都会看到答案和出处。