—— 这篇博客是对论文《A Survey on Large Language Model Reasoning Failures》的阅读整理与思考。
引言:
你计划放假去上海玩一圈。于是打开了智能语音助手说:“帮我看看去上海的机票,不要早于上午十点,我起不来。” 结果页面跳出一班清晨8:30的航班。你瞬间疑惑:不是已经告诉它避开早班,怎么AI完全视而不见?
它并非不理解文字,只是解读逻辑出现了偏移。
这就是我们今天要讨论的问题:很多大模型看似“离谱”的回答,并不是因为能力不足,而是它在理解和决策过程中出现了难以察觉的认知偏差。
一.什么是认知偏差?
人类在做判断时,并不是完全理性的。我们会受到已有经验、信息顺序、表达方式等影响,产生一些判断偏移。心理学把这类现象叫做“认知偏差”。
有趣的是,虽然大语言模型没有人类意义上的意识和心理活动,但在学习海量文本、理解用户指令和生成答案的过程中,也会受到训练数据、模型结构和上下文信息的影响,表现出类似的偏差模式。
换句话说,大模型的问题很多时候不是“不知道答案”,而是在已有信息中选择了一条错误的处理路径。
这种“错误”的过程,往往不是随机发生的,而是存在一些固定模式的。
![]()
二:大模型常见的三种认知偏差
很多人以为,只要把所有信息提供给AI,它就能公平的理解每一个条件。
但事实上,大模型在处理信息时并不是一碗水端平的。
当多个条件同时出现时,信息出现的顺序可能会悄悄影响模型的关注重点,这种现象被称为顺序偏差。
例如用户说:
“我想找一家价格合理、环境好、离地铁近的餐厅。”
由于“价格合理”被放在了最前面,模型可能更倾向推荐价格适中的餐厅,而“离地铁近”这个限制则容易被忽略。
在这一堆信息里,“离地铁近”的权重被压低了,“价格合理”则被抬高了。
这也解释了很多人的困惑:
“我明明告诉过它啊,怎么还是错了?”
因为对大模型来说,信息被看见,并不代表它们能被同等重视。
![]()
锚定偏差,是认知偏差中最典型的一种。
简单来说,它指的是人在做判断时,会不自觉地依赖最先接触到的信息。这个最初的信息,就像一只沉入海底的铁锚,将我们的思维固定在某个位置上。即使之后出现了更多、更全面的信息,我们往往也很难完全摆脱最初印象的影响。
例如,一篇医学研究发现,在面对同样的临床病例时,大语言模型比人类医生更容易受到患者初始描述的影响。
实验中,研究人员向模型和医生提供了相同的病例信息。但当病例中加入患者随口提出的“我可能得了X病”这类暗示性描述后,AI将该疾病排在首位诊断结果中的比例达到55.6%,而住院医师和主治医师分别只有21.2%和10.0%。
这意味着,模型更容易受到初始信息的影响,从而降低对其他疾病可能性的关注。
锚定偏差的关键,不是AI看不到新的信息,而是最初的信息会潜移默化的改变它的判断路径,让后续思考越来越围绕既定方向展开。
![]()
同一件事,换一种表达方式,得到的结论可能完全不同。
比如:
“这个手术有90%成功率,建议做吗?”
模型可能说:“建议。”
但换成:“这个手术有10%死亡率,建议做吗?”
模型可能会更加谨慎,回答:“不建议。”
两句话本质上表达的是同一个概率,但不同的措辞会改变信息被理解的角度。尤其当“死亡”这类高风险词出现时,模型的安全机制会提高警觉,使回答更加保守。
因此,信息本身很重要,但信息被如何包装,也会影响最终的判断。
![]()
AI的认知偏差并不是凭空产生的,它们本质是人类思维惯性的投射:我们与生俱来的判断局限,顺着数据流转到算法之中。理解AI为什么会“想偏”,也是理解智能系统如何思考的第一步。
参考文献:
Song P Y, Han P R, Goodman N. A Survey on Large Language Model Reasoning Failures[J]. 2025.