AI也有"幸运数字"?深度解析大语言模型的数字选择偏好之谜
本文首发于无忆研习社,转载请注明出处
引言:一个有趣的发现
最近在技术社区看到一个颇为有趣的现象:当我们让ChatGPT、Gemini等大语言模型"随机"选择一个数字时,它们的选择似乎并不那么"随机"。特别是数字42和7,出现的频率高得令人惊讶。
这究竟是巧合,还是隐藏着什么深层原因?今天无忆研习社就带大家一起探索这个现象背后的技术原理。
现象观察:AI真的偏爱某些数字吗?
实验设计
有网友设计了一个简单但有趣的测试:让AI玩一个猜数字游戏,正数代表相应数量的人类存活,负数则相反。虽然游戏规则本身带有一定的引导性,但真正让人意外的是AI选择数字的规律性。
当我们多次重复这个实验时,会发现:
- 数字42频繁出现
- 以7结尾的数字(如7、17、27、37等)高频出现
- 奇数明显多于偶数
这不是个例,无数网友的测试都得到了类似的结果。在无忆研习社的测试中,我们也观察到了同样的模式。
数据统计
通过大量测试,我们发现AI选择的高频数字包括:
- 42(最高频)
- 7、17、27、37(以7结尾系列)
- 13、19、23、41(其他奇数)
- 偶数极少出现
深层原因:为什么是42和7?
文化因素的影响
关于42的特殊含义
数字42在科技圈和极客文化中有着特殊地位。这要追溯到1979年英国作家道格拉斯·亚当斯的科幻经典《银河系漫游指南》。在这部作品中,超级计算机"深思"花费750万年计算"生命、宇宙以及任何事情的终极答案",最终给出的答案就是:42。
从那以后,42就成为了科技文化中的一个梗,在无数技术文档、代码注释和技术讨论中被引用。大语言模型在训练过程中接触了海量这样的数据,自然"学会"了这个文化现象。
7的心理学基础
数字7在人类心理中占据独特位置:
- 文化普遍性:世界各地的文化都赋予7特殊含义(七大洲、七种颜色、七天一周等)
- 记忆特性:心理学研究表明,人类的工作记忆容量约为7±2个单位
- 随机性错觉:当人们被要求"随机"选择一个个位数时,7的选择概率明显高于其他数字
这种人类偏好通过训练数据传递给了AI模型。在无忆研习社的实测中,我们向AI追问选择理由时,它确实提到了"人类倾向于选7"这一点。
技术层面的解释
根据今年ICML(国际机器学习大会)上发表的相关研究论文,AI的数字偏好可以从以下几个技术角度解释:
1. 训练数据的非随机性
训练语料中,当人类提到"随机数"时,实际上就不是真正的随机分布。人们写下的"随机"例子往往集中在某些数字上,尤其是7、4、3等。
2. 解码策略的放大效应
大语言模型使用的解码策略(如贪婪解码greedy decoding、top-k采样等)会优先选择概率最高的token。这种策略会放大训练数据中已经存在的偏好,导致某些数字被反复选择。
技术上可以这样理解:
[
P(\text{选择数字} , n) = \text{softmax}(\text{训练数据频率} \times \text{解码权重})
]
当训练数据中7的频率已经较高时,解码策略会进一步提升它被选中的概率。
3. 单轮对话的限制
在单次对话中,模型没有机会"纠正"自己的选择。每次都是基于相同的模型参数和概率分布,自然会给出相同或相似的答案。
科学验证:ICML研究的发现
实验设计
研究团队设计了两种测试场景:
单轮对话模式
- 对同一问题独立查询30次
- 每次都重置对话上下文
- 观察数字分布
多轮对话模式
- 在同一对话窗口中连续提问30次
- 模型可以"看到"之前的回答
- 观察是否会调整选择
实验结果
在单轮对话中:
- GPT系列模型约70%的情况下选择数字7
- 数字4排名第二
- 其他数字的出现频率极低
- 分布极不均匀
在多轮对话中:
- 随着对话轮次增加,数字分布逐渐趋向均匀
- 大部分模型能够"学会"真正的随机性
- 这证明了问题不在于模型能力,而在于上下文限制
无忆研习社认为,这个发现对我们理解AI的行为模式很有启发意义。
实用启示:如何让AI更"随机"
基于以上研究,如果你需要AI提供真正随机的选择,可以采用以下策略:
策略一:多轮对话法
在同一对话中多次询问,明确告诉AI避免重复之前的选择。例