学习笔记——大模型创造力开关——Temperature 与 Top-p 的作用机制

💡

摘要： Temperature 和 Top-p（最高累加概率）是控制大模型输出随机性（或创造力）的核心参数。虽然它们的目的相似（值越高越随机，值越低越稳定），但它们作用于大模型生成流程的不同环节，并以完全不同的机制影响词汇选择。

Temperature (T) 参数与大模型工作原理中的 “转换概率” 环节（Softmax 函数）密切相关。T 通过调整分值，重塑了所有词汇之间的概率分布。

Softmax 函数的最完整形式是，所有的 Z 值（词汇分数）在参与整体运算前，都会先除以 T。因此，T 的核心功能是改变不同词的概率差距。

T 值变化	作用效果（数学）	对输出的影响	适用场景
T 调低 (T < 1，如 T=0.1)	放大 Z 值之间的差距。经 Softmax 指数运算后，差异被疯狂放大。	造成 “赢家通吃” 的局面。得分最高的词概率显著上升（如从 36% 升至 71%），而其他词汇概率大幅下降，甚至接近于零。输出变得保守、稳定、确定。	撰写代码、进行数学计算、需要严谨的场景。
T 调高 (T > 1，如 T=2.0)	Z 值被 T 除小，词汇之间的差距减小。	原本第一名的优势不再明显，差生（如“自行车”）也分到了一块蛋糕。输出机会更趋于均等，因此输出更加随机与多样。	创意写作、头脑风暴、需要发散的场景。

Temperature 这一名称取自物理学：

Top-p 参数与大模型工作原理中的 “加权采样”环节密切相关。它主要用于解决模型可能选中与输入毫无关系的低概率“常尾词”（垃圾词）的问题。

1. 模型从分数最高的词开始往下数。

2. 累加这些词的概率。

3. 一旦累加概率超过设定的 P 值，门槛立刻关闭。

4. 所有剩余的长尾词被丢弃，不参与最终的采样。

Top-p 就像是一个动态的入门门槛（保安），主要功能是切断尾部那些不靠谱的词，确保回答不跑题。

虽然 T 和 Top-p 都能控制随机性，但它们的作用机理是根本不同的：

应用建议： 大模型的不同实现（如 GPT 的 API）可能建议用户只调整其中一个参数，具体操作需根据模型和实际场景来决定。