入门6 分钟

核心术语卡:模型与对话

LLM / Token / 上下文 / Prompt / 温度 / 推理模型——一词一卡:定义、前端类比、误区

一词一卡:一句话定义 + 前端类比 + 最常见误区。全部过一遍 ≈ 6 分钟。

🃏 LLM(大语言模型)

  • 是什么:读过几乎整个互联网文本的「续写机器」,给一段话,它接着写
  • 前端类比:一个超巨大的纯函数 f(prompt) → text,没有状态、没有副作用
  • 误区:它不是数据库(不保证事实),不是计算器(算不准账),不是搜索引擎(不知道今天)

🃏 Token

  • 是什么:模型眼中的最小字块,计费和计长度的单位
  • 换算直觉:英文 1 token ≈ 0.75 词;中文 1 字 ≈ 0.6~1 token;1 万字中文 ≈ 1 万 token
  • 误区:以为只按输出计费——输入也全款计费,塞 50 页文档提问比 50 次对话还贵

🃏 上下文窗口(Context Window)

  • 是什么:本次对话中模型能"看见"的全部内容的上限(如 128K token)
  • 前端类比工作记忆,不是硬盘——桌上摊开的资料,收走就忘
  • 误区:窗口大 ≠ 记得好。中间内容利用率低(lost in the middle),关键信息放开头结尾

🃏 Prompt

  • 是什么:你发给模型的那段输入(system 设定人设规则 / user 用户消息 / assistant 模型回复)
  • 前端类比:函数的入参 + 隐式的调用约定
  • 误区:不是咒语,不是在"教"模型——是在激活它训练里已有的能力。few-shot 例子比抽象描述有效

🃏 温度(Temperature)

  • 是什么:采样随机度旋钮。0 = 永远选概率最高的词;1.0+ = 低概率词也有机会
温度适合例子
0要确定性的代码生成、JSON 抽取、分类
0.7平衡日常问答
1.0+要发散的文案、起名、头脑风暴
  • 误区:温度 0 ≠ 100% 确定(浮点和调度仍有抖动);调高温度不会变聪明,只会变跳

🃏 推理模型(Reasoning Model)

  • 是什么:先 internally 打草稿(思维链)再回答的模型——DeepSeek-R1、o 系列
  • 前端类比:脱口而出 vs 先写草稿再作答
  • 代价与适用:更贵更慢;多步推理 / 复杂调试值得,分类抽取别浪费
  • 误区:不是所有任务都该用——日常问答用它 = 花商务舱的钱坐短途

🃏 幻觉(Hallucination)

  • 是什么:模型不知道答案时不会停下,而是续写一个格式完美的假答案
  • 前端类比:一个只 JSON.parse 不校验的函数——喂什么都吐"看起来合法"的结果
  • 误区:不是 bug,是默认行为。解法分层:RAG 止血 → 引用溯源 → 输出校验 → 人工兜底

自测(10 秒)

能不看卡片说出「上下文窗口为什么是工作记忆不是硬盘」和「温度 0 为什么还不确定」——这章就过了。

→ 下一叠卡:Agent 与 RAG 术语卡