AI 基础概念从入门到精通：LLM、Token、Context、Prompt、Tool、MCP、Agent、Skill 全解析

引言

AI 圈子里每天都在冒新名词——LLM、Token、Context、Prompt、Tool、MCP、Agent、Agent Skill……这些词你可能都听说过，但你真的能准确说出其中每一个概念的确切含义吗？

这期教程我们从最底层的工程视角出发，一个一个把这些概念拆开、揉碎、讲清楚。理解了这套体系，你对 AI 的认知将上升一个台阶。

---

LLM：大语言模型，AI 世界的基石

什么是 LLM

LLM 的全称是 Large Language Model，翻译成中文就是大语言模型，简称大模型。

目前所有的大模型，基本上都是基于 Transformer 这套架构训练出来的。这个架构最早是由 Google 团队在 2017 年提出的，对应的论文名是《Attention Is All You Need》。

很有戏剧性的是：Google 发明了火种，但真正把它点燃并引爆全世界的，却是 OpenAI。

里程碑事件

大模型是怎么工作的

大模型的工作原理其实非常朴素——它本质上就是一个文字接龙游戏。

举个例子：你向大模型提问「马克的视频怎么样」，模型会：

• 预测下一个概率最高的词，比如「特别」
• 把「特别」追加到输入后面
• 拿着新输入继续预测下一个词，比如「得」
• 再把「得」塞回去，预测下一个词，比如「棒」
• 继续这个过程，直到输出特殊结束标识符

最终你拿到的回答就是：特别得棒。

这就是为什么大模型要一个词一个词地输出答案——因为它就是这么运作的。

---

Token：大模型处理文本的基本单元

大模型不认识文字

刚才的描述其实简化了一个重要环节：大模型本质上是一个庞大的数学函数，里面跑的全是矩阵运算。它接收的是数字，输出的也是数字——压根不认识人类写的文字。

所以在人类和大模型之间，必须有一个中间人来做翻译——这个中间人叫做 Tokenizer。

Tokenizer 的工作流程

Tokenizer 负责两件事：编码和解码。

编码（文字 → 数字）：

• 切分：把文字拆成最小片段，这些片段叫做 Token
• 映射：把每个 Token 对应到一个数字（Token ID）

解码（数字 → 文字）：

• 映射：把数字还原成文字（只有一步，不需要切分）

Token 和词的关系

你可能会以为 Token 就是词，但事实并非如此。

总结：Token 和词并没有明确的一一对应关系。你可以把 Token 理解成模型自己学会的一套文本切分规则，切出来的每一块就是它一次能够处理的最小单位。

Token 换算参考

• 1 个 Token ≈ 0.75 个英文单词
• 1 个 Token ≈ 1.5~2 个汉字
• 40 万个 Token ≈ 60~80 万个汉字 ≈ 30 万个英文单词

---

Context：大模型的临时记忆体

大模型没有真正的记忆

你可能会觉得大模型能记住之前说过的话——比如你开头告诉它「我叫马克」，后来再问「我叫什么」，它能回答出来。

但问题是：大模型本质上只是一个数学函数，你给它输入，它就给你输出，它并不像人一样真的有记忆。

那它是怎么记住的呢？

Context 的本质

答案就是：每次给大模型发送消息时，程序会自动把之前的整段对话历史一起发过去。这样模型每次看到的都是完整的对话内容，所以它才能够知道之前发生了些什么。

Context（上下文）代表大模型每次处理任务时所接收到的信息总和。它里面包含：

• 用户问题
• 对话历史
• 模型正在输出的每一个 Token
• 工具列表
• System Prompt

你可以把它看成是大模型的一个临时记忆体。

---

Context Window：记忆体的容量上限

什么是 Context Window

既然 Context 是大模型的临时记忆体，那它能装多少东西呢？这就引出了 Context Window（上下文窗口）的概念——它代表 Context 能够容纳的最大 Token 数量。

主流模型的 Context Window

为什么 Context Window 很重要

一个大的 Context Window 意味着：

• 模型能记住更长的对话历史
• 能处理更大的文件
• 能一次性接收更多信息

但更大的 Context Window 也意味着更高的计算成本。

RAG：突破 Context Window 限制的技术

如果你有一个上千页的公司产品手册，想让大模型根据手册回答问题，直接把手册全部内容发给模型不是一个好方案——成本太高了。

这时候就需要 RAG（检索增强生成） 技术：它从手册中抽取与用户问题最匹配的几个片段，只把这几个片段发给模型。这样既不受 Context Window 大小限制，成本也会低很多。

---

Prompt：给大模型的指令

什么是 Prompt

Prompt（中文：提示词）就是大模型接收的具体问题或指令。比如你说「帮我写一首诗」，这句话就是 Prompt。

不要把 Prompt 想成特别复杂高端的东西——它只不过就是给大模型的一个问题或指令而已。

Prompt 质量决定输出质量

如果你只是简单地说「帮我写一首诗」，大模型可能给你写古诗、现代诗，甚至打油诗。为什么？因为你的 Prompt 太模糊了。

一个好的 Prompt 应该是清晰的、具体的、明确的：

请帮我写一首五言绝句，主题是秋天的落叶，风格要悲凉一点。

Prompt Engineering 的现状

曾经有一个专门的领域叫做 Prompt Engineering（提示词工程），研究怎么把话说明白。但现在：

• 一方面门槛太低（本质就是把话说明白）
• 另一方面大模型能力越来越强，即使提示词含糊不清也能大致猜出意图

所以现在还在提 Prompt Engineering 的人已经寥寥无几了。

---

System Prompt vs User Prompt

两种不同的 Prompt

有些时候我们不仅要告诉大模型具体任务，还要告诉它人设和做事规则。这就引出了两种不同的 Prompt：

举例：数学辅导机器人

System Prompt（开发者后台设置）：

你是一个耐心的数学老师。当学生问你数学问题的时候，不要直接给出答案，而是要一步一步引导学生思考，帮助他们理解解题思路。

3 加 5 等于几？

我的角色是数学老师，我要引导学生思考，不能直接说答案。好，那我就这样回答……

我们可以这样想，你手里有 3 个苹果，然后又拿了 5 个，现在一共有多少个呢？你可以数一数看。

---

Tool：让大模型感知外部世界

大模型的弱点

大模型无法感知外界环境。比如你问它「今天上海的天气怎么样」，它可能会说：

抱歉，我无法获取实时天气信息。我的知识库截止到某年某月，无法提供当天的天气数据。

Tool 是什么

Tool（中文：工具）本质上就是一个函数——你给它输入，它就给你输出。比如一个天气查询工具：

• 输入：城市、日期
• 输出：天气信息

有了 Tool，大模型就可以回答天气相关的问题了。

完整调用流程

整个流程涉及四个角色：用户、平台、大模型、工具。

用户提问 → 平台转发给大模型（附带工具列表）
              ↓
大模型分析：我没有实时天气数据，但有天气查询工具可用
              ↓
大模型生成工具调用指令 → 平台执行真正的工具调用
              ↓
工具返回结果 → 平台转发给大模型
              ↓
大模型总结成自然语言 → 平台转发给用户

关键角色职责

重要： 大模型无法自己调用工具，它只能输出一段文本告诉平台它想要调用哪个工具。调用工具最终由平台完成。

MCP：统一的工具接入标准

工程上的痛点

刚才讲了使用工具的流程，但这里面有个大问题：每个平台的工具接入规范都不一样。

同一个工具，你要写 3 遍接入代码。

MCP 的由来

AI 圈子里有人想：能不能搞一个统一的标准？让所有平台都遵循这个标准，工具开发者只需要写一次代码，就可以在所有平台上使用。

这个统一的标准就是 MCP。

MCP 是什么

MCP 的全称是 Model Context Protocol，翻译过来是模型上下文协议。这个名字比较学术，你把它理解成一套统一的工具接入标准就好了。

有了 MCP 之后：

• 工具开发者只需要按照 MCP 规范开发一次工具
• 这个工具就可以被所有支持 MCP 的平台使用

这就像所有手机都用 Type-C 接口一样——有了统一标准，大家都会方便很多。

---

Agent：具备自主规划能力的系统

一个更复杂的例子

假设你问：「今天我这里的天气怎么样？如果下雨的话，帮我查一下附近有没有卖雨伞的店。」

可用工具：定位工具、天气工具、店铺工具。

要解决这个问题，需要多次工具调用，并且大模型需要自主规划：

• 第一次思考：用户问天气，需要知道当前位置 → 调用定位工具
• 拿到位置：经度 -74°，纬度 40°
• 第二次思考：拿到了位置，下一步查天气 → 调用天气工具
• 拿到天气：有雨
• 第三次思考：下雨了，需要找雨伞店 → 调用店铺工具
• 拿到结果：附近 100 米有家全家便利店卖伞
• 综合所有信息：给出最终答案

Agent 的定义

我们称这种能够自主规划、自主调用工具、直至完成用户任务的系统为 Agent（智能体）。

市面上的 Agent 产品

Agent 的构建模式

比较经典的构建模式包括：

• ReAct（Reason + Act）
• Plan and Execute（先规划再执行）

---

Agent Skill：给 Agent 的说明书

高频使用中的痛点

假设你希望大模型成为你出门前的小助手，每次出门前帮你查天气并提醒带东西。你有一套自己的习惯：

• 下雨带伞
• 光照强带帽子
• 空气差带口罩
• 风大穿防风外套
• 手机必带

而且你希望回答格式固定：先来一句总结，然后列出物品清单。

如果没有预设，你每次提问都要带上一大串规则和格式要求——太反人类了。

Agent Skill 是什么

Agent Skill 本质上就是你提前写好、塞给 Agent 的一份说明文档。它是一个 Markdown 文件，告诉 Agent：

• 这个技能叫什么（Name）
• 负责做什么（Description）
• 目标是什么
• 执行步骤
• 判断规则
• 输出格式
• 示例

Agent Skill 的结构

markdown

Description: 出门前检查清单，根据天气提醒携带物品

目标
帮助用户根据当前天气判断出门需要携带的物品

执行步骤
调用定位工具获取经纬度
调用天气工具获取天气信息
根据天气结果和判断规则整理物品清单

判断规则
下雨 → 带伞
光照强 → 带帽子
空气差 → 带口罩
风大 → 穿防风外套
始终 → 带手机

输出格式
总结一句话
物品清单（带符号列表）

示例
用户：我要出门了，帮我看看带什么
定位返回：经度 -74°，纬度 40°
天气返回：有雨
输出：今天有雨，记得带伞。物品清单：
雨伞
手机

Agent Skill 的存放规范

以 Claude Code 为例：

• 找到用户目录下的 .claude/skills 文件夹
• 新建一个文件夹，名字必须与 Agent Skill 的名称相同（如 go-out-checklist）
• 在文件夹内新建文件，文件名必须叫做 SKILL.md（SKILL 必须大写）

渐进式披露机制

Claude Code 在启动时只会读取 Agent Skill 的元数据层（Name 和 Description）。只有当用户问题与某个 Agent Skill 相关时，才会去读取完整的指令层。

这样做的好处是：节省 Token——因为指令层内容可能很大，不需要每次都加载。

---

总结：AI 概念体系全貌

现在让我们回顾一下这套体系：

┌─────────────────────────────────────────────────────────────┐
│                    AI 概念体系                              │
├─────────────────────────────────────────────────────────────┤
│                                                             │
│  LLM (大语言模型)                                            │
│     │                                                       │
│     ├── 底层引擎：Transformer 架构                           │
│     ├── 工作原理：文字接龙（预测下一个词）                    │
│     │                                                       │
│     ├── Token（基本处理单元）                                 │
│     │     ├── 编码：文字 → Token → Token ID                  │
│     │     └── 解码：Token ID → Token → 文字                 │
│     │                                                       │
│     ├── Context（临时记忆体）                                │
│     │     ├── 包含：对话历史、工具列表、System Prompt 等       │
│     │     └── Context Window（容量上限：如 100 万 Token）     │
│     │                                                       │
│     └── Prompt（指令）                                       │
│           ├── User Prompt（用户输入）                        │
│           └── System Prompt（人设和规则）                    │
│                                                             │
│  ┌───────────────────────────────────────────────────────┐  │
│  │                    扩展能力                            │  │
│  │                                                       │  │
│  │  Tool（工具）                                          │  │
│  │     └── 让大模型感知外部世界（查天气、算数学等）          │  │
│  │                                                       │  │
│  │  MCP（模型上下文协议）                                  │  │
│  │     └── 统一工具接入标准，一次开发多平台使用            │  │
│  │                                                       │  │
│  │  Agent（智能体）                                       │  │
│  │     └── 自主规划、自主调用工具、持续工作直到完成任务      │  │
│  │                                                       │  │
│  │  Agent Skill（智能体技能）                              │  │
│  │     └── 给 Agent 的说明书，规定做事步骤和规则            │  │
│  └───────────────────────────────────────────────────────┘  │
│                                                             │
└─────────────────────────────────────────────────────────────┘

核心概念速查表

---

理解了这套体系，你能看懂什么

理解了这些概念，你就能看懂 AI 圈子里的各种新产品和新技术了：

• Claude Code：基于 Claude 的 Agent，支持 Tool 和 Agent Skill
• Codex：基于 GPT 的编码 Agent
• Cowork：协作型 AI Agent
• OpenClaw：开源 Agent 框架

它们本质上都在这套框架下运作。

---

参考资料

[1] 视频原文：https://www.youtube.com/watch?v=7qO8-kx3gW8

[2] Transformer 论文《Attention Is All You Need》：https://arxiv.org/abs/1706.03762

[3] MCP 协议文档：https://mcp.ai/

[4] BPE 算法详解（Token 切分原理）：作者相关视频

[5] RAG 技术详解：作者相关视频

[6] Agent 构建模式详解：作者相关视频