4B参数碾压百亿大模型？AgentCPM-Explore端侧智能体完整实战指南

本文由 无忆研习社 独家深度解析，从原理到实操，手把手带你玩转这个刷新认知的开源项目。

写在前面

当整个AI圈子还在争论30B、70B甚至更大参数量模型谁更强时，一个来自清华系的团队给出了一个令人震惊的答案——4B参数，就够了。

没错，你没看错。一个仅有40亿参数的端侧模型，在深度探索类任务上不仅打败了同尺寸的所有对手，还越级挑战8B级别的SOTA模型，甚至在某些任务上比肩甚至超越了部分30B级以上的闭源大模型。

这个项目就是 AgentCPM-Explore，由清华大学自然语言处理实验室、中国人民大学、面壁智能与OpenBMB开源社区联合研发。它的出现，彻底改写了我们对"小模型能力天花板"的认知。

作为一个在AI领域摸爬滚打多年的老兵，我第一次看到这个项目的跑分数据时，说实话是懵的。但当我真正深入研究它的技术细节后，才明白这绝非偶然——这是一套系统性的方法论，值得每一个关注AI Agent的开发者认真学习。

今天这篇文章，无忆研习社 将带你从底层原理到实际部署，把AgentCPM-Explore拆解得明明白白。无论你是想了解前沿技术动向，还是想自己动手复现训练流程，这篇文章都会给你完整的答案。

一、为什么4B参数能够"以小博大"？

在开始技术细节之前，我们先要理解一个根本性问题：为什么这个4B的小模型能够表现得如此出色？

1.1 传统认知的局限

过去几年，AI圈子里有一个"政治正确"的观点：参数量越大，模型能力越强。这个观点在很多场景下确实成立，但它忽略了一个关键因素——参数效率。

想象一下，你有两个学生：

• 学生A：脑容量大，但学习方法混乱，什么都往脑子里塞
• 学生B：脑容量有限，但学习方法高效，只记关键知识

在考试时（也就是实际任务中），学生B很可能比学生A表现更好，因为他学会了如何高效利用有限的资源。

AgentCPM-Explore就是这个"学生B"。它通过精心设计的训练策略，让每一个参数都发挥最大价值。

1.2 智能体任务的特殊性

还有一点很重要：AgentCPM-Explore专注的是智能体（Agent）任务，而不是通用对话。

智能体任务的特点是什么？需要长程规划、多步推理、工具调用、信息整合。这类任务对模型的要求不在于"知道多少"，而在于"会不会用"。

打个比方，让你查找"美国历届总统出生地中，哪两个城市东西相距最远"这样的问题：

• 一个知识量庞大但不会搜索的模型，可能直接编造答案
• 一个知识量有限但会灵活使用工具的模型，会一步步搜索、验证、计算

AgentCPM-Explore属于后者，它被训练成了一个"会学习、会质疑、会变通"的研究员，而不是一个死记硬背的"书呆子"。

二、技术架构全景解析

现在我们进入硬核部分。无忆研习社 将从整体架构开始，逐层拆解AgentCPM-Explore的技术栈。

2.1 整体架构概览

AgentCPM-Explore的技术架构可以分为三大核心组件：

┌─────────────────────────────────────────────────────────────┐
│                    AgentCPM-Explore 架构                     │
├─────────────────────────────────────────────────────────────┤
│                                                             │
│  ┌─────────────────┐  ┌─────────────────┐  ┌─────────────┐ │
│  │   AgentDock     │  │    AgentRL      │  │ AgentToLeaP │ │
│  │   工具沙盒      │  │   强化学习框架   │  │  评测平台   │ │
│  │   统一管理      │  │   异步训练       │  │  一键测评   │ │
│  └────────┬────────┘  └────────┬────────┘  └──────┬──────┘ │
│           │                    │                   │        │
│           └────────────────────┼───────────────────┘        │
│                                │                            │
│                    ┌───────────┴───────────┐                │
│                    │  AgentCPM-Explore     │                │
│                    │  4B 参数基座模型       │                │
│                    │  基于 Qwen3-4B        │                │
│                    └───────────────────────┘                │
│                                                             │
└─────────────────────────────────────────────────────────────┘

这三个组件各司其职：

1. AgentDock：负责工具管理和调用，相当于模型的"手和脚"
2. AgentRL：负责强化学习训练，相当于模型的"教练"
3. AgentToLeaP：负责能力评测，相当于模型的"考官"

2.2 基座模型选择

AgentCPM-Explore选择了 Qwen3-4B-Thinking-2507 作为基座模型。这个选择很有讲究：

为什么是Qwen3？

• 开源且可商用
• 4B参数量适合端侧部署
• 原生支持中英双语
• Thinking版本自带推理能力

为什么不直接用更大的模型？

这就涉及到项目的核心目标了。AgentCPM-Explore的定位是端侧部署，也就是能在手机、嵌入式设备、边缘计算节点上运行。这类设备的算力和内存都很有限，4B参数已经是上限了。

2.3 核心能力指标

让我们看看这个4B模型到底有多强。以下是AgentCPM-Explore在8个主流智能体评测基准上的表现：

特别值得注意的是 Xbench-DeepResearch 这个评测——AgentCPM-Explore在这项测试中的表现超越了OpenAI o3和Claude-4.5-Sonnet这样的闭源顶级模型。

这说明什么？在需要深度探索、多步推理的任务上，模型大小真的不是决定性因素。

三、Agent智能体基础概念扫盲

在深入技术细节之前，无忆研习社 觉得有必要先给大家补补课，讲清楚什么是"AI Agent"。如果你已经很熟悉这个概念，可以跳过这一节。

3.1 什么是AI Agent？

简单来说，AI Agent（智能体）是一个能够自主完成任务的AI系统。

它和普通的聊天机器人有什么区别？

普通聊天机器人：

• 你问一个问题，它给你一个答案
• 就像一本会说话的百科全书
• 被动响应，不会主动行动

AI Agent：

• 你给它一个目标，它会自己想办法完成
• 就像一个会思考、会行动的助手
• 主动规划、执行、反馈、调整

举个例子，假设你想知道"今天北京到上海的最便宜机票是多少"：

普通聊天机器人的反应：

"抱歉，我无法获取实时信息，建议您访问携程或飞猪查询。"

AI Agent的反应：

分析任务：需要查询航班信息
选择工具：调用机票搜索API
执行搜索：查询今日北京-上海航班
整理结果：筛选最低价
返回答案："今天北京到上海最便宜的机票是东航MU5137，价格520元，8:00起飞。"

看出差别了吗？Agent不是"知道答案"，而是"知道怎么找答案"。

3.2 Agent的四大核心组件

一个完整的AI Agent通常包含四个关键部分：

3.2.1 规划（Planning）

这是Agent的"大脑"，负责：

• 理解用户目标
• 分解复杂任务
• 制定执行计划
• 动态调整策略

AgentCPM-Explore在这方面做了大量优化，使其能够进行超过100轮的连续环境交互，这在4B参数的模型中是前所未有的。

3.2.2 记忆（Memory）

Agent需要记住：

• 之前做过什么
• 哪些方法有效
• 哪些路径走不通
• 用户的偏好和上下文

3.2.3 工具（Tools）

这是Agent的"手和脚"，包括：

• 搜索引擎
• 代码执行器
• 文件读写
• API调用
• 浏览器操作

AgentCPM-Explore通过AgentDock平台，原生支持16个MCP服务及百余种工具。

3.2.4 行动（Action）

最终，Agent需要把计划变成实际操作：

• 调用具体工具
• 获取执行结果
• 验证结果正确性
• 决定下一步行动

3.3 为什么Agent比单纯的大模型更有价值？

这个问题的答案，直接关系到AgentCPM-Explore的意义。

纯大模型的局限：

1. 知识截止：训练数据有时效性，无法回答最新信息
2. 幻觉问题：可能一本正经地胡说八道
3. 能力封闭：只能输出文字，无法真正"做事"

Agent的优势：

1. 实时性：可以搜索最新信息
2. 可验证：通过工具获取的信息更可靠
3. 行动力：能够真正执行任务，而不只是输出文字

举个更形象的例子：

• 大模型像一个博学但足不出户的学者
• Agent像一个可能知道得少一点，但能跑腿办事的助手

在实际场景中，后者往往更有价值。

四、AgentDock：工具沙盒统一管理平台

现在我们开始深入每个核心组件。首先是 AgentDock——这是让AgentCPM-Explore"长出手脚"的关键基础设施。

4.1 为什么需要AgentDock？

想象一下，你要指挥一个Agent完成以下任务：

"帮我查一下特斯拉今天的股价，然后对比一下它过去一周的走势，最后把分析结果写成一份报告保存到我的云盘"

这个任务需要调用多少工具？

1. 股票行情API（查股价）
2. 历史数据API（查走势）
3. 计算工具（分析数据）
4. 文档生成工具（写报告）
5. 云存储API（保存文件）

如果每个工具都需要单独对接、单独管理，那将是一场噩梦。

AgentDock解决的就是这个问题——它提供了一个统一的工具管理和调度平台，让Agent可以"即插即用"地调用各种工具。

4.2 AgentDock核心特性

4.2.1 高并发工具集成

AgentDock原生支持：

• 16个MCP服务
• 百余种工具
• 100+ QPS高并发调用

什么是MCP？

MCP（Model Context Protocol，模型上下文协议）是Anthropic在2024年底推出的开放标准，用于统一大模型与外部工具之间的通信。你可以把它理解为AI世界的"USB-C接口"——一个标准化的连接方式。

通过MCP，AgentDock可以轻松接入各种工具服务：

• 文件系统访问
• 数据库查询
• Web搜索
• 代码执行
• 图像处理
• 等等

4.2.2 健全的容错机制

在实际运行中，工具调用可能会遇到各种问题：

• 网络超时
• API限流
• 服务宕机
• 返回格式错误

AgentDock内置了完善的容错机制：

┌─────────────────────────────────────────────────┐
│              AgentDock 容错机制                  │
├─────────────────────────────────────────────────┤
│                                                 │
│  1. 输出标准化                                   │
│     └─ 统一不同工具的返回格式                     │
│                                                 │
│  2. 自动重试                                     │
│     └─ 失败时自动重试，可配置重试次数            │
│                                                 │
│  3. 服务自愈                                     │
│     └─ 检测到服务异常时自动重启                  │
│                                                 │
│  4. 备用工具自动切换                             │
│     └─ 主工具不可用时切换到备选方案              │
│                                                 │
└─────────────────────────────────────────────────┘

这些机制保证了Agent在执行长程任务时的稳定性——毕竟，一个需要100+轮交互的任务，任何一步出错都可能导致整体失败。

4.2.3 统一沙盒管理

AgentDock还提供了统一的沙盒管理能力：

• 任务分发：将不同任务分配给合适的工具
• 容器编排：管理工具运行的容器环境
• 动态路由：根据负载情况智能路由请求

对于Agent开发者来说，这意味着你只需要关注"能力接口"，无需处理复杂的网络和并发细节。

4.3 AgentDock架构详解

让我们看看AgentDock的内部架构：

┌───────────────────────────────────────────────────────────────┐
│                      AgentDock 架构                            │
├───────────────────────────────────────────────────────────────┤
│                                                               │
│   ┌─────────────┐      ┌─────────────────────────────────┐   │
│   │   Agent     │      │         Tool Registry            │   │
│   │   客户端    │ ───→ │         工具注册中心             │   │
│   └─────────────┘      └─────────────────────────────────┘   │
│                                      │                        │
│                                      ▼                        │
│   ┌─────────────────────────────────────────────────────┐    │
│   │                   Request Router                     │    │
│   │                   请求路由器                          │    │
│   └─────────────────────────────────────────────────────┘    │
│          │              │              │              │       │
│          ▼              ▼              ▼              ▼       │
│   ┌──────────┐   ┌──────────┐   ┌──────────┐   ┌──────────┐  │
│   │  MCP-1   │   │  MCP-2   │   │  MCP-N   │   │ Custom   │  │
│   │ 搜索服务  │   │ 文件服务  │   │ 计算服务  │   │ 自定义   │  │
│   └──────────┘   └──────────┘   └──────────┘   └──────────┘  │
│                                                               │
│   ┌─────────────────────────────────────────────────────┐    │
│   │               Load Balancer & Health Check           │    │
│   │               负载均衡 & 健康检查                     │    │
│   └─────────────────────────────────────────────────────┘    │
│                                                               │
└───────────────────────────────────────────────────────────────┘

工作流程说明：

1. Agent客户端发起工具调用请求
2. 工具注册中心查找对应的工具服务
3. 请求路由器根据负载情况选择最优实例
4. 具体工具服务执行任务并返回结果
5. 负载均衡器监控各服务健康状态

4.4 实际部署AgentDock

如果你想自己部署AgentDock，以下是基本步骤（无忆研习社 提示：确保你有基本的Docker和Python环境）：

步骤1：克隆项目

git clone https://github.com/OpenBMB/AgentCPM.git
cd AgentCPM

步骤2：安装依赖

pip install -r requirements.txt

步骤3：配置MCP服务

在 config/mcp_config.yaml 中配置需要启用的MCP服务：

mcp_servers:
  - name: web_search
    type: search
    config:
      api_key: your_search_api_key
      max_results: 10

  - name: file_system
    type: filesystem
    config:
      allowed_paths:
        - /home/user/workspace
        - /tmp

  - name: code_executor
    type: compute
    config:
      timeout: 30
      memory_limit: 512MB

步骤4：启动AgentDock服务

python -m agentdock.server --config config/mcp_config.yaml --port 8080

启动成功后，你会看到类似以下输出：

[INFO] AgentDock server starting...
[INFO] Loading MCP services: web_search, file_system, code_executor
[INFO] Health check enabled on /health
[INFO] Server running on http://localhost:8080

五、AgentRL：极简高效的异步强化学习框架

如果说AgentDock是让Agent"能做事"，那么 AgentRL 就是让Agent"学会做事"。这是AgentCPM-Explore能够以小博大的核心秘密。

5.1 强化学习在LLM训练中的作用

在深入AgentRL之前，我们需要理解为什么强化学习（RL）对于训练Agent如此重要。

传统的监督学习方式：

• 准备大量"问题-答案"对
• 让模型学习模仿这些答案
• 问题：Agent任务的"正确答案"往往不唯一

强化学习方式：

• 定义一个奖励函数（什么是好的结果）
• 让模型自己探索各种可能性
• 奖励好的行为，惩罚坏的行为
• 模型逐渐学会找到最优策略

打个比方：

• 监督学习像是给学生一本标准答案，让他背下来
• 强化学习像是给学生一套评分规则，让他自己去探索

在Agent任务中，强化学习的优势特别明显，因为：

1. 任务路径多样：完成同一目标可能有很多种方法
2. 结果可验证：最终是否完成任务是客观可判断的
3. 过程难以标注：很难预先给出每一步的"标准动作"

5.2 GRPO：群组相对策略优化

AgentRL的核心是 GRPO（Group Relative Policy Optimization，群组相对策略优化） 算法。这是DeepSeek团队提出的一种强化学习算法，已经在多个大模型训练中证明了其有效性。

5.2.1 为什么选择GRPO而不是PPO？

你可能听说过 PPO（Proximal Policy Optimization），这是OpenAI在训练ChatGPT时使用的经典算法。但PPO有一个大问题：

PPO需要一个额外的"价值网络"（Value Network）

这个价值网络的参数量通常和主模型差不多大。也就是说，如果你用PPO训练一个4B的模型，你实际上需要维护8B左右的参数——这对于端侧部署是不可接受的。

GRPO的核心创新就是：消除了对价值网络的需求。

5.2.2 GRPO的工作原理

GRPO的思路非常巧妙。让我用一个简化的例子来解释：

假设我们有一道数学题："2 + 3 = ?"

传统PPO的做法：

1. 模型生成答案，比如"5"
2. 奖励模型给这个答案打分
3. 价值网络估计"在这个状态下，平均能得多少分"
4. 用实际得分和估计得分的差值来更新模型

GRPO的做法：

1. 模型针对同一道题生成多个答案，比如"5"、"6"、"4"、"5"
2. 奖励模型给每个答案打分，比如1分、0分、0分、1分
3. 计算这组答案的平均分作为基线，比如0.5分
4. 用每个答案相对于基线的优势来更新模型

看出区别了吗？GRPO用"同组答案的平均表现"代替了价值网络的估计，这样就不需要维护额外的大模型了。

用公式表示（不要被公式吓到，理解思想就好）：

优势(答案i) = 实际奖励(答案i) - 组内平均奖励

如果某个答案比同组其他答案都好，它的优势就是正的，模型会被鼓励生成类似的答案；反之则会被抑制。

5.2.3 GRPO的优势总结

5.3 AgentRL框架特性

了解了GRPO算法后，我们来看看AgentRL框架本身有什么特点。

5.3.1 零门槛接入

AgentRL设计得非常友好——只需要标准的ChatCompletions接口就能接入。

这意味着什么？如果你已经有一个能通过API调用的模型服务，你不需要修改任何代码，直接就能用AgentRL进行训练。

# 示例：接入现有模型服务
from agentrl import Trainer

trainer = Trainer(
    model_name="Qwen3-4B",
    base_url="http://localhost:8000/v1",  # 你的模型服务地址
    api_key="your_api_key"
)

trainer.train(dataset="your_dataset")

5.3.2 极简代码架构

整个AgentRL的核心实现只有：

• 7个文件
• 1000+行代码

这种极简设计带来的好处是：

• 学习门槛低：花一下午就能读完源码
• 二次开发容易：想改什么直接改
• 调试方便：出问题很容易定位

作为对比，一些成熟的强化学习框架可能有上万行代码，光是理解架构就需要好几天。

5.3.3 全异步训推同卡

这是一个非常实用的特性：采样（生成答案）和训练（更新参数）可以在同一块GPU上异步进行。

传统的做法是：

1. 用GPU生成一批答案
2. 等所有答案都生成完
3. 用GPU训练模型
4. 重复

AgentRL的做法是：

1. GPU一边生成答案
2. 一边用已经生成的答案训练模型
3. 两个过程流水线式进行

这样可以极致压榨GPU利用率，训练速度提升显著。

5.3.4 训采解耦与并行支持

AgentRL还支持：

• 训采解耦：采样进程和训练进程可以独立扩缩容
• 原生并行：兼容PyTorch FSDP2、Tensor Parallel、Context Parallel
• 长文本支持：可以处理128K+的长序列

5.4 AgentRL实战配置

接下来，无忆研习社 给大家展示如何配置和使用AgentRL。

5.4.1 基础配置文件

# config/train_config.yaml

# 模型配置
model:
  name: "Qwen3-4B-thinking"
  base_url: "http://localhost:8000/v1"
  max_length: 4096

# GRPO配置
grpo:
  num_samples: 8        # 每个问题生成的答案数
  kl_coef: 0.1          # KL散度惩罚系数
  clip_range: 0.2       # 策略裁剪范围

# 训练配置
training:
  batch_size: 4
  learning_rate: 1e-5
  epochs: 10
  warmup_steps: 100

# 奖励配置
reward:
  type: "rule_based"    # 基于规则的奖励
  correct_bonus: 1.0    # 正确答案奖励
  wrong_penalty: -0.5   # 错误答案惩罚

5.4.2 自定义奖励函数

GRPO的效果很大程度上取决于奖励函数的设计。以下是一个示例：

# reward_functions.py

def calculate_reward(response, ground_truth, task_type):
    """
    计算响应的奖励分数

    Args:
        response: 模型生成的响应
        ground_truth: 真实答案
        task_type: 任务类型

    Returns:
        float: 奖励分数
    """
    reward = 0.0

    # 1. 正确性奖励
    if is_correct(response, ground_truth):
        reward += 1.0
    else:
        reward -= 0.5

    # 2. 格式规范奖励
    if follows_format(response):
        reward += 0.2

    # 3. 推理过程奖励
    if has_reasoning_steps(response):
        reward += 0.3

    # 4. 长度惩罚（避免冗长）
    if len(response) > MAX_LENGTH:
        reward -= 0.1 * (len(response) - MAX_LENGTH) / MAX_LENGTH

    return reward

5.4.3 启动训练

# 单卡训练
python -m agentrl.train --config config/train_config.yaml

# 多卡并行训练
torchrun --nproc_per_node=4 -m agentrl.train \
    --config config/train_config.yaml \
    --distributed

5.5 训练过程中的关键技巧

AgentCPM-Explore在训练过程中使用了几个关键技巧，这些是4B模型能够"以小博大"的重要原因。

5.5.1 模型融合破解SFT过拟合

问题：小模型在监督微调（SFT）阶段很容易"死记硬背"。

研发团队发现，仅仅是修改Prompt中无关的工具描述，模型性能就会大幅下滑。这说明模型记住的是特定的任务模式，而不是通用的决策能力。

解决方案：参数融合

融合模型 = α × 训练后模型 + (1-α) × 训练前模型

其中α是融合系数，通常在0.3-0.7之间。

这样做的效果是：

• 保留通专模型一致的泛化参数
• 强化互补的专业能力
• 相互抵消过拟合产生的噪音

实测显示，融合后模型在智能体任务上性能提升约7%。

5.5.2 信号去噪修正RL奖励偏差

问题：智能体任务通常需要几十步才能完成。如果最后一步出错，传统RL会把惩罚回传到整条链路。

这导致什么后果？中间正确的推理步骤也被"误杀"了，模型可能崩溃。

解决方案：严格的奖励信号去噪

• 筛选真正有策略更新价值的轨迹
• 对于长步骤但最终失败的样本，不进行全轨迹惩罚
• 保护已学到的正确推理逻辑

5.5.3 信息精炼对抗长文干扰

问题：网页内容通常很长且充满噪音，对小模型影响极大。

研发团队做了对比实验：用不同能力的模型（如Qwen3-4B vs DeepSeek-v3