AgentCPM-Report让8B小模型写出万字长文：本地私有化部署深度调研智能体完全指南

作者：莫潇羽 | 无忆研习社
在这个数据即石油的时代，我们终于等来了一款既能保护隐私、又能媲美顶级闭源系统的本地化深度调研工具。本文将带你从原理到实践，彻底搞懂AgentCPM-Report。

写在前面

最近半年，Deep Research类产品可谓是遍地开花。从OpenAI的深度研究功能到各种国产替代方案，大家都在追求一个目标：让AI帮我们做深度调研，自动写出有理有据的万字长文。

但说实话，作为一个长期跟踪AI开源项目的技术博主，我一直对这类云端产品保持警惕。原因很简单——数据安全。

想象一下这个场景：你是某公司的战略分析师，手里有一份尚未公开的明年发展规划，需要结合行业数据写一份深度分析报告。你敢把这份文件上传到云端让AI帮你分析吗？

或者你是一名科研人员，有一批核心实验数据需要整理成论文。这些数据可能关系到你未来几年的学术成果，你真的放心让它们在云端"裸奔"吗？

这就是当前深度调研领域面临的最大困境：

• 想要顶级的调研能力？必须依赖云端大模型，数据安全无法保障
• 想要数据绝对安全？只能选择本地小模型，但生成的报告往往逻辑浅薄、不堪大用

数据隐私与深度洞察，真的不可兼得吗？

今天我要介绍的这个项目，给出了一个令人振奋的答案。

一、AgentCPM-Report是什么

AgentCPM-Report是由清华大学自然语言处理实验室（THUNLP）、中国人民大学、面壁智能与OpenBMB开源社区联合研发的深度调研智能体。

与市面上其他方案最大的不同在于——它专门为本地化、私有化部署而设计，却能达到比肩顶级闭源系统的报告生成能力。

简单来说，你可以在自己的电脑上、在完全离线的环境下，让一个只有8B参数的"小"模型，帮你写出逻辑严密、洞察深刻的万字长文。

这听起来有点不可思议，但数据不会说谎。在DeepResearch Bench、Deep Consult和DeepResearch Gym三大主流深度调研评测基准中，AgentCPM-Report的综合评分达到甚至超越了顶级闭源系统。特别是在最考验深度的"洞察性"指标上，它力压群雄，排名第一。

作为无忆研习社的站长，我第一时间就把这个项目部署到了本地进行测试。接下来，我会从技术原理到实操部署，把这个项目的方方面面都给大家讲透。

二、为什么8B小模型能"以弱胜强"

在深入部署教程之前，我觉得有必要先帮大家理解AgentCPM-Report背后的技术原理。只有理解了原理，你才能在实际使用中更好地发挥它的能力。

2.1 传统方案的困境

传统的报告生成方案，通常采用"一次性生成"的策略：把需求和资料一股脑儿塞给模型，让它直接输出一篇完整的长文。

这种方案对于大参数模型来说或许还能勉强应付，但对于8B这种"小"模型来说，简直是灾难性的。

为什么？因为生成万字长文需要模型同时处理以下几件事：

1. 理解需求：搞清楚用户到底想要什么
2. 检索信息：从知识库中找到相关的内容
3. 规划结构：设计报告的整体框架和章节
4. 组织论述：把检索到的信息按逻辑组织起来
5. 保持连贯：确保前后文的一致性和流畅性

当模型参数量有限时，它的"工作记忆"也是有限的。让一个小模型同时处理这么多事情，结果往往就是顾此失彼——要么结构混乱，要么逻辑跳跃，要么前后矛盾。

这就是为什么以前的本地小模型写出的报告总是"不堪大用"。

2.2 创新一：写作即推理

AgentCPM-Report采用了一种我称之为"写作即推理"的创新框架，彻底打破了传统方案的局限。

核心思想是：不要试图让模型一口气写完整篇文章，而是让它像人类专家一样，边写边想、边想边改。

具体来说，系统在"起草"和"深化"两个状态之间不断交替循环：

起草阶段：模型先写出一个章节的草稿内容。这个时候，模型只需要专注于把当前章节写好，不用同时操心整篇文章的结构。

深化阶段：写完草稿后，模型会立即停下来反思：

• 这部分内容够不够深入？
• 有没有需要补充的信息？
• 侧重点应该是怎样的？
• 需不需要再做一轮检索？

然后根据反思的结果，要么扩展当前章节、要么补充新的检索、要么直接进入下一章节的写作。

这种"迭代精炼"的方式，把一个宏大的万字长文任务，拆解成了一系列可执行的微小目标。模型在每一轮循环中只需要解决当下的局部问题，而不是同时处理全局的复杂性。

用一个生活化的比喻：这就像是一位经验丰富的作家写书。他不会试图一口气把整本书写完，而是写一章、改一章、再写下一章。每完成一个章节，都会回头审视一下，看看有没有需要调整的地方。

2.3 创新二：深度检索机制

光有好的写作框架还不够，还需要有强大的信息检索能力作为支撑。

AgentCPM-Report通过平均40轮的深度检索和近100轮的思维链推演，实现对信息的全方位挖掘与重组。

这里要重点说一下它的检索机制。系统不是简单地做一次关键词搜索就完事了，而是会：

多轮迭代检索：每一轮写作可能触发新的检索需求。比如在写"市场分析"章节时，模型发现需要补充"竞争对手"的信息，就会立即发起新一轮检索。

交叉验证：对于检索到的信息，系统会进行交叉验证，确保信息的准确性和可靠性。

动态调整策略：如果某个检索路径走不通，系统会自动调整搜索策略。从通用搜索到精准定位，能够根据反馈实时调整战术。

这种深度检索机制配合UltraRAG框架，能够高效挂载并理解本地的私有知识库，让你的核心机密数据在"不出域"的前提下，安全地转化为有价值的专业报告。

2.4 创新三：多阶段智能体学习

AgentCPM-Report之所以能用8B参数达到顶级性能，还要归功于其精心设计的训练方法。

四大核心能力模块

技术团队把完整的报告生成任务拆解为四个核心能力模块，并针对性地进行强化训练：

1. 智能检索能力：以"召回率"为核心优化指标，确保检索内容高度相关，为后续写作奠定基础
2. 流畅写作能力：建立多维度质量评估体系，从内容深度到表达清晰度全面把关
3. 科学规划能力：对生成的大纲进行结构化评估，确保报告逻辑严谨、层次分明
4. 精准决策能力：采用"轨迹剪枝"技术，构造高质量数据，解决"何时停止深化"的关键决策问题

三阶段训练法

在训练过程中，团队同样采用了循序渐进的策略：

第一阶段：有监督微调（SFT）

用高质量范文进行引导，让模型掌握写作的基本范式。这就像是让一个学生先临摹优秀作文，学习基本的写作套路。

第二阶段：原子能力强化

针对上述四项核心能力分别进行专项提升。这就像是分科目训练——专门练检索、专门练写作、专门练规划、专门练决策。

第三阶段：全流程优化

端到端的全链路强化学习，以最终报告质量为唯一目标，打通所有能力关节。这就像是综合考试，把之前分项训练的能力整合起来，形成完整的工作流程。

通过这种精心设计的训练方法，8B参数的小模型也能在深度调研任务上展现出惊人的战斗力。

三、UltraRAG框架：让知识库触手可及

AgentCPM-Report能够实现本地化部署的另一个关键，是它所依托的UltraRAG框架。作为一个站长，我必须得好好介绍一下这个框架，因为它真的太好用了。

3.1 什么是UltraRAG

UltraRAG是由清华大学THUNLP团队联合东北大学NEUIR、面壁智能团队及9#AISoft团队共同提出的RAG（检索增强生成）系统解决方案。

如果你不太了解RAG，我简单解释一下：RAG的核心思想是让大模型在回答问题时，先从知识库中检索相关信息，然后基于检索到的信息生成答案。这样做的好处是：

1. 可以让模型使用最新的、私有的信息，而不仅仅是训练时学到的知识
2. 可以显著减少模型"胡说八道"的情况，因为它的回答有据可查
3. 可以保护数据隐私，因为知识库是存储在本地的

3.2 UltraRAG的核心优势

相比于其他RAG框架（比如常见的LlamaIndex），UltraRAG有几个特别突出的优势：

零代码WebUI支持

即使你完全不会编程，也可以通过图形界面完成全部操作。上传文档、构建知识库、调试参数、发起查询，全程不需要写一行代码。

这对于非技术人员来说简直是福音。以前搭建一个RAG系统，光是配置环境就要折腾半天，现在动动鼠标就能搞定。

自动化知识适配

传统RAG系统需要你自己选择合适的嵌入模型、调整检索参数、优化生成策略，对普通用户来说门槛太高。

UltraRAG支持自动化地将模型适配到你提供的知识库。它内置了KBAlign等自研技术，能够自动优化检索和推理过程，有效避免了在"模型选型"时的反复纠结。

模块化设计

UltraRAG采用了高度模块化的设计，你可以根据需求自由组合不同的组件：

• 不同的嵌入模型（Embedding）
• 不同的重排序模型（Reranker）
• 不同的生成模型（LLM）
• 不同的检索策略

这种灵活性让它既能满足快速搭建的需求，也能支持深度的科研探索。

一键式数据构建

UltraRAG提供了从检索模型到生成模型的全流程数据构建方案。你只需要把文档扔进去，系统就会自动完成：

• 文档解析（支持PDF、Word、TXT等多种格式）
• 文本切片（智能分割长文档）
• 向量化索引（把文本转化为可检索的向量）
• 训练数据生成（如果需要微调模型的话）

3.3 UltraRAG 2.0的MCP架构

值得一提的是，UltraRAG最新的2.0版本引入了MCP（Model Context Protocol）架构，这是一个革命性的升级。

传统RAG框架的一个痛点是：不同组件之间耦合度太高，改动一个地方可能导致整个系统出问题。

MCP架构通过Client-Server模式彻底解决了这个问题：

• 每个功能模块（检索、生成、评测等）都是独立的Server
• 各个Server通过标准化接口通信
• 可以轻松替换或升级任意组件
• 支持分布式部署和高并发调用

对于研究者来说，这意味着可以更方便地进行实验和对比；对于工程师来说，这意味着更灵活的系统架构和更好的可维护性。

四、环境准备与硬件要求

好了，原理讲得差不多了，接下来进入实战环节。在动手之前，我们需要先确认一下硬件配置和环境要求。

4.1 硬件配置建议

AgentCPM-Report基于8B参数模型，对硬件的要求相对友好。以下是我根据实际测试整理的配置建议：

最低配置（能跑但会比较慢）

推荐配置（流畅运行）

高端配置（企业级部署）

关于纯CPU运行

如果你实在没有GPU，也可以尝试纯CPU运行。但需要注意：

1. 推理速度会非常慢（可能是GPU的10-20倍时间）
2. 建议使用量化版本的模型以减少内存占用
3. 生成万字长文可能需要等待数十分钟甚至更长

对于个人用户来说，我的建议是至少准备一张8GB显存的显卡。现在二手的RTX 3070价格已经比较亲民了，投资一张对于跑各种AI模型都很有帮助。

4.2 软件环境要求

操作系统

• Linux（推荐Ubuntu 22.04 LTS或更高版本）
• Windows（需要安装WSL2）
• macOS（Apple Silicon芯片需要特殊配置）

依赖软件

• Docker（强烈推荐，可以一键部署）
• Docker Compose（用于编排多个服务）
• Git（用于拉取代码）
• Python 3.11+（如果不用Docker的话）
• CUDA 11.8+（NVIDIA GPU用户）

网络环境

初次部署时需要联网下载模型文件和Docker镜像，模型文件大约5-10GB，请确保网络畅通。部署完成后可以完全离线使用。

4.3 准备工作清单

在开始部署之前，请确认以下事项：

• 硬件配置满足最低要求
• 已安装Docker和Docker Compose
• 已安装Git
• 磁盘空间充足（至少50GB可用）
• 显卡驱动已正确安装（使用nvidia-smi命令验证）
• 网络连接正常

如果你是Linux用户，可以用以下命令快速检查环境：

# 检查Docker
docker --version

# 检查Docker Compose
docker compose version

# 检查Git
git --version

# 检查GPU（NVIDIA用户）
nvidia-smi

# 检查磁盘空间
df -h

五、Docker一键部署教程

接下来是本文的重头戏——部署教程。我会尽可能详细地讲解每一步，确保即使是小白也能顺利完成。

5.1 克隆项目代码

首先，我们需要把项目代码下载到本地：

# 创建工作目录
mkdir -p ~/ai-projects
cd ~/ai-projects

# 克隆AgentCPM主仓库
git clone https://github.com/OpenBMB/AgentCPM.git

# 进入项目目录
cd AgentCPM

如果GitHub访问较慢，可以尝试使用国内镜像：

git clone https://gitcode.com/OpenBMB/AgentCPM.git

5.2 克隆UltraRAG框架

AgentCPM-Report需要配合UltraRAG框架使用：

# 克隆UltraRAG仓库
git clone https://github.com/OpenBMB/UltraRAG.git

# 进入UltraRAG目录
cd UltraRAG

5.3 配置环境变量

在启动服务之前，我们需要先配置一些环境变量：

# 复制环境变量模板
cp .env.example .env

# 编辑配置文件
nano .env

主要需要配置以下参数：

# MongoDB配置（用于存储知识库数据）
MONGODB_USERNAME=admin
MONGODB_PASSWORD=your_secure_password_here

# 模型路径配置
MODEL_PATH=/path/to/your/models

# 服务端口配置
WEB_PORT=8080
API_PORT=8000

# GPU配置（指定使用哪些GPU）
CUDA_VISIBLE_DEVICES=0

配置说明：

1. MongoDB密码：请设置一个足够复杂的密码，不要使用默认密码
2. 模型路径：指定本地存储模型文件的目录
3. 端口配置：确保这些端口没有被其他程序占用
4. GPU配置：如果有多张显卡，可以指定使用哪一张

5.4 下载模型文件

AgentCPM-Report需要下载对应的模型文件。有多个下载渠道可选：

方式一：HuggingFace（国际用户推荐）

# 安装huggingface-cli
pip install huggingface_hub

# 下载模型
huggingface-cli download openbmb/AgentCPM-Report --local-dir ./models/AgentCPM-Report

方式二：ModelScope（国内用户推荐）

# 安装modelscope
pip install modelscope

# 下载模型
modelscope download --model OpenBMB/AgentCPM-Report --local_dir ./models/AgentCPM-Report

方式三：魔乐社区

访问 https://modelers.cn/models/OpenBMB/AgentCPM-Report 直接下载。

下载完成后，确认模型文件的目录结构类似这样：

models/
└── AgentCPM-Report/
    ├── config.json
    ├── model.safetensors
    ├── tokenizer.json
    ├── tokenizer_config.json
    └── ...

5.5 启动Docker服务

准备工作完成后，就可以一键启动所有服务了：

# 进入UltraRAG目录
cd ~/ai-projects/UltraRAG

# 拉取最新镜像并启动
docker compose pull
docker compose up -d

等待几分钟，让所有服务启动完成。你可以用以下命令查看服务状态：

# 查看运行中的容器
docker compose ps

# 查看日志（如果遇到问题可以用这个命令排查）
docker compose logs -f

如果一切正常，你应该能看到类似这样的输出：

NAME                    STATUS              PORTS
ultrarag-web            Up                  0.0.0.0:8080->8080/tcp
ultrarag-api            Up                  0.0.0.0:8000->8000/tcp
ultrarag-mongodb        Up                  0.0.0.0:27017->27017/tcp
ultrarag-model          Up                  0.0.0.0:8001->8001/tcp

5.6 验证部署

打开浏览器，访问 http://localhost:8080（如果是远程服务器，把localhost换成服务器IP）。

如果能看到UltraRAG的Web界面，恭喜你，部署成功了！

第一次访问需要注册账号。注册完成后登录，就可以开始使用了。

六、知识库构建详解

部署完成后，下一步是构建你的私有知识库。这是实现"数据不出域"的关键步骤。

6.1 支持的文档格式

UltraRAG支持多种常见的文档格式：

对于特殊格式的文档，建议先转换为PDF或纯文本再上传。

6.2 上传文档

在Web界面中，找到"知识库管理"菜单：

1. 点击"新建知识库"按钮
2. 输入知识库名称和描述（比如"公司战略规划资料"）
3. 选择嵌入模型（推荐使用默认的UltraRAG-Embedding）
4. 点击"创建"

创建完成后，进入知识库详情页：

1. 点击"上传文档"按钮
2. 选择要上传的文件（可以批量选择）
3. 等待系统处理

系统会自动完成以下工作：

• 解析文档内容
• 智能分割成适当大小的文本块
• 生成向量索引
• 存储到数据库

处理时间取决于文档数量和大小，一般几十页的PDF几分钟就能处理完。

6.3 文档切片策略

文档切片是RAG系统的关键环节。切得太大，检索精度会下降；切得太小，上下文会丢失。

UltraRAG提供了几种切片策略：

固定长度切片

• 按照固定的字符数或token数切分
• 简单粗暴，适合结构不明显的文档

语义切片

• 基于语义边界进行切分
• 保持语义完整性，效果更好
• 计算成本略高

递归切片

• 先按大块切分，再递归细分
• 能够保留层次结构信息
• 适合章节结构明显的文档

对于大多数场景，我推荐使用默认的语义切片策略。如果你的文档有明确的章节结构，可以尝试递归切片。

6.4 向量索引优化

向量索引的质量直接影响检索效果。UltraRAG提供了一些优化选项：

选择合适的嵌入模型

系统内置了几个嵌入模型可选：

• UltraRAG-Embedding：官方推荐，中英文效果都很好
• BGE-M3：开源社区的热门选择
• 自定义模型：支持接入其他嵌入模型

调整相似度阈值

检索时会返回与查询最相似的文档块。通过调整相似度阈值，可以控制返回结果的精度：

• 阈值设高：返回更精准但数量更少的结果
• 阈值设低：返回更多结果但可能包含不太相关的内容

启用重排序

Reranker（重排序模型）可以对初步检索的结果进行二次排序，提高最终结果的质量。推荐开启这个功能。

6.5 知识库测试

在正式使用之前，建议先测试一下知识库的检索效果：

1. 在Web界面找到"检索测试"功能
2. 输入一个测试查询（比如"公司的核心竞争力是什么"）
3. 查看返回的文档片段是否相关
4. 如果效果不理想，调整切片策略或嵌入模型后重新处理

七、深度调研实战演示

知识库准备好了，现在可以开始使用AgentCPM-Report进行深度调研了。我会用一个具体的例子来演示整个流程。

7.1 场景设定

假设我们是一家科幻出版社的编辑，手里有《三体》系列小说的完整文本，需要写一篇关于"面壁计划"的深度分析报告。

这个任务有以下特点：

• 知识来源是私有的（假设是独家版权）
• 需要从大量文本中提取相关信息
• 需要进行深度分析和逻辑推演
• 最终输出一篇结构完整的长文

非常适合用来展示AgentCPM-Report的能力。

7.2 准备知识库

首先，把《三体》系列的文本文件上传到知识库：

1. 创建名为"三体小说"的知识库
2. 上传三体三部曲的txt文件
3. 等待系统完成处理

由于小说文本量较大，处理可能需要10-20分钟。

7.3 发起调研任务

在"深度调研"功能页面：

1. 选择刚才创建的"三体小说"知识库
2. 输入研究主题：请生成一篇关于《三体》系列中"面壁计划"的深度分析报告，包括计划的背景、四位面壁者的策略分析、以及计划的最终结局与历史意义。
3. 设置报告长度：长文（5000字以上）
4. 点击"开始调研"

7.4 观察调研过程

这是最有意思的部分——你可以实时观察AI的"思考"过程。

第一阶段：需求理解与大纲规划

系统首先会分析你的需求，生成报告大纲：

正在分析研究主题...
生成报告大纲：
1. 面壁计划的历史背景
   1.1 三体危机的发现
   1.2 人类社会的反应
   1.3 面壁计划的提出
2. 四位面壁者深度分析
   2.1 弗雷德里克·泰勒
   2.2 曼努尔·雷迪亚兹
   2.3 比尔·希恩斯
   2.4 罗辑
3. 面壁计划的执行与演变
4. 计划的最终结局
5. 历史意义与反思

第二阶段：迭代检索与内容生成

然后系统开始逐章节工作，你能看到类似这样的日志：

[检索] 正在搜索关于"三体危机发现"的相关内容...
[检索] 找到 12 个相关文档片段
[写作] 开始撰写第1.1节...
[深化] 分析当前内容深度...
[决策] 需要补充关于"红岸基地"的信息
[检索] 正在搜索关于"红岸基地"的相关内容...
[写作] 扩展第1.1节内容...
[决策] 第1.1节内容充分，进入下一节...

整个过程可能需要15-30分钟，取决于报告长度和硬件配置。

7.5 查看生成结