作者：莫潇羽@无忆研习社 ｜ 原创首发于 www.wuyi.wiki ｜ 转载请注明出处
快速摘要
你的网站每天可能正在被数十种AI爬虫访问数万次，但你的流量统计后台对此一无所知。 莫潇羽在无忆研习社部署了一套AI爬虫监控系统，连续多日追踪分析后发现：所谓的"AI爬虫流量"中有七成其实是SEO工具在刷数据，真正来自AI平台的有效抓取不到三成；ChatGPT浏览模式是当前最活跃的AI内容消费者，每天数千次地反复抓取特定深度文章；部分主流AI平台的爬虫来了之后只读了robots.txt就走了，一个字的正文都没看到——这意味着你可能在某些AI搜索引擎里完全隐形。 往下看，我会把每一个发现掰开揉碎讲清楚，并且手把手教你怎么搭建自己的监控体系。
写在前面：你有一种"隐形流量"，叫AI引用
如果你是一个网站运营者，打开百度统计或者Google Analytics，你看到的是什么？日活、UV、PV、跳出率——这些指标追踪的都是真实的人类访客。
但有一群"访客"，它们每天来你网站几千上万次，翻遍你的每一篇文章，然后悄悄离开，在你的流量统计里不留任何痕迹。它们就是AI爬虫。
2025年以来，随着ChatGPT、Perplexity、Google AI Overview、Kimi、豆包等AI搜索工具的爆发式增长，一个全新的内容消费场景已经形成：用户不再打开搜索引擎翻链接，而是直接问AI。AI则在后台实时抓取网页内容，综合多个来源生成答案，然后呈现给用户。
这意味着什么？意味着你的文章可能正在被AI引用给成千上万的用户看，但你的后台显示今天只来了几十个人。 这就是我所说的"隐形流量"。
我是莫潇羽，无忆研习社（www.wuyi.wiki）的站长。过去一段时间里，我搭建了一套基于服务器日志的AI爬虫监控系统，持续追踪各大AI平台对我网站的抓取行为。今天这篇文章，就是我基于真实数据的观察和思考。
需要提前说明的是，出于安全考虑，本文中涉及的具体请求数量、页面路径、技术架构等信息均已做脱敏处理。我的目的不是炫耀数据，而是把方法论和行业规律讲清楚，让每一个站长都能建立起自己的AI爬虫认知体系。
一、为什么站长需要监控AI爬虫
1.1 你的流量统计只看到了冰山一角
传统的网站分析工具，无论是Google Analytics还是百度统计，它们的工作原理都是在网页中嵌入一段JavaScript代码，当真实用户的浏览器加载页面并执行这段代码时，才会产生一条访问记录。
AI爬虫不是浏览器。它们不会执行JavaScript，自然也不会触发你的统计代码。所以在你的流量报表里，AI爬虫的访问量永远是零。
但它们确实来了，而且来得很频繁。
根据Cloudflare在2025年底发布的年度互联网报告，AI爬虫（不含传统搜索引擎爬虫）产生的HTML请求量约占整体流量的4.2%，而Google的Googlebot单独又贡献了约4.5%。两项加起来，接近一成的网站请求来自AI相关的爬虫程序。Cloudflare在2025年全年观测到的AI爬虫日均请求量达到了数百亿次的量级。
这不是一个可以忽略的数字。
1.2 监控AI爬虫能回答哪些关键问题
如果你认真做了一套AI爬虫监控，你能回答以下这些对GEO至关重要的问题：
- 谁在抓我？ 是ChatGPT的爬虫还是Google的AI爬虫？是用于模型训练的还是用于实时搜索的？不同类型的爬虫意味着你的内容被使用的方式完全不同。
- 它们在抓什么？ 是你的核心文章还是一些无关紧要的CSS文件？是集中在某几篇内容上，还是广撒网式的抓取？这直接反映了你哪些内容在AI生态中有价值。
- 谁来了又走了？ 有些AI爬虫来了之后只读了robots.txt就离开了，一个正文页面都没看。这可能意味着你的robots.txt把它们挡在了门外，或者你的某些安全设置在无意中阻止了它们。
- 我在哪些AI平台上是隐形的？ 如果某个主流AI搜索平台的爬虫从来没有出现在你的日志里，那你在该平台的搜索结果中大概率是不存在的。
这些问题的答案，传统的SEO工具给不了你。你需要一套专门的AI爬虫监控系统。
1.3 Cloudflare数据揭示的全球趋势
在讲我自己的监控数据之前，先看看全球范围内AI爬虫的大趋势，这些数据来自Cloudflare、Fastly等CDN服务商的公开报告。
根据Cloudflare 2025年的多份研究报告，从2024年5月到2025年5月，AI和搜索爬虫的总抓取流量增长了约18%。其中增长最猛的是OpenAI旗下的GPTBot，请求量一年内增长了超过300%。ChatGPT-User（即ChatGPT的实时浏览模式爬虫）的请求量更是暴增了近28倍，这背后是ChatGPT搜索功能的快速普及。
Fastly在2025年Q2的报告中则指出，AI爬虫中用于模型训练的占了将近80%，用于实时回答用户提问（所谓的"Fetcher"模式）的只占约20%。但后者的增长速度远快于前者——因为越来越多的AI产品开始提供实时搜索功能。
Cloudflare还有一个特别有意思的发现：在他们分析的近3900个Top 10000域名的robots.txt文件中，AI爬虫是被明确封禁最多的User-Agent类型。GPTBot、ClaudeBot、CCBot位列封禁榜前三。这说明很多网站管理员对AI爬虫持防御态度。
但硬币的另一面是，如果你想让自己的内容被AI引用和推荐——也就是做GEO——你就需要反其道而行之：主动欢迎AI爬虫，并且监控它们的行为，据此优化自己的内容策略。
二、AI爬虫的分类体系：不是所有机器人都一样
在分析监控数据之前，有必要先建立一个清晰的AI爬虫分类框架。很多站长把所有带"bot"标识的请求都归为一类，这会严重扭曲你的判断。
2.1 按功能分类
训练型爬虫
这类爬虫的任务是大规模抓取互联网内容，用于训练大语言模型。代表性的有OpenAI的GPTBot、字节跳动的ByteSpider、Meta的Meta-ExternalAgent等。它们的特点是抓取量大、覆盖面广、不太在乎时效性，更像是在"囤粮"。被这类爬虫抓取意味着你的内容可能进入了大模型的训练数据，会在未来影响模型的知识储备。
实时检索型爬虫
这类爬虫是在用户向AI提问时，实时去互联网上抓取最新内容来辅助生成答案。代表性的有ChatGPT-User（ChatGPT的浏览模式）、OAI-SearchBot（OpenAI搜索）、Perplexity-User等。它们的特点是抓取量跟用户提问量直接挂钩，有明显的时间周期（工作日比周末活跃），而且主要抓取内容页而非资源文件。被这类爬虫高频抓取，说明你的内容正在被AI实时引用给用户，这是GEO效果最直接的体现。
索引型爬虫
传统搜索引擎的爬虫，如Googlebot和Bingbot。虽然它们的本职工作是建立搜索索引，但在AI时代它们有了新的角色。Googlebot同时服务于Google搜索和Google AI Overview（Google的AI概览功能），Bingbot同时服务于Bing搜索和微软Copilot。Cloudflare的研究明确指出，Googlebot是一个"双重用途"爬虫，你无法在允许它做搜索索引的同时禁止它做AI训练——这两个功能捆绑在同一个爬虫身上。
SEO工具爬虫
Semrush和Ahrefs的爬虫。这是最容易造成误解的一类。很多AI爬虫监控脚本会把它们归入"AI爬虫"，但实际上它们是商业SEO分析工具的数据采集爬虫，跟AI没有半点关系。它们抓取你网站的目的是分析你的外链、关键词排名、网站结构等信息，然后卖给你的竞争对手（或者你自己）。如果不把这类爬虫剥离出来，你的"AI爬虫流量"数据会被严重虚高。
2.2 主要AI爬虫的User-Agent标识
为了方便大家在自己的日志中识别这些爬虫，莫潇羽@无忆研习社整理了一份主要AI爬虫的UA对照表。以下信息综合了Cloudflare公布的AI爬虫列表、GitHub上的ai-robots-txt开源项目以及各平台的官方文档：
OpenAI 系列：
├── GPTBot → 模型训练爬虫
├── ChatGPT-User → ChatGPT浏览模式（实时检索）
└── OAI-SearchBot → OpenAI搜索功能
Anthropic 系列：
├── anthropic-ai → 模型训练爬虫
├── ClaudeBot → Claude对话引用（实时检索）
└── claude-web → Web端爬取
Google 系列：
├── Googlebot → 搜索索引 + AI训练（双重用途）
└── Google-Extended → 专用于AI训练（robots.txt控制）
Microsoft 系列：
└── Bingbot → Bing搜索 + Copilot
Perplexity 系列：
├── PerplexityBot → 索引构建
└── Perplexity-User → 用户提问时的实时检索
Meta 系列：
├── FacebookBot → 社交预览
└── Meta-ExternalAgent → AI模型训练
字节跳动：
└── Bytespider → 模型训练（豆包等产品）
其他：
├── Applebot / Applebot-Extended → Apple Intelligence
├── Amazonbot → Amazon AI
├── CCBot → Common Crawl开放数据集
└── DuckAssistBot → DuckDuckGo AI助手这份列表会持续变化。GitHub上有一个名为 ai-robots-txt 的开源项目（地址：https://github.com/ai-robots-txt/ai.robots.txt ）维护了一份相当全面的AI爬虫UA清单，截至目前已经收录了超过200个不同的AI相关爬虫标识。如果你要搭建自己的监控系统，建议参考这个项目来维护你的UA匹配规则。
2.3 一个关键区分：训练型 vs 检索型
在所有的分类维度中，莫潇羽认为最重要的一个区分是：这个爬虫是来"训练"的，还是来"检索"的？
训练型爬虫抓走你的内容后，这些内容会被融入模型的参数权重中。你无法知道它在什么时候、以什么形式影响了模型的输出。这是一种间接的、延迟的、不可追踪的影响。
检索型爬虫则不同。当一个用户在ChatGPT里问了一个问题，ChatGPT-User爬虫实时抓取你的页面，把你的内容综合到回答中展示给用户——这是一种直接的、即时的、可验证的引用。你甚至可以自己去ChatGPT问同样的问题，看看它有没有引用你的内容。
从GEO的角度来说，检索型爬虫的价值远大于训练型爬虫。因为前者意味着你的内容"此刻正在被使用"，而后者只能说明你的内容"曾经被收集过"。
所以在监控和分析AI爬虫数据时，一定要把这两类分开统计、分开分析。
三、实测数据揭示的六个真相
接下来是本文的核心部分。以下发现基于我在无忆研习社连续多日的监控数据。为了数据安全，所有的绝对数字都做了模糊化处理，但比例关系和趋势是真实的。
真相一：SEO工具爬虫是最大的"伪AI流量"
这是我在分析数据时最先发现、也是最令人意外的一点。
在我的监控脚本最初的统计结果中，"AI爬虫"占总请求量的约10%，看起来非常可观。但当我仔细拆解各平台的占比后发现，Semrush和Ahrefs两家SEO工具的爬虫加起来，竟然占了"AI爬虫"总量的超过70%。
也就是说，如果你看到一份报告说"你网站的AI爬虫流量占10%"，先别高兴太早。真正来自AI平台的有效抓取，可能只有3%左右。
这两家SEO工具的爬虫行为特点是请求量极大、几乎全天不间断、会抓取网站的每一个角落。它们的目的不是消费你的内容，而是在建立一个覆盖全网的SEO数据库。对于GEO分析来说，这些数据应该被完全剥离。
给站长的启示： 如果你在搭建AI爬虫监控系统，第一件事就是把Semrush和Ahrefs的流量单独归类为"SEO工具"，不要把它们混在AI爬虫的统计里。否则你对AI爬虫的认知会从起点就是扭曲的。
真相二：ChatGPT的实时检索量远超预期
剔除SEO工具后，ChatGPT的浏览模式（ChatGPT-User）成为了最大的AI流量来源，占真正AI爬虫流量的将近一半。
这个发现让我非常兴奋。因为ChatGPT浏览模式是典型的检索型爬虫——它抓取你的页面，是因为有用户正在ChatGPT里问跟你内容相关的问题。换句话说，我网站上的深度文章，正在被ChatGPT实时引用给全球用户。
更有意思的是，ChatGPT浏览模式的抓取并不是广撒网式的。它集中在我站上大约十几篇特定文章上，而且是反复抓取。同一篇教程文章，一天之内可能被抓取数百次。
这说明什么？说明当你在ChatGPT里搜索某个话题时，如果AI认为我的某篇文章是该话题的优质信息来源，它会反复来取。每一次新的用户提问触发了相关搜索，我的文章就被抓取一次。
给站长的启示： 如果你发现ChatGPT-User爬虫在反复抓取你的某些文章，恭喜你，这些文章就是你在AI生态中的"硬通货"。要重点维护它们的准确性和时效性，因为它们正在被大量用户间接消费。
真相三：很多AI爬虫只读了robots.txt就走了
这是一个容易被忽略但非常重要的发现。
在我的监控数据中，某些AI平台的爬虫表现出了一种奇特的行为模式：它们的绝大多数请求都打在了robots.txt文件上，实际进入内容页面的请求极少，有些甚至为零。
以某家知名AI公司的爬虫为例，它在一天内发起了近百次请求，其中九成以上都指向/robots.txt，只有个位数的请求指向了sitemap.xml——然后就没有然后了。没有任何一个正文页面被访问过。
这意味着什么？两种可能：一是你的robots.txt中有某些规则无意中封锁了这些爬虫；二是你的安全防护机制（比如CDN的WAF规则、验证码挑战等）在爬虫读完robots.txt后将其拦截了。
无论哪种情况，结果都一样：你在这个AI平台的搜索结果中是完全隐形的。 它的爬虫来了、看了门牌、发现进不去（或被告知不欢迎），于是转身走了。
给站长的启示： 定期检查你的robots.txt规则，确认是否有无意中封锁AI爬虫的指令。同时检查CDN和WAF的日志，看是否有AI爬虫被安全规则拦截的记录。如果你的GEO目标是让内容被更多AI平台引用，这些检查是必须做的。
真相四：有些AI平台在"自我搜索"
这是一个非常有趣的行为模式。
在监控数据中，某家国内AI公司的爬虫呈现出高度聚焦的抓取特征：它几乎只抓取了我网站上包含该公司品牌名称的标签聚合页面。比如以"/tag/品牌名"开头的各种URL，占了它全部请求的大部分。
这不像是在消费我的内容——如果是，它应该抓取各种话题的文章才对。这更像是在监控我的网站上关于它的讨论和评价。换句话说，某些AI公司在用自己的爬虫做品牌舆情监控。
这个发现虽然对GEO优化没有直接帮助，但它提供了一个有趣的视角：如果你写了关于某个AI产品的深度评测或使用教程，这些内容可能会被该产品的爬虫优先发现和收录，进而在它的AI搜索结果中获得更好的曝光。
给站长的启示： 围绕特定AI产品创作的深度内容，可能会被该产品的爬虫优先关注。这是一个值得尝试的GEO选题策略。
真相五：大量爬虫预算被浪费在非内容页上
在分析各AI平台的具体抓取页面时，我发现了一个普遍的问题：不少爬虫把相当一部分请求花在了CSS样式文件、JavaScript文件、模板资源文件、甚至后台管理路径上。
这些页面对AI来说没有任何内容价值，但每一次请求都消耗了爬虫的"抓取预算"（crawl budget）和你服务器的资源。
某个搜索引擎的爬虫尤其典型——它的请求中有相当比例指向了网站的主题模板资源文件和CSS样式表。这些文件可能是爬虫在尝试渲染页面时顺带抓取的，但对于内容理解来说完全是浪费。
还有一些爬虫在扫描常见的后台管理路径，这种行为更值得警惕——它可能只是盲目探测，但也不排除有安全层面的隐患。
给站长的启示： 通过robots.txt主动引导AI爬虫，禁止它们抓取模板资源目录、插件目录、后台管理目录等非内容路径。一个简单但有效的robots.txt配置示例：
# 允许主要AI爬虫访问内容
User-agent: GPTBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Google-Extended
Allow: /
# 对所有爬虫禁止无价值路径
User-agent: *
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /content/templates/
Disallow: /content/plugins/注意，这只是一个通用示例。你需要根据自己网站的实际目录结构来调整。核心原则是：让爬虫把有限的预算花在你的内容页面上，而不是浪费在资源文件和后台路径上。
真相六：某些重要AI平台可能完全没在抓你
在我连续多日的监控中，有一个发现始终让我感到不安：某个全球最大搜索引擎的AI专用爬虫，从未出现在我的服务器日志中。
这意味着什么？根据Cloudflare的年度报告，该搜索引擎的爬虫在2025年的抓取量是所有其他AI爬虫总和的数倍以上，它在全球范围内抓取了超过11%的独立网页。它是目前最大的单一AI抓取力量。
但它没有来过我的网站。
在分析了可能的原因后，我认为最大的嫌疑指向了一个我之前一直引以为豪的安全功能——某个CDN服务商提供的AI反爬虫保护机制。这个功能的本意是保护网站内容不被AI无授权抓取，但它可能在我不知情的情况下，把所有的AI爬虫都挡在了门外，包括那些我其实希望它们来抓取的。
这是一个非常典型的矛盾：安全防护和GEO可见性之间的冲突。 如果你开启了某些CDN的AI防护功能，你在保护自己内容的同时，可能也让自己在AI搜索世界里变成了隐形人。
给站长的启示： 如果你在做GEO，请仔细检查你CDN或防火墙上是否开启了AI爬虫拦截功能。这类功能通常藏在安全设置的某个角落里，名称可能是"Bot Fight Mode"、"AI Scraping Protection"或类似的表述。你需要在安全防护和AI可见性之间做一个明确的取舍——不能既要又要。
四、从爬虫数据评估你的GEO健康度
了解了这些真相之后，我们需要一个系统化的框架来评估自己的GEO状况。莫潇羽在实践中总结了一个"GEO健康度五维评估模型"，你可以对照检查自己的网站。
4.1 覆盖率：有多少AI平台在抓你？
第一个维度是覆盖面。你需要检查主流AI平台的爬虫是否出现在了你的日志中。
以下是2025-2026年全球和国内的主要AI搜索/问答平台及其爬虫标识：
平台 爬虫UA 重要程度
─────────────────────────────────────────────
ChatGPT ChatGPT-User ★★★★★
Google AI Googlebot ★★★★★
Bing/Copilot Bingbot ★★★★☆
Perplexity PerplexityBot ★★★★☆
Claude ClaudeBot ★★★☆☆
DeepSeek DeepSeekBot ★★★☆☆
Meta AI Meta-ExternalAgent ★★★☆☆
ByteDance Bytespider ★★☆☆☆如果上述平台中有三个以上的爬虫从未出现在你的日志里，说明你的AI覆盖率严重不足，需要排查是否存在访问障碍。
4.2 有效抓取率：爬虫在抓有用的内容吗？
不能只看"有没有来"，还要看"来了之后在干嘛"。
计算公式很简单：
有效抓取率 = 内容页面请求数 / 该爬虫总请求数 × 100%其中"内容页面"指的是你的文章页、产品页等包含实质内容的页面，不包括robots.txt、sitemap.xml、CSS/JS文件、后台路径等。
如果某个AI爬虫的有效抓取率低于20%，说明它的大部分请求都浪费在了非内容页上，你需要通过robots.txt来引导它。
如果有效抓取率接近0%（比如90%以上的请求都打在robots.txt上），那问题更严重——这个爬虫可能被你的某些配置挡住了。
4.3 内容聚焦度：AI最感兴趣的是你的哪些内容？
把各AI爬虫抓取最频繁的内容页面列出来，看看它们有什么共同特征。在我的监控数据中，被抓取最多的文章有以下共性：
- 篇幅较长的深度教程（通常超过5000字）
- 包含具体操作步骤和代码示例
- 标题明确回答了某个具体问题
- 内容涉及当前的热门AI工具或技术
- 近期发布或更新的内容
这些就是你在AI生态中的"核心资产"。它们值得你投入更多精力去维护和更新。
4.4 状态码健康度：爬虫的请求都正常吗？
分析AI爬虫请求的HTTP状态码分布，能发现很多问题：
- 200（成功）占比应超过70%——说明大部分请求都成功获取了内容。
- 301/302（重定向）占比过高——说明有大量请求先被跳转了一次才到达目标页面。这会浪费爬虫预算。常见原因是非www域名跳转到www域名、HTTP跳转到HTTPS等。解决办法是统一所有内部链接和站点地图，直接指向最终的规范化URL。
- 404（页面不存在）占比超过10%——说明有大量死链，可能是你删除了旧文章但没有做善后。对于已经永久删除的内容，建议返回410（Gone）状态码而不是404，明确告诉爬虫"这个页面已经永久消失了"，加速索引清理。
- 403（禁止访问）——说明有请求被你的安全策略拦截了。如果数量不大可以忽略，如果持续出现，需要排查是否误伤了AI爬虫。
4.5 趋势变化：各平台的抓取在增长还是下降？
单日的数据只是一个快照，连续多日的数据对比才能看出趋势。
如果某个AI平台的爬虫抓取量在持续增长，说明你的内容在该平台的权重在上升——这是好信号。如果在持续下降，可能是你的某些内容过时了，或者该平台调整了抓取策略。
在我的监控数据中，连续多天的对比显示：ChatGPT浏览模式的抓取量呈现稳定增长趋势，从第一天到第三天增长了约6%；Bing搜索的爬虫同样在增长，三天增长了约14%。这些都是积极的信号。
五、手把手教你搭建AI爬虫监控系统
讲了这么多分析方法，下面到了实操环节。这一章莫潇羽@无忆研习社手把手教你搭建一套自己的AI爬虫监控系统。方案有从简到繁的多种选择，你可以根据自己的技术能力来选。
5.1 方案一：基于服务器日志的分析（推荐）
这是最基础也最可靠的方案。所有爬虫的访问都会记录在Web服务器的访问日志中（access.log），只要你能读取这份日志，就能分析AI爬虫的行为。
原理
每当有请求到达你的Web服务器（Nginx、Apache等），服务器都会在access.log中写入一条记录，包含：访问时间、请求的URL、来源IP、User-Agent字符串、HTTP状态码等信息。AI爬虫在访问时会在User-Agent中携带它的标识（如GPTBot、ClaudeBot等），我们只需要用这些标识来过滤日志即可。
快速验证命令
如果你有服务器的SSH访问权限，可以先用一条简单的命令看看有没有AI爬虫来过：
# 在Nginx日志中搜索常见AI爬虫
grep -iE "(GPTBot|ChatGPT-User|ClaudeBot|PerplexityBot|Bytespider|OAI-SearchBot)" \
/var/log/nginx/access.log | head -20如果有输出，说明确实有AI爬虫在访问你的网站。
统计各AI爬虫的请求量
一个稍微复杂一点的命令，可以统计每种AI爬虫的请求数量：
# 统计各AI爬虫的请求次数（按数量排序）
grep -ioE "(GPTBot|ChatGPT-User|OAI-SearchBot|ClaudeBot|anthropic-ai|PerplexityBot|Perplexity-User|Bytespider|Google-Extended|Bingbot|Meta-ExternalAgent|DeepSeekBot)" \
/var/log/nginx/access.log | sort | uniq -c | sort -rn这条命令会输出类似这样的结果：
1523 ChatGPT-User
632 Bingbot
201 PerplexityBot
94 ClaudeBot
87 GPTBot
...完整的监控脚本思路
如果你想要更系统化的监控，可以编写一个定时执行的Shell脚本。核心逻辑如下：
#!/bin/bash
# AI爬虫日监控脚本（通用版）
# 作者：莫潇羽@无忆研习社
LOG_FILE="/var/log/nginx/access.log"
DATE=$(date +%Y-%m-%d)
# 定义AI爬虫UA列表
AI_BOTS="GPTBot|ChatGPT-User|OAI-SearchBot|ClaudeBot|anthropic-ai"
AI_BOTS="$AI_BOTS|PerplexityBot|Perplexity-User|Bytespider|Google-Extended"
AI_BOTS="$AI_BOTS|Meta-ExternalAgent|DeepSeekBot|Amazonbot|DuckAssistBot"
# 定义SEO工具（需要单独统计，不归入AI爬虫）
SEO_BOTS="SemrushBot|AhrefsBot|MJ12bot
