☰
📍 无忆研习社 › 社区讨论 › 社区热点 › 百度收录为什么越来越难：从抓取建库机制、搜索AI化到站长自查的一次完整拆解

百度收录为什么越来越难：从抓取建库机制、搜索AI化到站长自查的一次完整拆解

查看: 595 回复: 0
莫潇羽 注册用户 注册用户
注册用户
帖子: 1128
楼主 发表于 2026-10-04 11:04:24
本文由 莫潇羽@无忆研习社（www.wuyi.wiki）撰写，转载请注明出处。

快速摘要

网站在百度的收录变难，不是哪一个原因造成的，而是四件事叠在了一起。第一，收录从来不是"提交了就有"，发现、抓取、建库、展现是几道各自独立的筛选，官方对主动推送的说明里本来就写着不保证收录。第二，搜索产品正在从"给一排链接"转向"直接给整理好的答案"，网页的角色从主角变成了素材。第三，采集和批量生成的内容越来越多，建库的门槛被整体抬高，新站和小站最先感受到。第四，相当一部分问题出在站点自己身上，比如正文要登录才能看全、换域名没处理好、页面靠脚本渲染、内容重复单薄。应对的顺序也很清楚：先弄明白自己卡在哪一道，再对症处理，同时别把全部希望押在一个入口上。

这篇文章是公益科普性质，不针对任何平台，也不替谁辩护。我会把能查到出处的事实和我自己的推断分开写，推断的地方都会明说。文中还会聊到站长后台近期出现的几个新入口：搜索小工具、权威溯源和 AI 流量分析，它们放在一起看，方向比任何一条抱怨都清楚。

想看完整拆解，往下翻。

一、先把话说清楚："收录"其实是好几件事

聊收录之前，得先对齐一下概念。我发现很多争论之所以吵不出结果，是因为大家嘴里的"收录"根本不是同一件事。有人说的是蜘蛛来没来，有人说的是索引量涨没涨，还有人说的是搜标题能不能搜到。这三种情况对应的原因和解法完全不同。

1.1 一个页面从发布到被搜到，要过几道关

搜索引擎处理一个网页，大致是下面这个流程。各家实现细节不同，但骨架是通用的。

flowchart LR
    A[页面发布] --> B[被发现<br/>外链 主动提交 站内链接]
    B --> C[被抓取<br/>蜘蛛把页面下载回去]
    C --> D[质量筛选<br/>去重 判断价值]
    D -->|通过| E[进入索引库]
    D -->|未通过| X[抓了不放]
    E --> F[用户搜索时被召回]
    F --> G[排序后展现]

这里面每一步都是一次筛选，前一步过了不代表后一步能过。用一张表把几个常被混用的词对一下：

说法

实际指什么

你在哪里能看到

蜘蛛来了

页面被抓取，只是下载动作

服务器访问日志、后台的抓取频次

收录了

页面进入索引库，具备被搜到的资格

后台的索引量

能搜到

某个查询词下被召回并展现

实际去搜、后台的流量与关键词

有排名

展现位置靠前

实际去搜

蜘蛛是搜索引擎派出来下载网页的程序，索引库可以理解成一个巨大的"可供检索的网页清单"。蜘蛛来过只说明它看了一眼，看完要不要放进清单，是另一套判断。

1.2 "抓了不放"到底是什么状态

站长圈里抱怨最多的一句话是：蜘蛛天天来，就是不放出来。对照上面的流程图，这个状态卡在质量筛选那一环，页面被下载了，但没有进索引库。

这一点对判断问题特别关键。如果蜘蛛压根不来，那是发现和抓取的问题，该查提交、链接和服务器。如果蜘蛛来得很勤但索引量不动，说明瓶颈不在抓取，而在建库这道筛选上。两种情况折腾的方向完全相反，前者要想办法让它来，后者再怎么催它来也没用。

我自己的观察是，这几年大家的抱怨明显从"蜘蛛不来"转向了"来了不放"。这个转变本身就是一条线索：抓取能力并没有变弱，变化的是建库的标准。后面几章会展开讲这个标准为什么会变。

1.3 主动提交能解决什么，不能解决什么

弄明白了"抓了不放"卡在哪一环，再来看站长最常用的那个动作：主动提交。它到底能帮上什么忙？

搜索资源平台是百度给站长用的官方后台，里面的"普通收录"工具支持用接口主动推送链接。调用方式是公开的，大致长这样：

# 把要提交的链接写进 urls.txt，一行一个
curl -H 'Content-Type:text/plain' \
     --data-binary @urls.txt \
     "http://data.zz.baidu.com/urls?site=https://www.example.com&token=你的密钥"

接口会返回本次成功的条数和当天剩余的配额，形式类似下面这样（数字仅为示意）：

{ "success": 1, "remain": 9 }

很多新手看到返回 success 就以为"收录了"，这是最常见的误会。官方对这个工具的说明写得很直白，大意是它可以向百度搜索主动推送资源，缩短爬虫发现网站链接的时间，不保证收录和展现效果。

换句话说，主动提交解决的只是流程图里的第一步"被发现"。它相当于你举手告诉蜘蛛"这里有个新页面"，至于它来不来看、看完放不放，提交工具都管不了。把提交量当成收录量的预期，心态一定会崩。

1.4 进了索引库，也不是一劳永逸

还有一个容易被忽略的事实：索引不是终身制。页面进了库，后面还会被反复回访和重新评估。内容长期没人访问、被判定和其他页面重复、站点整体评价下降，都可能让已经收录的页面被清出去。

所以后台的索引量曲线有涨有落是常态。很多人看到索引量往下走就紧张，以为站点被处罚了。其实多数时候只是系统做了一次清理，把它认为价值不高的页面拿掉了。真正需要警惕的是短时间内断崖式下跌，那通常意味着站点出了具体问题，比如大面积打不开、改版没处理好，或者触发了某条规则。

把这四小节合起来，就是我想在开头立住的一个认识：收录是一个持续被评估的状态，而不是一次性拿到的结果。带着这个认识往下看，后面很多现象就不难理解了。

二、"越来越难"是体感，还是事实

写这篇文章之前，我先问了自己一个问题：收录变难，到底是普遍事实，还是抱怨的人声音比较大？这个问题不先答，后面的分析都站不稳。

2.1 反馈渠道里的声音天然偏向一边

我平时会泡在一些站长交流和反馈的地方，那里几乎每天都有人在说收录不动、改版后掉光、提交了没回音。待久了很容易得出"所有人都收不了"的结论。

但冷静想一下，会去反馈渠道说话的，本来就是出了问题的人。收录正常的站长忙着更新内容，不会专门跑来说一句"我今天又收了五十条"。这在统计上叫幸存者偏差，意思是你看到的样本经过了一轮筛选，并不代表全体。所以单凭这些声音，只能说明"确实有不少人遇到了困难"，说明不了比例。

2.2 哪些能核实，哪些只是感觉

我把手头的信息按可核实程度分了个类：

信息

可核实程度

说明

主动提交不保证收录

高

官方工具说明里的原意

搜索结果页大幅 AI 化

高

有公开的改版报道和管理层表态

广告业务规模在下降、AI 业务占比上升

高

上市公司财报披露

后台新增了小工具、溯源、AI 流量分析入口

高

登录后台就能看到，其中 AI 流量分析有行业媒体报道

建库标准比几年前更严

中

没有官方数字，但多方现象指向一致

某类站点被特殊对待

低

多为个案体感，无从验证

我的结论是：整体变难这件事，方向上大概率成立，但没有任何公开数据能告诉你"难了多少"。所以这篇文章不给百分比，只讲机制和证据。看到谁言之凿凿地说"收录率下降了百分之多少"，建议先问一句数据从哪来。

2.3 我自己的站：一个不太体面但真实的样本

说说我自己。我（莫潇羽）做的这个站以长文为主，一部分内容需要登录或者开通会员才能看全，游客只能看到开头的一小段。上线一年多，在百度这边的索引量一直停在两位数，和发布的文章总数相比差了不止一个量级。与此同时，站点还在正常运转，访客里有相当一部分是从各类 AI 问答产品的引用链接点进来的。

这个样本有两个提醒。一是我的情况有明显的自身原因，内容不能完整展示，这一条后面第七章会专门讲，不能把账全算在平台头上。二是即便传统收录很少，站点也没有因此停摆，说明流量的来路确实在变。

2.4 给自己的站做一次像样的体检

在下结论之前，建议每个站长先花半小时把基础数据摸清楚。大致分三步。

先看索引量。后台"数据统计"里的索引量是最准的口径。用 site 语法也能粗看，但那只是估算值：

site:www.example.com
site:www.example.com 某篇文章的完整标题

再看蜘蛛到底来没来。直接翻服务器的访问日志，比任何第三方工具都可靠：

# 把自称百度蜘蛛的请求筛出来，按来源 IP 统计次数
grep -i "baiduspider" access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# 看这些请求拿到的状态码分布，正常应该以 200 为主
# 状态码在第几列取决于你的日志格式，这里按常见的默认格式写
grep -i "baiduspider" access.log | awk '{print $9}' | sort | uniq -c

# 反查其中一个 IP 的主机名，真蜘蛛一般以 baidu.com 或 baidu.jp 结尾
host 这里换成日志里的IP

最后一条命令值得多说一句。日志里自称蜘蛛的访问并不都是真的，有不少是别人伪装的采集程序。反查主机名是官方给过的辨别办法。如果你发现"蜘蛛"来得特别勤但索引纹丝不动，先确认来的是不是真蜘蛛。

把索引量、真实抓取量、状态码这三样摸清，你就能把自己对号入座到第一章那张流程图的某一环，后面的排查才有方向。

三、搜索结果页变了：从给链接到给答案

机制讲完，说说大环境。我认为这是理解收录变难最重要的一层，比任何算法细节都重要。

3.1 这两年公开可见的几个时间点

下面这些都是有公开报道的事情，我按时间排了一下：

时间

发生了什么

出处类型

2025 年 7 月

百度搜索宣布十年来最大的一次改版，搜索框升级为支持超千字输入、可上传文件的"智能框"，结果页强调直接满足需求

媒体报道

2025 年 11 月

公司创始人公开表示，搜索结果绝大部分已由 AI 生成，首条结果的富媒体覆盖率达到七成，并称这是全球搜索引擎里 AI 化改造最激进的

媒体报道

2026 年 8 月

第二季度财报显示，总营收约 313 亿元、同比下降约 4%，其中在线营销业务约 131 亿元、同比下降约 19%，AI 业务在一般性业务中的占比连续两个季度过半

财报及财经媒体

2026 年 9 月

搜索资源平台上线"AI 流量分析"，开始统计页面被 AI 回答引用的次数

行业媒体报道

以上数字是写稿时查到的情况，后续季度会变化，请以官方披露为准。

把这四件事连起来看，方向非常一致：产品形态在变，业务重心在变，连给站长的度量工具都在跟着变。

3.2 结果页变了，对网页意味着什么

传统搜索的逻辑是"我帮你找到可能有答案的网页，你自己点进去看"。现在的逻辑是"我把答案整理好直接给你，旁边标一下出处"。

flowchart TB
    subgraph old[过去的搜索]
        Q1[用户提问] --> L1[返回一排链接]
        L1 --> W1[用户点进网页找答案]
    end
    subgraph new[现在的搜索]
        Q2[用户提问] --> A2[结果页直接给出整理好的答案]
        A2 --> C2[答案旁边标注参考来源]
        C2 -.->|一部分人| W2[点进网页看原文]
    end

在过去的模式里，索引库越大越好。库里网页越多，越能覆盖各种冷门问题，这是搜索引擎的核心资产，所以它有动力尽量多收。

在现在的模式里，情况不一样了。生成一个答案只需要少数几个靠谱的来源，同一个问题有一百个网页讲了同样的内容，对答案质量没有额外帮助，反而增加甄别成本。这时候"多收"的边际价值就下降了，"收准"变得更重要。

举个通用的例子。假设有人搜"电饭煲内胆涂层掉了还能不能用"。在链接时代，搜索引擎会尽量把讨论过这个问题的网页都收进来，论坛帖子、问答页面、家电网站的文章，越多越好，然后挑十条排出来。在答案时代，系统只需要找到两三个讲得清楚、来源可靠的页面，把要点整理成一段话。剩下那几百个内容大同小异的页面，对生成这段话没有帮助，收不收都不影响结果。

这是我的推断，官方没有这样表述过。但它能很好地解释一个现象：为什么蜘蛛还在抓，建库却越来越挑。抓取是为了不漏掉好东西，建库变严是因为不再需要那么多重复的东西。

顺着这个逻辑还能推出一点：被挑中的标准也在变。链接时代看重的是页面和查询词匹配不匹配、站点权重高不高。答案时代更看重内容本身能不能被直接采用，说得准不准、出处靠不靠谱、表述清不清楚。这对老牌大站未必更有利，对内容扎实的小站也未必更不利，只是游戏规则换了一套。

3.3 业务重心的变化

财报这部分我只引用公开数字，不做评价。从披露的情况看，传统的在线营销业务规模在收缩，AI 相关业务的占比在上升，管理层对外的说法也是公司正在从以互联网为核心转向以 AI 为先。

对站长来说，这意味着一个朴素的道理：一家公司的资源总是优先投向它认为代表未来的方向。当重心转到 AI 搜索和云服务上，维护一个尽可能大的开放网页索引，在内部的优先级自然不会像十年前那么高。这谈不上对错，任何公司都会这么做。

3.4 用户的习惯也在变

平台在变，用户也在变。CNNIC（中国互联网络信息中心）发布的第 57 次统计报告显示，截至 2025 年 12 月，我国生成式人工智能用户规模达到 6.02 亿人，普及率超过四成。也就是说，每十个网民里有四个以上已经在用 AI 产品。

另一个可以参考的口径是 StatCounter 的搜索引擎份额统计。按它 2026 年 9 月的数据，百度在国内的份额在四成六左右，必应在两成出头，而几年前这个口径下百度还在七成以上。这里要提醒一句，这家机构统计的是网页端带来的访问，不包含各个 App 内部的搜索行为，所以它只能当作趋势参考，不能当作精确的市场格局。

不管用哪个口径，结论都指向同一个方向：人们找信息的入口比以前分散得多。传统网页搜索的蛋糕在变小，分到每个站点头上的自然也少。这一层和收录本身关系不大，但它决定了"就算收录了，能带来多少访问"这个更现实的问题。

四、从站长后台的新入口看方向

上一章讲的是公开报道。这一章讲我自己登录后台看到的东西。这部分内容没有人专门通知我，也不需要什么特殊资格，就是某天打开搜索资源平台，左侧菜单里多出了几项。我把它们和原有的收录工具放在一起看，发现比任何分析文章都更能说明方向。

需要先声明两点。第一，下面提到的小工具和权威溯源，写稿时都处在测试阶段，页面、规则和开放范围随时可能调整，一切以官方后台和官方公告为准。第二，这一章里"页面上写了什么"是事实，"这说明了什么"是我的个人推断，不代表官方意图，我会尽量把两者分开讲。

4.1 老入口：普通收录和快速抓取

"资源提交"这一组是站长最熟悉的，里面有普通收录、快速抓取、移动适配和死链提交。它们的共同点是：内容放在你自己的网站上，平台派蜘蛛来取，取回去之后自己判断要不要用。

这个入口的特点是门槛低、谁都能用，但主动权完全在平台一侧。你能做的是把链接递过去，剩下的只能等。第一章已经讲过，官方对它的定位就是缩短发现时间，不承诺结果。

4.2 搜索小工具：内容直接住进结果页

菜单里新出现的"搜索小工具"，下面有小工具提交、我的小工具列表和数据看板三项。提交页的标题叫百度搜索小工具开放平台，介绍语的大意是任意工具都可以开发，适配之后通过搜索分发，让创意被看见。页面上展示的示例包括身体质量指数计算、毛利率计算、房贷计算这一类，分类有计算工具、休闲娱乐、知识探索、生活服务等。

我把官方提供的开发规范从头到尾读了一遍，又自己动手投了一个文档格式转换方向的小工具。读下来最大的感受是，它的设计取向和传统网页完全不同。我总结成三点。

它是完全自包含的。 一个小工具就是一个独立的小页面，所有代码和素材都得打包在提交物里，体积有一个几兆级别的上限。运行时不能联网，不能请求外部地址，不能往浏览器里存数据，每次打开都是初始状态。更关键的是不能放指向外部的链接，也不能跳转出去。

它就运行在搜索结果页里。 小工具以卡片的形式嵌在结果页中，版式、表头、控件样式都有统一规范，用户不用离开搜索页就能把事情办完。

它是按 AI 批量生产的思路设计的。 这套开发规范本身就是写给 AI 编程助手看的技能包，配了一个命令行工具，负责本地预览、规则检查和提交审核。流程大致是拿到规范、做出应用、本地检查、提交审核、通过后进入搜索分发。

我做那个格式转换工具的时候体会很深。平时做网页工具习以为常的很多做法，比如让用户选一个本地文件、调一个在线接口、记住上次的设置，在这里都得换思路，只能用纯前端、纯内存的方式重新实现。

这件事对理解收录有什么帮助？你想想"房贷计算器"这种需求。过去的做法是搜索引擎收录一堆做计算器的网站，用户点进其中一个去算。现在的做法是把计算器直接放在结果页上，用户当场算完就走。对用户来说更快，对平台来说体验更可控。而对那些靠这类工具页获取搜索访问的网站来说，这部分需求以后大概率不再需要通过"收录你的网页"来满足了。

站在创作者角度也要看清楚它的性质：小工具带来的是曝光和使用量，由于不能放外链，它并不负责把用户送回你的网站。它是一种新的内容交付方式，而不是一种新的引流方式。

4.3 权威溯源：给 AI 的回答找出处

"权威溯源"下面有权威提交和我的溯源提交两项。页面上的介绍大意是，平台做了一次升级，面向权威发布机构和优质内容创作者，搭建可信内容的接入通道，让好内容在传统搜索和 AI 搜索里都能被标注出处、被引用原文。

页面列了三项权益，我用自己的话转述一下：一是在搜索和 AI 回答里获得出处标注，明确原文归属；二是内容能持续触达用户；三是平台方面的保障，支持主动提交优质资源，帮助内容更快更全地被收录，减少好内容被漏掉的情况。

目前这个入口需要邀请码，页面写明仅限参与测试的合作伙伴提交，有意向的可以填问卷。我提交了意向，暂时没有下文。这在我的预料之中，测试阶段名额有限，优先给机构类的发布方是很合理的安排，个人站点排在后面很正常。

这个入口有两处值得琢磨，以下是我的理解，不代表官方意图。

一处是"更快更全地被收录"被列为这个通道的权益。反过来读，就是普通通道并不承诺又快又全。这和第一章讲的官方说明是吻合的，只是这里说得更明白了：收录的确定性，正在变成一种需要资质才能获得的东西。

另一处是它解决的问题。AI 生成回答最怕的是来源不可靠，一旦引用了错误信息，责任在平台。所以平台需要一个"已知靠谱"的来源池。从全网海量网页里一个个甄别，成本很高；让可信的发布方主动接入，成本低得多。这是一种很自然的工程选择。

4.4 AI 流量分析：新添的一把尺子

第三个新入口是"AI 流量分析"。和前两个不同，它有比较充分的公开报道。根据行业媒体在 2026 年 9 月中旬的报道，这个功能提供四个核心指标：

指标

含义

AI 引用量

页面被 AI 回答引用的次数

AI 曝光量

引用链接被用户看到的次数

AI 点击量

用户点击引用链接的次数

AI 点击率

点击量与引用量的比值

报道里还提到，功能是分阶段开放的，数据服务在写稿时尚未正式启用，很多站点的面板还是空的。另外，官方并没有说过被 AI 引用会影响传统排名，它只是一个度量工具。

别小看多出来的这一张报表。平台给站长提供什么数据，往往反映了它认为什么重要。过去十几年，后台的核心数据是索引量、点击量、关键词排名，对应的是"链接时代"的价值衡量方式。现在专门为"被 AI 引用"单独立了一套口径，等于官方承认了一件事：你的内容被使用的方式，不再只有"被点击"这一种。

4.5 把四个入口摆在一起

入口

内容存放在哪

准入方式

确定性

站长得到什么

普通收录、快速抓取

自己的网站

人人可用

低，不保证收录

搜索点击

搜索小工具

托管在平台，结果页内运行

提交审核

审核通过即可分发

曝光和使用量，不带回访

权威溯源

自己的网站，被回答引用

邀请制测试

相对高

出处标注和引用

AI 流量分析

这是报表，不是入口

分批开放

不适用

被引用情况的数据

把这张表从上往下读，我读出来的是一种变化：过去是"先全部抓回来，再慢慢挑"，现在在往"先确认你是谁、你交的是什么，再决定怎么用"的方向走。前一种是开放抓取，后一种更接近定向接入。

所以我对"收录为什么变难"的核心看法是：它不是哪个环节出了故障，而是产品换了形态之后的自然结果。普通收录这扇门还开着，只是它不再是唯一的门，也不再是平台最看重的那一扇。这是莫潇羽@无忆研习社的个人判断，供你参考。

五、门槛为什么会抬高：成本、质量和对抗

方向讲完了，再往下挖一层：就算产品形态不变，建库的门槛也有它自己抬高的理由。

5.1 索引是要花钱的

很多人觉得多收一个网页对搜索引擎来说没什么成本，其实不然。一个页面进了索引库，就意味着要占存储、要定期回访更新、要参与每一次相关查询的计算。页面数量以亿为单位的时候，每多收一点都是实打实的机器开销。

过去这笔钱花得值，因为索引规模直接决定搜索体验。现在结果页的主角变成了生成的答案，而生成答案本身又是一项很耗算力的工作。在总预算有限的情况下，资源往哪边倾斜不难想象。把机器用在低访问量、高重复度的页面上，性价比确实不高。

这同样是推断。但它符合一个基本常识：任何系统在成本压力下，最先被精简的一定是边际价值最低的那部分。

对站长来说，这个视角有一个很实用的推论：让自己的页面"便宜"一点。服务器响应快、页面结构干净、没有大量无意义的参数网址和重复页面，蜘蛛在你这里花同样的力气能拿到更多有效内容，它自然更愿意来，也更愿意留。反过来，一个站点如果有成千上万个内容几乎相同的筛选页、翻页、标签页，蜘蛛的抓取额度就被这些页面白白耗掉了，真正重要的文章反而轮不上。

5.2 内容的供给变了

第二个原因在内容这一侧。早些年做一个内容站，文章得一篇一篇写。后来有了采集工具，可以批量搬运别人的内容。再后来有了生成式 AI，一个人一天能产出几千篇看起来像模像样的文章。

站在搜索引擎的角度，这是个麻烦。待处理的网页数量暴增，但其中真正有新信息的比例在下降。同一个问题，原来有十篇各有侧重的文章，现在有一万篇换了说法的同质内容。

应对办法只有一个：提高门槛。不再是"没毛病就收"，而是"有独特价值才收"。这个标准一旦抬高，受影响的就不只是批量内容。很多认真写的文章，如果主题已经被大量覆盖、又没有提供新的信息，同样会被挡在外面。

我的体会是，现在"写得不错"已经不够了，得"和已有的内容不一样"才行。这是两个标准，后者难得多。

什么叫不一样？我自己的理解有三种。一种是信息不一样，你有别人没有的数据、截图、实测结果。一种是视角不一样，同样的事实，你从一个具体人群或具体场景出发去讲。还有一种是深度不一样，别人讲了是什么，你把为什么和怎么办也讲透了。三种里只要占一种，页面就有了被留下的理由。三种都不占，文笔再好也只是又一篇重复内容。

5.3 对抗带来的副作用

在各种站长交流场合，最容易引发情绪的是这样一种对比：自己规规矩矩做站，一年收不了几条；某些明显违规的站，短时间内却收录了一大批。

这个现象我相信是存在的，但我不认同"平台偏爱违规站"这种解读。更合理的解释是，那类站点是专门研究并利用系统弱点的，它们投入的精力全在"怎么绕过判断"上。任何一套自动化规则，都会有被针对性攻破的时候。具体手法我不展开，一来这些做法本身违反平台规则，二来它们通常活不长。

真正值得说的是它的副作用。每出现一种新的钻空子办法，平台就得补一条更严的规则。规则是一刀切的，没法只对违规者生效。比如某类手法喜欢用新注册的域名，那新域名整体的考察期就会被拉长；某类手法喜欢批量生成结构相似的页面，那结构相似的页面整体就更难通过。

结果就是正规的新站替别人承担了成本。这不公平，但这是攻防对抗里很难避免的事。理解了这一层，至少可以少一些"是不是在针对我"的猜测，把精力放回能控制的事情上。

5.4 历次公开的规则在管什么

百度这些年陆续公布过一系列搜索算法，每一个都针对一类具体问题。我按"管什么"整理了几个常被提到的：

规则方向

针对的问题

对普通站长的提醒

打击恶劣采集

大量搬运、拼接他人内容

转载和整合要有增量，不要整篇照搬

规范落地页体验

强制登录、强制下载应用、广告遮挡正文

别让用户进来之后看不到想看的内容

整治标题作弊

标题与内容不符、堆砌关键词

标题老老实实概括内容

打击点击作弊

用工具伪造点击提升排名

不要碰任何刷量工具

治理聚合页滥用

用站内搜索结果页、标签页批量生成页面

控制低质量聚合页的数量

这些规则的名字和细则以官方公布为准，我这里只归纳方向。你会发现它们的共同逻辑是用户体验：用户搜到你、点进来，能不能顺利看到他想要的东西。记住这一条，比背任何算法名字都有用。它也直接关系到第七章要讲的付费内容问题。

六、内容搬家了：新内容越来越多地长在 App 里

还有一层原因和搜索引擎自己关系不大，属于整个中文互联网的结构变化。

回想一下，现在你想查一个生活经验、一个产品评价、一段行业见闻，最可能在哪儿找到？很多时候答案在社交平台、短视频平台、内容社区的 App 里。这些内容大多不对外部蜘蛛开放，或者只开放很小一部分。

统计数据也能看到一些影子。按 CNNIC 历次报告的口径，我国的网站数量在 2018 年前后曾在五百万个以上，到 2020 年底大约是四百四十万个，2022 年年中一度降到 398 万个，之后有所回升，2024 年底是 446 万个，2025 年底是 438 万个，始终没有回到早年的水平。同一时期网民数量是持续增长的，截至 2025 年 12 月已经到了 11.25 亿人。

这里要客观地补一句：同一口径下，网页的总数量并没有减少，反而一直在涨，2025 年底已经超过四千亿个。所以准确的说法不是"网页变少了"，而是独立网站的数量比高峰期少，多年没有跟着网民规模一起增长，新增的网页更多集中在少数大型平台上。

人越来越多，独立网站却没有同步变多，新增的内容去了哪里是很清楚的。

这种迁移有它的道理。在 App 里发内容，不用买服务器、不用备案、不用懂技术，发出去马上有人看、有人互动。对绝大多数普通创作者来说，这比自己建一个网站划算太多。愿意花时间维护独立网站的，要么是有明确的业务需要，要么是像我这样对"内容放在自己地盘上"有执念的人。

还有一个连带的变化是链接。过去网站之间互相引用、互相推荐，这些链接是搜索引擎判断一个页面重不重要的关键依据。现在大家的讨论和推荐都发生在各个 App 内部，网页之间的自然链接越来越少。蜘蛛顺着链接发现新内容的路变窄了，判断页面价值的参考信号也变少了，这反过来又增加了建库判断的难度。

这对搜索引擎的影响是双向的。一方面，按我的观察，开放网页上能抓到的优质新内容在变少，搜索结果的质量要靠别的办法补，于是平台自己做内容产品、引入生成式回答，都是顺理成章的选择。另一方面，剩下还在认真做独立网站的人里，有价值的和凑数的混在一起，平台分辨起来更费劲，索性把标准定高。

对站长来说，这意味着独立网站在整个内容生态里的位置和十年前不一样了。那时候网站是内容的主要载体，搜索引擎离不开网站。现在网站是众多载体之一，这种依赖关系弱了很多。承认这一点不舒服，但有助于摆正预期。

七、回到自己身上：站长这边最常见的五类原因

前面几章讲的都是大环境，站长个人改变不了。这一章讲能改的部分。说实话，我见过的收录问题里，至少有一半能在站点自己身上找到原因，包括我自己的站。

7.1 正文要登录或付费才能看全

这是我亲身踩的坑，放在第一个讲。

我的站有一部分内容设了阅读权限，游客看开头，注册和开通会员之后看得更多。为了弄清楚这种模式对收录的影响，我在官方的站长反馈渠道里咨询过。得到的答复大意有两层：一是给蜘蛛看的内容必须和未付费的普通访客看到的保持一致；二是从用户体验的角度，这类存在"消费障碍"的资源，在排序和收录上的表现通常都不太理想。需要说明的是，这是沟通中了解到的口径，并非成文规范，具体请以官方文档为准。

我觉得这两层都讲得通，分开解释一下。

第一层是底线。给蜘蛛看完整内容、给用户看残缺内容，这种做法在搜索行业里有个专门的说法叫伪装，各家搜索引擎都把它当作严重违规。道理很简单，用户是冲着搜索结果里看到的内容点进来的，进来发现看不到，等于被骗了一次。所以想靠"偷偷给蜘蛛看全文"来换收录，这条路千万不要走。

第二层是后果。既然蜘蛛只能看到游客版本，那它判断这个页面值不值得收，依据的就只有开头那一小段。如果这一小段只是引子、铺垫、吊胃口，没有实质信息，在蜘蛛眼里它就是一个内容单薄的页面，过不了建库筛选一点都不奇怪。

这里顺带科普一个概念。国际上有一种结构化数据的写法，用一个叫 isAccessibleForFree 的字段告诉搜索引擎"这部分内容是付费的"，让搜索引擎能区分正当的付费墙和伪装行为。写法大致如下：

{
  "@context": "https://schema.org",
  "@type": "Article",
  "isAccessibleForFree": false,
  "hasPart": {
    "@type": "WebPageElement",
    "isAccessibleForFree": false,
    "cssSelector": ".locked-part"
  }
}

这套机制是部分境外搜索引擎支持的。就我了解到的情况，百度目前并不依据这个标记来区分付费内容，对页面的判断仍然以蜘蛛实际抓到的内容为准。所以在国内做站，不要指望加一段标记就能解决问题。

那付费内容站应该怎么办？我现在的做法是调整页面结构，让公开部分本身就有独立价值：

<article>
  <h1>文章标题</h1>

  <div class="free-part">
    <!-- 游客和蜘蛛都能看到的部分 -->
    <!-- 要求：单看这一段，就能回答标题提出的核心问题 -->
    <!-- 建议包含：结论摘要、关键概念解释、适用场景 -->
  </div>

  <div class="locked-part">
    <!-- 需要权限的部分：详细步骤、完整案例、配套资料 -->
    <!-- 未授权时由服务器直接不输出，而不是输出后再用样式隐藏 -->
  </div>
</article>

思路是把"结论和框架"公开，把"细节和过程"留在权限之内。公开部分不能是预告片，得是一篇能独立成立的短文。你正在读的这篇之所以放在免费版块，也是同样的考虑。

还有一个更省心的办法：把站点内容明确分成免费和付费两类，免费内容完整开放，专门承担被搜索到的任务；付费内容不指望搜索，靠站内转化。两类内容各司其职，比每篇都半遮半掩效果要好。

7.2 换域名和改版

这是第二个高发区。很多站点收录"突然掉光再也没回来"，往前一追，都有一次改版或者换域名的经历。

搜索引擎对一个站点的信任，是绑定在具体网址上的。网址变了，在系统眼里就是旧页面消失、新页面出现，之前积累的东西并不会自动转移。要让它转移，必须明确告诉搜索引擎"这个旧地址搬到了那个新地址"，标准做法是 301 永久重定向，再配合后台的网站改版工具提交对应规则。

官方过去对改版的说明里强调过一点：跳转要做到页面对页面一一对应，而不是把旧站所有地址一股脑儿跳到新站首页。服务器上的配置大致是这样：

server {
    listen 80;
    server_name www.old-domain.example;

    # 关键：把原来的路径和参数原样带到新域名
    # 旧站的 /article/123 会跳到新站的 /article/123
    return 301 https://www.new-domain.example$request_uri;
}

另外提醒一点，提交改版规则一般要求新旧两个域名都在后台完成了站点验证，所以旧域名的验证、解析和续费都别急着撤掉，具体条件以后台的提示为准。

如果因为各种原因做不了 301，比如旧域名已经不在自己手里，那情况就比较被动。我在反馈渠道里了解到的说法是，旧域名没法做跳转的话，新域名只能当作一个全新的站点重新培养。

不瞒大家，我自己前不久刚把站名和域名换了一次，旧域名整站做了一一对应的 301。目前还在观察期，效果怎么样我不敢下结论，等数据稳定了再专门写一篇复盘。

关于改版，我的建议就三条：能不换域名就不换；非换不可就把逐页跳转做扎实，新旧域名并行保留足够长的时间；改版期间别同时大改内容和结构，一次只动一个变量，出了问题才知道是哪里的原因。

7.3 新站的冷启动

新站收录慢，几乎是所有搜索引擎的共性，只是现在这个考察期比以前更长了。原因在 5.3 节讲过，新域名是各种违规手法的重灾区，系统对它天然谨慎。

对新站来说，有几件事是实打实有帮助的。按规定完成备案和站点主体信息的填写，让平台知道这个站背后是谁。上线初期宁可文章少一点，也要保证每一篇都拿得出手，因为这段时间蜘蛛抓到的东西决定了它对你的第一印象。保持稳定的更新节奏，比一口气发几百篇然后停更要好得多。

也有几件事是帮倒忙的。上线就灌入大量内容，频繁修改标题和网站结构，到处购买链接。这些动作在系统看来都和违规站的行为特征高度相似。

冷启动没有捷径，周期按月计算是正常的。如果有人承诺几天就能让新站大量收录，基本可以断定用的不是正规办法。

新站阶段还有一个心态问题。很多人每天盯着索引量看，一周没动静就开始怀疑方向、改标题、换模板。其实这段时间最该做的是把内容体系搭起来：想清楚这个站要回答哪一类问题，围绕这类问题写出一批互相有关联的文章，文章之间用链接串起来。等蜘蛛对站点的主题形成稳定认识之后，收录往往是成批放出来的，而不是一篇一篇慢慢涨。

7.4 页面靠脚本渲染

这是技术型站长容易忽略的问题。现在很多网站用前端框架开发，服务器返回的只是一个空壳，正文要等浏览器执行完脚本才显示出来。用户用着没问题，但蜘蛛未必会像浏览器那样把脚本完整跑一遍。

检验方法很简单，模拟蜘蛛的身份请求一下页面，看原始源码里有没有正文：

# 用百度蜘蛛的身份标识请求页面，统计正文中某句话出现的次数
curl -s -A "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" \
     https://www.example.com/some-article | grep -c "正文里的某一句话"

如果输出是 0，说明正文不在服务器返回的源码里，蜘蛛很可能什么都没看到。后台的抓取诊断工具也能做同样的检查，它会把蜘蛛实际拿到的内容展示给你。

解决思路是让服务器直接输出带正文的完整页面，技术上叫服务端渲染或者静态生成。具体怎么改取决于你用的框架，这里不展开。只要记住一个原则：对搜索重要的内容，必须出现在服务器返回的原始源码里。

顺带检查一下 robots 文件。这个文件用来告诉蜘蛛哪些目录不要抓，写错一行可能把整站挡在外面：

User-agent: Baiduspider
Disallow: /member/
Disallow: /search/

上面这个例子是合理的，只屏蔽了会员中心和站内搜索结果页。我见过有人把开发阶段写的全站禁止抓取规则带到了线上，几个月没收录，查了半天才发现是这个原因。

7.5 内容本身的问题

最后一类最难讲，因为没人愿意承认自己的内容有问题。但 5.2 节的逻辑摆在那儿：现在的门槛是"有没有独特价值"。

可以用几个问题自检。这个主题在网上是不是已经有大量现成内容？我的这篇和它们相比多了什么？如果把我的文章从互联网上删掉，会有人因此找不到某个信息吗？如果三个问题的答案都不乐观，那收录困难很可能不是技术问题。

常见的几种情况：整站内容都是对公开资料的改写，没有自己的信息；大量页面结构雷同，只换了几个关键词，典型的是"城市名加服务名"批量生成的页面；文章很短，或者很长但信息密度很低；用 AI 批量生成后未经加工直接发布。

这里说一下 AI 写作。我自己也用 AI 辅助写东西，这本身没有问题。问题在于"批量生成、不加工、不核实"。如果你发布 AI 参与创作的内容，要自己对事实准确性负责，也要留意各内容平台关于 AI 生成内容标识的要求，按规定做好标注。

7.6 一张自查表

把这一章的内容整理成可以照着做的排查路径：

flowchart TD
    S[某个页面搜不到] --> A{日志里真蜘蛛来过吗}
    A -->|没来过| A1[发现环节<br/>查提交 内链 robots]
    A -->|来过| B{返回的状态码正常吗}
    B -->|不正常| B1[抓取环节<br/>查服务器 防火墙 跳转]
    B -->|正常| C{蜘蛛拿到的源码里<br/>有完整正文吗}
    C -->|没有| C1[渲染或权限问题<br/>查脚本渲染 登录限制]
    C -->|有| D{和站内外已有内容<br/>重复度高吗}
    D -->|高| D1[内容价值问题<br/>合并 重写 补独有信息]
    D -->|不高| E[信任积累问题<br/>持续更新 耐心等待]

检查项

怎么查

常见问题

蜘蛛是否到访

访问日志加主机名反查

提交了但没来，或来的是假蜘蛛

状态码

日志或后台抓取异常

大量 404、403、5 开头的错误、多次跳转

源码里有无正文

模拟蜘蛛请求、抓取诊断

脚本渲染、登录后才输出

robots 规则

后台的 Robots 工具

误屏蔽了正文目录

蜘蛛与用户是否一致

分别用普通浏览器和模拟蜘蛛访问对比

两者看到的内容不同

内容重复度

拿文中的句子去搜

大段内容在别处已存在

站点基础信息

后台站点属性

备案、主体信息不完整

改版历史

回忆加查日志

换过域名或网址结构但没做跳转

建议从上往下一项一项查，前面的没问题再看后面的。大多数情况查到一半就能找到原因。

八、不只是一家的事：放到行业里看

为了避免把问题看窄，我也了解了一下境外搜索引擎的情况。这部分纯属行业背景科普，境外搜索和 AI 服务的使用需遵守国内网络与内容管理的相关规定。

谷歌在官方文档里有一段很明确的说明，大意是它不保证一定会抓取你的网页，也无法保证网页一定会被编入索引，并非它处理过的每个网页都会编入索引，即使网页完全符合它的各项要求也是如此。它的站长后台里专门有一种状态叫"已抓取，尚未编入索引"，对应的正是我们说的抓了不放。境外的从业者社区里，这两年关于这个状态变多的讨论同样不少。

所以"抓了不放"并不是某一家特有的现象。只要内容供给过剩，索引就必然走向挑选。

境外从业者总结出来的应对思路，和我们这边也大同小异：减少站内低价值页面的数量，把相近主题的薄页面合并成一篇厚的，加强重要页面在站内的链接入口，然后耐心等重新评估。没有什么神奇的技巧，都是些笨功夫。这从侧面说明，问题的根源在内容供给和索引成本的关系上，而不在某个平台的某项具体政策上。

另一个共性是结果页的 AI 化。全球主要的搜索产品都在结果页顶部加入生成式回答，随之而来的"用户看完答案就不点链接了"的讨论，在哪里都是热门话题。

两边的差别主要在两处。一是节奏，国内的 AI 化改造推进得更快更彻底，这一点管理层自己也公开讲过。二是配套机制，比如前面提到的付费内容标记，境外有成文的技术方案，国内目前主要靠蜘蛛实际抓到的内容来判断。

了解这些不是为了比较谁好谁坏，而是为了确认一件事：站长面对的是整个行业的转向，不是某个平台的临时调整。这个判断会直接影响你接下来的决策，是等它"恢复正常"，还是接受它就是新的常态。我倾向于后者。

九、现在能做什么：一份务实的清单

分析了这么多，落到行动上，我的建议分成下面几块。

9.1 调整预期

把"发一篇收一篇"的预期放下。现在比较现实的目标是：核心页面被收录，重要内容能被搜到。一个站点里真正需要被搜索到的页面往往只占一小部分，把精力集中在这些页面上，比追求索引总量有意义得多。

同时接受时间尺度的变化。以前新内容几天见效，现在以周和月为单位是常态。

9.2 把内容写成"能被引用"的样子

既然搜索在往生成式回答的方向走，那让内容容易被 AI 理解和引用，就成了一项新的基本功。业内有个说法叫生成式引擎优化，核心做法其实很朴素。

文章开头就给出明确的结论，不要绕半天才进正题。一段话讲清楚一个意思，让它单独拎出来也能看懂。用清晰的标题层级组织内容，让机器能判断每一部分在讲什么。关键信息用具体的表述，时间、数量、条件都写清楚，少用"很多""大幅"这种模糊词。提供别处没有的东西，比如自己的实测、一手的观察、亲身踩过的坑。

你会发现这些要求和"写一篇对读者有用的好文章"基本是一回事。这篇文章开头那段加粗的摘要，就是按这个思路写的。

9.3 把官方工具用到位，留意新入口

老工具该用的照常用：主动提交、死链处理、抓取诊断、改版规则，这些都是基本功，不做会吃亏。

新入口可以关注和尝试。AI 流量分析开放之后，定期看看哪些页面被引用了、对应什么问题，这是很直接的选题参考。搜索小工具适合那些有明确功能型需求的场景，如果你的站本来就做计算器、查询、转换这类工具，值得研究一下，但要清楚它带来的是曝光而不是回访。权威溯源目前范围有限，个人站点可以先提交意向，不必抱太高期待。

再次提醒，这些功能都在变化中，以官方后台的实时信息为准。

9.4 别只守着一个入口

这是我最想说的一条。把所有希望放在任何单一平台上都是有风险的，这个道理和平台是谁无关。

我的站这一年多能维持下来，靠的恰恰不是传统搜索，而是各类 AI 问答产品的引用，再加上老读者的直接访问。这让我意识到，访问的来源正在变得多样：传统搜索、AI 回答的引用、内容平台的分发、邮件订阅和收藏夹里的回访，每一种都值得经营。

具体到做法：把网站定位成自己内容的大本营，保证内容质量和结构；在合适的内容平台上同步分发，引导感兴趣的读者回到站点；想办法让来过的人能再回来，比如提供订阅、做好站内的内容串联。这些事见效慢，但每一分积累都留在自己手里。

9.5 几件不建议做的事

最后列几条我认为不该碰的：

做法

为什么不建议

给蜘蛛和用户展示不同内容

属于明确违规，一旦被识别，损失的是整站

购买所谓的快速收录服务

多数依赖违规手段，效果短暂，风险长期

批量生成页面冲索引量

正是现在重点筛掉的对象，还会拉低整站评价

频繁改标题、改结构试图"刺激"收录

只会重置考察期

反馈问题时只说结果、不给证据

对方无从排查，得到的答复自然有限

最后一条多说两句。去官方渠道反馈之前，建议把这几样东西准备好：具体的网址示例、问题出现的时间、日志里蜘蛛的抓取记录、后台相关数据的截图、自己已经排查过哪些环节。平台的工作人员也是按规则办事的普通人，问题描述得越清楚，越可能得到有用的答复。我自己的经验是，认真提问的时候，对方给出的信息往往比预想的要实在。

十、写在最后

回到标题的问题：收录为什么越来越难？

我的回答是，因为"收录"这件事在整个搜索体系里的位置变了。搜索引擎过去的任务是把网页找全，现在的任务是把答案给准。在前一种任务里，你的网页是它要收集的对象；在后一种任务里，你的网页是它可选的素材之一。素材不需要多，需要的是可信和独特。

对站长来说，这个变化谈不上好消息，但也不全是坏消息。坏的一面是，靠数量和技巧获取搜索访问的路越来越窄。好的一面是，认真做内容的人被 AI 引用、被读者记住的机会其实比以前更多，只是它不再体现为"索引量"这个熟悉的数字。

我是莫潇羽，这是我在无忆研习社写的一篇公益科普。它不能帮你解决某一个具体的收录问题，但希望能帮你看清问题所在的位置，少走一些弯路。

个人学习实践总结声明

本文是我（莫潇羽@无忆研习社）基于个人建站实践、对公开资料的学习以及站长后台的实际观察整理而成的总结，用于学习交流，不构成任何经营、投资或法律建议。文中涉及个人站点的数据均做了模糊化处理，举例均为通用化表述。

文中关于搜索引擎工作机制、平台策略方向的内容，凡未注明出处的，均为我的个人理解和推断，不代表任何平台的官方立场。文中提到的搜索小工具、权威溯源、AI 流量分析等功能，在写稿时部分仍处于测试或分批开放阶段，规则、页面和开放范围会动态调整，请务必以百度搜索资源平台的官方后台和官方公告为准。

文中引用的财报数字、市场份额、用户规模等数据均为写稿时查到的公开信息，变动较快，请以相关机构的最新披露为准。文中出现的代码和配置仅为示意，实际使用前请结合自己的环境测试。

转载请注明出处：莫潇羽@无忆研习社（www.wuyi.wiki）。

参考资料

内容质量百度收录搜索引擎收录抓取索引站长后台
发表回复

请先登录后发表回复

前往登录
▲