删栏目最危险的不是删页面本身,而是留下指向它的入口。假设你有一个“行业方案”栏目,下面挂了若干详情页,现在要把整个栏目下线。要判断入口是否找齐,不能只看导航菜单,而要把站内链接、结构化数据、站点地图、站外链接和重定向规则放在一起核对;同时要接受一个边界:样本量小时手工检查足够,栏目一旦跨模板、跨语言或跨子域,就必须用可重复的抓取与日志方法验证。
入口是任何让用户或爬虫到达该栏目的路径。至少包括:主导航和侧边栏、面包屑、栏目页之间的交叉推荐、文章正文里的内链、页脚、分页组件、筛选参数页、站点地图、结构化数据中的链接字段,以及站外引用的落地地址。删除栏目时,如果只处理导航,正文内链和站点地图仍会暴露旧地址。
实际操作上,先列出该栏目所有已知 URL,再为每个 URL 建立一张入口表。表里至少记录入口所在页面、入口类型、是否由模板生成、是否可批量替换。这个动作的结果决定下一步:模板生成的入口可以统一改,手工写入正文的入口只能逐条处理,不能混在一起。
假设某站点要删除“行业方案”栏目,该栏目有 12 个详情页,分布在两个模板中,其中一个模板还被其他栏目复用。此时不能直接删除栏目目录,因为复用模板会让其他栏目出现断链或空列表。
这个顺序的关键结果是:如果模板被复用,就不能用“删除目录”作为收尾动作,而要先改模板条件或复制模板,否则影响范围会超出原栏目。
常见漏项不是导航,而是筛选参数、分页、RSS、旧版移动路径、AMP 或历史语言版本。判断是否漏掉,可以看三类证据:抓取日志中旧 URL 仍被请求、站内搜索仍能命中旧标题、外部来源仍带来旧地址访问。但要注意,请求量归零不能单独证明处理正确,它也可能是抓取频率下降、季节变化或数据采集口径变化造成的。
如果旧 URL 仍被请求,先区分是站内入口还是站外入口。站内入口可以通过抓取和模板检查定位;站外入口只能通过引用来源和日志判断。两者处理方式不同,不能因为日志里还有请求就断定站内链接没删干净。
如果站点只有几十个页面、一个模板、一种语言,手工搜索旧 URL 并逐条替换通常够用。但出现以下任一条件,手工方法就不能直接照搬:栏目跨多个模板、存在多语言或子域、正文内链由编辑器自由写入、筛选参数会生成可访问地址。此时需要把入口检查变成可重复流程,例如固定抓取范围、固定检查字段、固定记录入口来源。
假设一个 12 页栏目手工检查用了半天,扩展到 300 页后仍按同样方式逐页看,漏项概率会上升。这时应先用模板和抓取结果缩小范围,再对剩余手工入口逐条确认。这个取舍不是追求更复杂的工具,而是让检查范围与栏目实际结构匹配。
删完入口后,至少做一次验证:用站内搜索和抓取工具检查旧 URL 是否还能从站内到达;查看站点地图是否仍包含旧地址;对保留的重定向,确认目标页面返回正常且内容相关。验证结果决定下一步:如果站内仍能到达,回到入口表补漏;如果站外仍有引用,评估是否保留重定向;如果重定向目标与旧栏目无关,改为更相关的承接页或返回 410。
比较改动前后时,要把季节、搜索需求变化和数据采集差异考虑进去。一次删除后的流量波动不能直接归因于入口处理是否正确,需要结合抓取记录、站内搜索和外部引用一起判断。