文档摘要

抓取与索引效率优化 抓取与索引是 SEO 与 GEO 的共同地基。一个连爬虫都进不来、进来了也读不懂的站点，排名与 AI 引用都无从谈起。本章拆解爬虫预算的构成，给出 robots.txt、noindex、canonical、sitemap、日志分析的完整实操，并提供一套从「可抓取」到「可索引」的诊断清单。 一、核心概念：抓取、索引、排名是三件事 新手最常混淆这三者，必须先厘清： 阶段 | 定义 | 失败后果 | 衡量方式 抓取（Crawl） | 爬虫访问并下载页面 | 页面从未被搜索引擎发现 | 日志分析、GSC 抓取统计 索引（Index） | 被纳入搜索引擎数据库，可被检索 | 抓取了但未索引（Crawled, not indexed） | GSC 覆盖率报告、 查询

---