# robots.txt — 花生AI
#
# 两个容易踩的点：
# 1. 空行是**记录分隔符**。不要在 User-agent 和它的 Disallow/Allow 之间插空行，
#    否则那些规则会落进一个没有 User-agent 的孤立记录，严格解析的抓取器整段忽略。
# 2. 记录之间**不继承**规则。为某个 UA 单独开一条记录后，`User-agent: *` 的规则
#    对它就完全失效，必须在它自己的记录里重复写全，否则等于放开了本想屏蔽的路径。

# ── 通用抓取器 ────────────────────────────────────────────────────────────────
User-agent: *
Allow: /
# 创作工具页：需登录、URL 带用户态、内容由客户端渲染，收录无意义
Disallow: /project/
Disallow: /podcast/
Disallow: /video/
Disallow: /asset
Disallow: /beta
Disallow: /composer
Disallow: /cover
Disallow: /faststart
Disallow: /legacy
Disallow: /upload
Disallow: /multipart-upload
# 支付与下载中转页
Disallow: /pay.html
Disallow: /pay-result.html
Disallow: /download.html

# ── AI 抓取器 ─────────────────────────────────────────────────────────────────
# 显式放行，便于花生AI在 AI 搜索/问答里被检索和引用。
# 一条记录可以带多个 User-agent，这样屏蔽清单只需维护一份、不会和上面的漏配。
# 这些抓取器基本不执行 JS，所以落地页 /home 的功能与问答必须是构建期直出的静态
# HTML（见 src/app/home/SeoContentSection.tsx），否则它们读到的是一个空页面。
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: Bytespider
User-agent: Google-Extended
Allow: /
Disallow: /project/
Disallow: /podcast/
Disallow: /video/
Disallow: /asset
Disallow: /beta
Disallow: /composer
Disallow: /cover
Disallow: /faststart
Disallow: /legacy
Disallow: /upload
Disallow: /multipart-upload
Disallow: /pay.html
Disallow: /pay-result.html
Disallow: /download.html

Sitemap: https://www.huasheng.cn/sitemap.xml