# ---- Google 検索クローラー ----
User-agent: Googlebot
Allow: /

User-agent: Googlebot-Image
Allow: /

# ---- Bing / Yahoo ----
User-agent: Bingbot
Allow: /

# ---- Google Gemini（AI学習） ----
User-agent: Google-Extended
Allow: /

User-agent: GoogleOther
Allow: /

User-agent: GoogleOther-Image
Allow: /

User-agent: GoogleOther-Video
Allow: /

# ---- OpenAI（ChatGPT・GPT Search）----
User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

# ---- Anthropic Claude ----
User-agent: ClaudeBot
Allow: /

# ---- Perplexity AI ----
User-agent: PerplexityBot
Allow: /

# ---- ByteDance / TikTok ----
User-agent: Bytespider
Allow: /

# ---- Meta（Facebook / Instagram）----
User-agent: facebookexternalhit
Allow: /

User-agent: Facebot
Allow: /

# ---- X（Twitter）----
User-agent: Twitterbot
Allow: /

# ---- その他全クローラー（WP標準＋全許可）----
User-agent: *
Disallow: /wpw/wp-admin/
Allow: /wpw/wp-admin/admin-ajax.php
Allow: /

# ---- サイトマップ ----
Sitemap: https://robotango.biz/sitemap.xml