User-agent: *
Disallow: /wp-admin/
Disallow: /proceso-de-pago/
Disallow: /oauth-callback/
Allow: /wp-admin/admin-ajax.php

# Rastreadores de IA. OJO AL LEER ESTA LISTA (revisado 5 sep 2026):
# Estar aqui NO significa lo mismo para todos. Segun la documentacion de cada empresa:
#  - Inclusion en BUSQUEDA/CITAS: OAI-SearchBot (ChatGPT), PerplexityBot, Claude-SearchBot.
#  - A peticion de un usuario: ChatGPT-User, Claude-User (este ultimo suele ignorar robots.txt).
#  - ENTRENAMIENTO de modelos, no citas: GPTBot, ClaudeBot, Google-Extended, CCBot,
#    cohere-ai, meta-externalagent, Applebot-Extended.
# Permitir GPTBot NO mete el sitio en la busqueda de ChatGPT: eso lo gobierna OAI-SearchBot.
# Cada grupo repite los Disallow porque un grupo con nombre NO hereda el grupo * (RFC 9309).

User-agent: OAI-SearchBot
Disallow: /wp-admin/
Disallow: /proceso-de-pago/
Disallow: /oauth-callback/
Allow: /

User-agent: PerplexityBot
Disallow: /wp-admin/
Disallow: /proceso-de-pago/
Disallow: /oauth-callback/
Allow: /

User-agent: Claude-SearchBot
Disallow: /wp-admin/
Disallow: /proceso-de-pago/
Disallow: /oauth-callback/
Allow: /

User-agent: Claude-User
Disallow: /wp-admin/
Disallow: /proceso-de-pago/
Disallow: /oauth-callback/
Allow: /

User-agent: ChatGPT-User
Disallow: /wp-admin/
Disallow: /proceso-de-pago/
Disallow: /oauth-callback/
Allow: /

User-agent: GPTBot
Disallow: /wp-admin/
Disallow: /proceso-de-pago/
Disallow: /oauth-callback/
Allow: /

User-agent: ClaudeBot
Disallow: /wp-admin/
Disallow: /proceso-de-pago/
Disallow: /oauth-callback/
Allow: /

User-agent: Claude-Web
Disallow: /wp-admin/
Disallow: /proceso-de-pago/
Disallow: /oauth-callback/
Allow: /

User-agent: anthropic-ai
Disallow: /wp-admin/
Disallow: /proceso-de-pago/
Disallow: /oauth-callback/
Allow: /

User-agent: Google-Extended
Disallow: /wp-admin/
Disallow: /proceso-de-pago/
Disallow: /oauth-callback/
Allow: /

User-agent: CCBot
Disallow: /wp-admin/
Disallow: /proceso-de-pago/
Disallow: /oauth-callback/
Allow: /

User-agent: cohere-ai
Disallow: /wp-admin/
Disallow: /proceso-de-pago/
Disallow: /oauth-callback/
Allow: /

User-agent: meta-externalagent
Disallow: /wp-admin/
Disallow: /proceso-de-pago/
Disallow: /oauth-callback/
Allow: /

User-agent: Applebot-Extended
Disallow: /wp-admin/
Disallow: /proceso-de-pago/
Disallow: /oauth-callback/
Allow: /

Sitemap: https://fintutor.ai/sitemap_index.xml
Sitemap: https://fintutor.ai/ft-sitemap-publicas.xml