User-agent: *
Sitemap: https://vinitor.wine/sitemap.xml


##############
#   custom   #
##############

# Rutas de aplicacion: no son contenido, no valen la visita de un robot.
# OJO: /web/image NO se bloquea — de ahi salen las fotos de los vinos a las
# que apunta el JSON-LD y de las que vive Google Images.
User-agent: *
Disallow: /web/login
Disallow: /web/signup
Disallow: /web/reset_password
Disallow: /my
Disallow: /website/info

# ---------------------------------------------------------------------
# IA QUE RESPONDE Y CITA: bienvenida. Cualquiera de estas puede acabar
# mandando un importador a la web, que es exactamente el objetivo.
# ---------------------------------------------------------------------
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: GPTBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: Applebot
Allow: /

User-agent: Applebot-Extended
Allow: /

User-agent: Bingbot
Allow: /

User-agent: cohere-ai
Allow: /

User-agent: MistralAI-User
Allow: /

# ---------------------------------------------------------------------
# CORPUS ABIERTOS: tambien pasan. No citan ellos, pero de ahi beben los
# que si citan; estar dentro es estar en la respuesta.
# ---------------------------------------------------------------------
User-agent: CCBot
Allow: /

User-agent: Amazonbot
Allow: /

# ---------------------------------------------------------------------
# FUERA: rastreo intenso y sin ningun camino hacia un lector.
# Bytespider ademas tiene fama de saltarse esto; la regla declara la
# intencion y deja el trabajo sucio al firewall si hiciera falta.
# ---------------------------------------------------------------------
User-agent: Bytespider
Disallow: /

User-agent: Omgilibot
Disallow: /

User-agent: Omgili
Disallow: /


# URLs de FILTROS del catalogo (combinaciones infinitas, en 14 idiomas):
# Googlebot se estaba quemando el rastreo ahi. Los segmentos de filtro
# empiezan por "_" — el catalogo y las fichas quedan fuera de esta regla.
User-agent: *
Disallow: /*/_