Microtraining SearchBrand #1
Host: Hussam Sufan
Experto invitado: Francisco Kemeny
Fecha: 8 de octubre, 2025
Duración: ~55 minutos
TL;DR — Lo esencial
Los LLMs no "buscan" como Google: usan entrenamiento base, RAG y tool calling para generar respuestas
El archivo llms.txt es una convención emergente que mejora hasta 70% la precisión de las respuestas de IA
Debes configurar robots.txt para habilitar crawlers específicos: GPTBot (entrenamiento) y ChatGPT-User (búsquedas en tiempo real)
GPTBot indexa para futuros modelos (6-12 meses), ChatGPT-User para búsquedas inmediatas (días/semanas)
El llms.txt elimina HTML y código, dejando solo contenido estructurado en Markdown para los LLMs
Implementar llms.txt es simple: crear archivo en raíz del dominio y referenciar en HTML
Puedes medir impacto creando segmentos en Analytics para tráfico de crawlers de IA
El contexto: 60% de consumidores ya usa IA para comprar
Estamos en un punto de inflexión. El 60% de los consumidores en Estados Unidos ya usa inteligencia artificial en su proceso de compra, y el 46% confía más en las recomendaciones de ChatGPT que en las de amigos o conocidos.
Aunque estos números son de Estados Unidos, la tendencia está llegando rápidamente a Latinoamérica. Si tu sitio no está preparado técnicamente para que los modelos de IA puedan leerlo, extraer información y citarlo correctamente, estás invisible para una porción creciente de tu audiencia potencial.
La gran pregunta: ¿Cómo hacemos que ChatGPT, Gemini, Perplexity y Claude entiendan nuestro contenido y nos citen correctamente?
La respuesta no es solo estratégica (como vimos en el webinar de lanzamiento), sino también técnica. Y eso es exactamente lo que cubrimos en este microtraining.
Cómo "buscan" realmente los LLMs
Disclaimer importante: Los LLMs técnicamente no buscan. A diferencia de Google que indexa contenido en un directorio y lo rankea, los modelos de lenguaje predicen tokens (palabras) basándose en patrones aprendidos de datos masivos.
Sin embargo, para efectos prácticos de esta conversación, hablaremos de "búsqueda" en LLMs entendiendo que funciona de forma completamente diferente a los buscadores tradicionales.
Tres formas en que los LLMs acceden a información:
1. Entrenamiento base del modelo
Toda la información recopilada para entrenar el modelo. Cuando hablamos de "parámetros" (los cientos de billones de parámetros de GPT-4, por ejemplo), nos referimos a este conocimiento base.
Ejemplo práctico: Si le preguntas a ChatGPT "¿Quién fue el presidente de El Salvador en 2020?" puede responder directamente sin buscar porque esa información está en su entrenamiento.
El cut-off date: Cada modelo tiene una fecha límite de conocimiento. GPT-4 sabe hasta abril 2023, por ejemplo. Todo lo posterior a esa fecha NO está en su entrenamiento base.
2. RAG (Retrieval Augmented Generation)
El modelo trae información externa y la coloca en su "contexto" para generar una respuesta. No está navegando ni indexando: está tomando bloques de información y usándolos temporalmente.
Es como si le pasaras un PDF completo en el prompt y le dijeras "basándote en esto, responde X". El modelo no guarda ese PDF, solo lo usa para esa conversación.
3. Tool Calling (uso de herramientas)
Los modelos y agentes pueden usar herramientas externas. Por ejemplo:
API de búsqueda de Google (SERP): ChatGPT, Gemini y Perplexity pueden llamar a Google, obtener los 10 primeros resultados y usar ese contexto
Navegación web: Pueden entrar a sitios específicos, leer el HTML completo y extraer información
Web scraping: Algunos modelos navegan páginas y extraen datos estructurados en tiempo real
Concepto clave: Accesibilidad
Si tu sitio bloquea crawlers, tu contenido NO estará:
En el entrenamiento base de futuros modelos
Disponible para navegación en tiempo real
Accesible para extracción vía RAG o tool calling
Por eso Wikipedia aparece tanto: Es completamente pública, sin restricciones de acceso. Los crawlers han indexado toda su información millones de veces.
¿Qué es el archivo llms.txt?
El llms.txt es una convención (aún no oficial) que surgió hace aproximadamente un año para darle a los modelos de lenguaje una forma más simple de leer tu contenido.
El problema que resuelve
Imagina que un LLM entra a tu sitio web. Se encuentra con:
Miles de líneas de HTML
JavaScript para interactividad
CSS para estilos
Tags de tracking (Google Analytics, Facebook Pixel, etc.)
Navegación, footers, sidebars
Popups, modales, formularios
En medio de todo ese código, hay algunos párrafos con el contenido real que quieres que el modelo lea.
El problema: El modelo gasta tokens (capacidad computacional) limpiando y filtrando HTML para encontrar el texto relevante. Esto reduce la calidad de la respuesta y la precisión de las citas.
La solución: El llms.txt le entrega al modelo un documento limpio, en Markdown, con solo el contenido que importa.
# Kemeny Studio Somos una consultora especializada en implementación de IA generativa y desarrollo de software. ## Servicios - Implementación de soluciones con IA generativa - Software Factory con componentes de IA core - Consultoría en transformación digital ## Casos de uso ### Indexación de documentos Mejora del 20% en menciones en respuestas de IA ### Descripciones de productos Mayor click-through rate desde ChatGPT, Gemini y Perplexity hacia el sitio ## Contacto - Web: kemeny.studio - LinkedIn: /in/kemeny
Analogía útil: Es como si le pasaras todo este contexto directamente en el prompt de ChatGPT. En lugar de que el modelo tenga que "adivinar" qué es importante en tu HTML, tú se lo dices explícitamente.
Datos de efectividad
70%
Mejora en calidad y precisión de respuestas
Sitios con llms.txt bien implementado muestran hasta 70% más de exactitud en cómo los LLMs describen su contenido.
20%
Más menciones en indexación de documentos
En implementaciones reales con clientes, se ha visto 20% más de menciones en respuestas de IA cuando se combina llms.txt con buena estructura de contenido.
Configuración crítica: robots.txt para crawlers de IA
Antes de crear tu llms.txt, necesitas asegurarte de que los crawlers de IA puedan acceder a tu sitio. Esto se hace en el archivo robots.txt.
Los crawlers más importantes
Crawler Empresa Propósito GPTBot OpenAI Entrenamiento de futuros modelos (GPT-5, GPT-6, etc.) ChatGPT-User OpenAI Navegación en tiempo real cuando usuarios usan web search Google-Extended Google Entrenamiento de Gemini y otros modelos de IA de Google ClaudeBot Anthropic Entrenamiento de Claude Claude-User Anthropic Búsquedas en tiempo real de usuarios de Claude PerplexityBot Perplexity Indexación para búsquedas en Perplexity
Diferencia crítica: GPTBot vs ChatGPT-User
GPTBot es para entrenamiento. Si lo bloqueas, tu contenido NO estará en GPT-6, GPT-7, etc. El impacto lo verás en 6-12 meses cuando se lance una nueva versión del modelo.
ChatGPT-User es para navegación en tiempo real. Si lo bloqueas, cuando alguien use ChatGPT con web search activado, el modelo NO podrá entrar a tu sitio a leer contenido. El impacto es inmediato (días/semanas).
Ejemplo de robots.txt bien configurado
# Habilitar todos los crawlers tradicionales User-agent: * Allow: / # OpenAI - Entrenamiento de futuros modelos User-agent: GPTBot Allow: / # OpenAI - Búsquedas en tiempo real User-agent: ChatGPT-User Allow: / # Google - Entrenamiento de Gemini User-agent: Google-Extended Allow: / # Anthropic - Entrenamiento de Claude User-agent: ClaudeBot Allow: / # Anthropic - Búsquedas en tiempo real User-agent: Claude-User Allow: / # Perplexity User-agent: PerplexityBot Allow: / # Meta (Facebook, Instagram) User-agent: Meta-ExternalAgent Allow: / # TikTok User-agent: Bytespider Allow: / # Bloquear contenido privado Disallow: /admin/ Disallow: /private/ Disallow: /internal/ # Sitemap (importante para descubrimiento) Sitemap: https://tusitio.com/sitemap.xml # Referencia al llms.txt (siguiente sección) # Ver: https://tusitio.com/llms.txt
Pro tip: Si tienes páginas privadas, dashboards o contenido interno, usa Disallow: /ruta/ para bloquearlas específicamente. No bloquees todo el sitio por defecto.
Cómo crear e implementar tu llms.txt
Paso 1: Estructura tu contenido en Markdown
El llms.txt debe ser un archivo de texto plano (.txt) con formato Markdown. Incluye:
Descripción clara de tu empresa/marca
Servicios o productos principales
Casos de uso o industrias que atiendes
Páginas clave del sitio
Recursos o documentación importante
Qué NO incluir:
HTML, JavaScript, CSS
Navegación repetitiva (headers, footers)
Contenido promocional excesivo
Información sensible o privada
Ejemplo real de llms.txt
# Tu Empresa - Descripción breve Somos [tu empresa], especialistas en [tu industria/servicio principal]. ## Lo que hacemos - Servicio 1: Descripción concisa de qué es y para quién - Servicio 2: Beneficio principal y casos de uso - Servicio 3: Diferenciador clave ## Para quiénes trabajamos Trabajamos con empresas en: - Industria A (ejemplo: retail, banca, tecnología) - Industria B - Industria C ## Recursos principales ### Documentación - Guía de implementación: /docs/guia-implementacion - API Reference: /docs/api ### Casos de éxito - Caso A: Título y resultado clave - Caso B: Título y resultado clave ### Blog Publicamos contenido sobre [temas principales]: - Blog principal: /blog ## Contacto - Sitio web: tusitio.com - LinkedIn: /company/tu-empresa - Email: contacto@tusitio.com --- Última actualización: Octubre 2025
Paso 2: Coloca el archivo en la raíz de tu dominio
El archivo debe ser accesible en:
https://tusitio.com/llms.txt
Similar a cómo tienes:
https://tusitio.com/robots.txthttps://tusitio.com/sitemap.xml
Paso 3: Referencia el archivo en tu HTML
En el <head> de tu sitio, agrega:
<head> <meta charset="utf-8"> <title>Tu Título</title> <!-- Referencia al llms.txt --> <link rel="llms-txt" href="/llms.txt" /> <!-- Resto de tu head --> </head>
Para equipos no técnicos: Puedes usar ChatGPT para generar tu llms.txt. Simplemente dale tu sitio web y pídele: "Crea un llms.txt para mi sitio en formato Markdown, extrayendo solo la información clave sin HTML."
Casos de uso: ¿Dónde funciona esto?
1. E-commerce con miles de productos
Pregunta común: "¿Debo incluir todos mis productos en llms.txt?"
Respuesta: No. Enfócate en:
Categorías principales
Productos estrella o más vendidos
Colecciones destacadas
Estructura del sitio (cómo navegar)
Deja que los crawlers descubran productos individuales via sitemap.xml y navegación del sitio.
Context engineering: A medida que se agota la ventana de contexto del modelo, su rendimiento decrece. No sobrecargues el llms.txt con información de nivel 8 de profundidad. Prioriza contenido de valor alto.
2. SaaS con documentación técnica
Caso de éxito: Zapier
Uno de los primeros en implementar llms.txt fue Zapier. Crearon un archivo estructurado con toda su documentación para que los LLMs pudieran ayudar a usuarios a implementar integraciones correctamente.
Resultado: Mejor calidad en respuestas cuando usuarios preguntan "¿Cómo integro Zapier con X?" en ChatGPT o Claude.
3. Empresas de servicios (consultoras, agencias)
Usa el llms.txt para clarificar:
Qué servicios ofreces exactamente
Industrias o clientes objetivo
Casos de éxito resumidos
Diferenciadores clave vs competencia
¿Listo para implementar pero necesitas ayuda?
SearchBrand.ai pronto incluirá generación automática de llms.txt optimizado para tu sitio. Mientras tanto, puedes usar la plataforma para monitorear cómo te citan los modelos actualmente.
Cómo medir el impacto
1. Crea un segmento en Google Analytics
Identifica tráfico de crawlers de IA creando un segmento personalizado que incluya:
User-Agent contiene "GPTBot"
User-Agent contiene "ChatGPT-User"
User-Agent contiene "ClaudeBot"
User-Agent contiene "PerplexityBot"
User-Agent contiene "Google-Extended"
Compara este canal con:
Organic Search
Referral
Direct
Social
2. Monitorea con SearchBrand.ai
La plataforma te permite:
Ver en qué posición apareces cuando alguien pregunta por tu industria
Identificar qué fuentes están citando los modelos
Compararte con competidores
Detectar gaps de contenido que debes cubrir
3. Prueba en modo incógnito/temporal
Truco pro: Usa el "temporary chat" de ChatGPT (modo sin memoria) para eliminar sesgo de conversaciones previas. Esto te muestra cómo el modelo responde sin contexto histórico tuyo.
Pasos:
Abre ChatGPT
Activa "Temporary chat" (ícono de reloj)
Pregunta algo sobre tu industria/marca
Observa si apareces y cómo te describen
Revisa qué fuentes están citando
4. Crea una alerta automatizada
Francisco Kemeny comparte este truco avanzado:
Prompt para ChatGPT: "Monitorea todos los días el sitio [tusitio.com] y revisa si hay cambios en cómo describes mi contenido cuando alguien pregunta sobre [tu industria/servicio]. Compara con la descripción de ayer y notifícame cualquier cambio."
Esto crea una conversación recurrente donde el modelo te avisa si detecta cambios en cómo está leyendo tu sitio.
Timeline de resultados esperables
Acción Impacto esperado Timeline Habilitar ChatGPT-User en robots.txt Aparecer en búsquedas en tiempo real de ChatGPT Días a 2 semanas Implementar llms.txt Mejor precisión en citas y descripciones 1-4 semanas Habilitar GPTBot para entrenamiento Aparecer en conocimiento base de futuros modelos 6-12 meses (próximo GPT-5, 6, etc.) Optimizar contenido + llms.txt 20% más menciones, 70% mejor precisión 1-3 meses
Expectativas realistas: El entrenamiento base de modelos toma tiempo. Si habilitas GPTBot hoy, no esperes que GPT-4 "sepa" de ti mañana. Ese impacto lo verás cuando se lance GPT-5, GPT-6, etc.
Sin embargo, para búsquedas en tiempo real (ChatGPT-User, web search), el impacto puede ser visible en semanas.
Recursos y herramientas
📚 Documentación oficial
llmstxt.org — Especificación y guías de la convención
GitHub del proyecto — Issues, discusiones y ejemplos
🔍 Explorar ejemplos reales
llmstxthub.com — Cientos de ejemplos de sitios que ya implementaron llms.txt
Anthropic llms.txt — Ejemplo de implementación de Anthropic (creadores de Claude)
🛠️ Herramientas
ChatGPT o Claude: Pídele que genere tu llms.txt desde tu sitio actual
SearchBrand.ai: Monitorea cómo te citan los modelos (próximamente: generación automática de llms.txt)
Google Analytics: Crea segmentos para medir tráfico de crawlers de IA
Preguntas frecuentes (FAQ)
¿Qué es el archivo llms.txt?
El llms.txt es un archivo de convención (no oficial aún) que proporciona a los modelos de lenguaje (LLMs) una versión simplificada del contenido de tu sitio en formato Markdown. Elimina todo el HTML y código, dejando solo la información relevante que quieres que los modelos extraigan y usen. Esto mejora hasta un 70% la calidad y precisión de las respuestas que los LLMs generan sobre tu contenido.
¿Cuál es la diferencia entre GPTBot y ChatGPT-User?
GPTBot es el crawler que OpenAI usa para recopilar información y entrenar futuros modelos (GPT-5, GPT-6, etc.). Si lo bloqueas, tu contenido NO estará en el entrenamiento base del modelo. ChatGPT-User es el crawler que se usa cuando un usuario hace búsquedas en tiempo real con ChatGPT. Si lo bloqueas, ChatGPT no podrá acceder a tu sitio cuando alguien pregunte algo en ese momento. Ambos son importantes pero tienen propósitos diferentes y timelines de impacto distintos.
¿Cómo buscan información los LLMs realmente?
Los LLMs no "buscan" como Google. Funcionan de tres formas: 1) Entrenamiento base: Usando parámetros del modelo con información hasta una fecha de corte, 2) RAG (Retrieval Augmented Generation): Trayendo información al contexto desde fuentes externas, y 3) Tool Calling: Usando herramientas como APIs de búsqueda de Google para obtener resultados actualizados, navegar sitios web y extraer contenido en tiempo real.
¿En cuánto tiempo veré resultados después de implementar llms.txt?
Hay dos timelines diferentes: Para búsquedas en tiempo real (ChatGPT-User, web search), los efectos pueden verse en días o semanas. Para el entrenamiento base del modelo (GPTBot), podrías no ver cambios hasta que se lance una nueva versión del modelo (6 meses a 1 año). Los estudios actuales muestran hasta 70% más de precisión en las respuestas y 20% más de menciones cuando se implementa correctamente junto con buena estructura de contenido.
¿Dónde coloco el archivo llms.txt en mi sitio?
El archivo llms.txt debe colocarse en la raíz de tu dominio, accesible en tusitio.com/llms.txt (igual que robots.txt y sitemap.xml). Además, puedes referenciarlo en el <head> de tu HTML con un link tag: <link rel="llms-txt" href="/llms.txt" />. No necesitas plugins ni herramientas especiales, solo crear el archivo en formato Markdown y subirlo a tu servidor.
¿El llms.txt debe estar en español o inglés?
Los modelos de lenguaje son multilingües y funcionan bien en cualquier idioma. Puedes crear tu llms.txt en el idioma principal de tu audiencia. Los modelos pueden procesar contenido en español, portugués, inglés, etc., y generar respuestas precisas sin problema. Lo importante es la claridad y estructura del contenido, no el idioma específico.
¿Cómo mido si los LLMs están accediendo a mi sitio?
Puedes crear un segmento personalizado en Google Analytics que identifique el tráfico de crawlers de IA (GPTBot, ChatGPT-User, ClaudeBot, GoogleExtended, PerplexityBot). También puedes usar herramientas como SearchBrand.ai para monitorear cómo te citan los modelos en sus respuestas. Otra opción avanzada es crear una alerta automatizada en ChatGPT que monitoree cambios en cómo el modelo lee tu sitio día a día.
Checklist de implementación
Revisar y actualizar robots.txt con crawlers de IA (GPTBot, ChatGPT-User, etc.)
Verificar que sitemap.xml esté actualizado y accesible
Crear llms.txt en formato Markdown con contenido clave del sitio
Subir llms.txt a la raíz del dominio (tusitio.com/llms.txt)
Agregar referencia al llms.txt en el <head> del HTML
Verificar accesibilidad navegando directamente a la URL del llms.txt
Crear segmento en Google Analytics para tráfico de crawlers de IA
Probar en ChatGPT modo temporal (sin memoria) cómo te describe
Monitorear con SearchBrand.ai tu posicionamiento en múltiples modelos
Documentar cambios y medir impacto mes a mes
Conclusión: Prepárate ahora, cosecha después
Implementar llms.txt y configurar correctamente tus crawlers no es futuro lejano: es infraestructura crítica hoy.
A diferencia del SEO tradicional que puede tomar 6-12 meses en mostrar resultados significativos, aquí hay dos velocidades:
Impacto inmediato (2-4 semanas): Mejor precisión en búsquedas en tiempo real, más menciones cuando usuarios preguntan en ChatGPT, Gemini, Perplexity
Impacto de largo plazo (6-12 meses): Tu contenido formará parte del entrenamiento base de los próximos modelos. Cuando GPT-5, GPT-6, Gemini 3.0 se lancen, tu marca ya estará en su conocimiento core
El paralelo con SEO tradicional: Al igual que en 2003-2005 cuando empezó el SEO, estamos en los primeros días de optimización para LLMs. Las empresas que se muevan ahora tendrán ventaja competitiva significativa.
No estamos reinventando la rueda, pero sí estamos adaptándola a un nuevo tipo de motor. Los fundamentos son similares: accesibilidad, contenido estructurado, autoridad. Solo cambian las herramientas y convenciones.
Recuerda: El 60% de consumidores ya usa IA para comprar. Si tu sitio no está preparado técnicamente, estás invisible para ellos. Y ese porcentaje solo va a crecer.
¿Quieres implementar pero necesitas guía?
Únete a la comunidad de SearchBrand.ai. Recibe micro-trainings como este, comparte mejores prácticas y accede a herramientas para monitorear tu posicionamiento en todos los modelos de IA.
Sobre los participantes:
Hussam Sufan es fundador de SearchBrand.ai