Cada vez más visitas a una web son asistentes de IA que leen la página para hacer algo en nombre de alguien, como comparar precios o rellenar un formulario. Hemos construido Agentic Web Census para saber hasta qué punto la web está preparada para ellos, y lo publicamos cada mes con datos abiertos.
Qué es Agentic Web Census
Es una web gratuita que da una nota a la web entera según lo preparada que está para los agentes de IA. La llamamos AWCS, de Agentic Web Census Score, y va de 0 a 100 %. La publicamos para el conjunto de Internet y también por tecnología, por sufijo de dominio y por agente de IA. Cada mes queda en un informe que se puede citar, y las cifras se pueden reutilizar con licencia CC BY 4.0.
En Omitsis desarrollamos webs, y cada vez más clientes nos preguntan qué pasa con los agentes de IA: si les conviene dejarlos entrar y qué tienen que cambiar. Para contestar con datos hacía falta medirlo en toda la web.
De dónde salen los datos
Lighthouse, la herramienta de Google para auditar páginas web, tiene una categoría llamada Agentic Browsing con auditorías pensadas para agentes de IA.
HTTP Archive pasa Lighthouse cada mes a millones de webs y guarda los resultados en una base de datos pública, pero sus informes no muestran esta categoría. Nosotros la leemos de esa base de datos sobre una muestra representativa de las webs.
Qué mide la nota
La nota tiene cinco dimensiones. Cuatro salen de auditorías de Lighthouse y la quinta la calculamos a partir del robots.txt que HTTP Archive recoge de cada web. Los porcentajes de la imagen son la parte de toda la web que pasa cada dimensión.
- Leer (40 % de la nota). Si un agente entiende cómo está organizada la página leyendo su HTML: el menú, el contenido principal, los botones y los campos de formulario. Pesa más que ninguna porque un agente que no puede leer la página no puede hacer nada más con ella.
- Estable (25 %). Si la página se mueve mientras carga, medido con el CLS (Cumulative Layout Shift). Un agente que pulsa donde vio un botón acaba pulsando otra cosa si la página se ha desplazado.
- Guiar (20 %). Si la web sirve un llms.txt válido, un fichero que explica a los modelos de IA de qué va la web y qué páginas importan.
- Actuar (15 %). Si la web ofrece herramientas WebMCP, acciones como buscar un producto o pedir un presupuesto que un agente puede usar sin adivinar qué botón pulsar.
- Alcanzable (multiplica al resto). Qué parte de los 17 agentes de IA que seguimos deja entrar el robots.txt. Si los bloquea a todos, la nota es cero aunque todo lo demás esté bien.
Con la misma web en distintos escenarios se ve cómo se combinan:
| Escenario | Nota |
|---|---|
| Un agente la puede leer, y nada más | 40 % |
| Se puede leer y no se mueve mientras carga | 65 % |
| Se puede leer, no se mueve y tiene un llms.txt válido | 85 % |
| Lo cumple todo y deja entrar a todos los agentes | 100 % |
| Lo cumple todo, pero el robots.txt bloquea por su nombre a todos los agentes que seguimos | 0 % |
La nota no dice nada del diseño ni del negocio de una web, y no es una nota de SEO. La página qué mide la nota lo explica con todo detalle.
La evolución de la nota
La nota de la web entera ha subido cada mes desde que empezamos a medirla, del 30,2 % al 34,3 %, y el cambio es mayor que el margen de error. Lo que más ha crecido es el llms.txt. Todas las series están en la página de tendencias.
El censo también publica la nota de cada tecnología, con sus cinco dimensiones y su evolución mes a mes. En la página de Drupal, por ejemplo, puedes ver cómo están las webs hechas con Drupal y compararlas con la tuya.
Cómo comprobar tu web
Además del censo, puedes medir una web concreta con las mismas cinco dimensiones.
La nota, gratis y sin cuenta. Escribes la dirección y te devolvemos la nota, cada dimensión comparada con toda la web y con la plataforma que usas, y qué conviene arreglar primero. Para Alcanzable, además de leer el robots.txt, pedimos la página como lo haría un agente, porque hay servidores que rechazan a los agentes aunque el robots.txt los deje entrar.
Con la web medida, puedes poner en ella un distintivo con su nota y la fecha, que enlaza al resultado.
El plan, por correo. Si nos dejas una dirección, te mandamos qué cambiar en cada dimensión que suspendes, con un ejemplo de cada paso, y a qué agentes deja fuera el robots.txt y en qué línea.
El informe avanzado, de pago. Un informe escrito para tu web a partir de sus mediciones, con los pasos en orden para que los siga un programador y enlaces a la documentación de la plataforma y del servidor que usas. O si lo prefieres, con un botón lo copias como plan.md y se lo pasas a un agente de IA para que haga los cambios.
Lo hacemos nosotros. Si prefieres delegarlo, partimos de lo que el informe ya encontró y lo aplicamos. También nos ocupamos de que la web aguante el tráfico de los agentes de IA, que para muchas webs ya es un problema de carga.
