Cada vegada més visites a un web són assistents d’IA que llegeixen la pàgina per fer alguna cosa en nom d’algú, com ara comparar preus o omplir un formulari. Hem construït Agentic Web Census per saber fins a quin punt el web està preparat per a ells, i el publiquem cada mes amb dades obertes.
Què és Agentic Web Census
És un web gratuït que posa una nota a tot el web segons com de preparat està per als agents d’IA. L’anomenem AWCS, d’Agentic Web Census Score, i va de 0 a 100 %. La publiquem per al conjunt d’Internet i també per tecnologia, per sufix de domini i per agent d’IA. Cada mes queda en un informe que es pot citar, i les xifres es poden reutilitzar amb llicència CC BY 4.0.
A Omitsis desenvolupem webs, i cada vegada més clients ens pregunten què passa amb els agents d’IA: si els convé deixar-los entrar i què han de canviar. Per respondre amb dades calia mesurar-ho a tot el web.
D’on surten les dades
Lighthouse, l’eina de Google per auditar pàgines web, té una categoria anomenada Agentic Browsing amb auditories pensades per als agents d’IA.
HTTP Archive passa Lighthouse cada mes a milions de webs i en desa els resultats en una base de dades pública, però els seus informes no mostren aquesta categoria. Nosaltres la llegim d’aquesta base de dades sobre una mostra representativa dels webs.
Què mesura la nota
La nota té cinc dimensions. Quatre surten d’auditories de Lighthouse i la cinquena la calculem a partir del robots.txt que HTTP Archive recull de cada web. Els percentatges de la imatge són la part de tot el web que passa cada dimensió.
- Llegir (40 % de la nota). Si un agent entén com està organitzada la pàgina llegint-ne l’HTML: el menú, el contingut principal, els botons i els camps de formulari. És la que pesa més perquè un agent que no pot llegir la pàgina no hi pot fer res més.
- Estable (25 %). Si la pàgina es mou mentre carrega, mesurat amb el CLS (Cumulative Layout Shift). Un agent que prem on ha vist un botó acaba prement una altra cosa si la pàgina s’ha desplaçat.
- Guiar (20 %). Si el web serveix un llms.txt vàlid, un fitxer que explica als models d’IA de què va el web i quines pàgines importen.
- Actuar (15 %). Si el web ofereix eines WebMCP, accions com cercar un producte o demanar un pressupost que un agent pot fer servir sense endevinar quin botó ha de prémer.
- Abastable (multiplica la resta). Quina part dels 17 agents d’IA que seguim deixa entrar el robots.txt. Si els bloqueja tots, la nota és zero encara que tota la resta estigui bé.
Amb el mateix web en diferents escenaris es veu com es combinen:
| Escenari | Nota |
|---|---|
| Un agent el pot llegir, i res més | 40 % |
| Es pot llegir i no es mou mentre carrega | 65 % |
| Es pot llegir, no es mou i té un llms.txt vàlid | 85 % |
| Ho compleix tot i deixa entrar tots els agents | 100 % |
| Ho compleix tot, però el robots.txt bloqueja pel seu nom tots els agents que seguim | 0 % |
La nota no diu res del disseny ni del negoci d’un web, i no és una nota de SEO. La pàgina què mesura la nota ho explica amb tot detall.
L’evolució de la nota
La nota de tot el web ha pujat cada mes des que la vam començar a mesurar, del 30,2 % al 34,3 %, i el canvi és més gran que el marge d’error. El que més ha crescut és el llms.txt. Totes les sèries són a la pàgina de tendències.
El cens també publica la nota de cada tecnologia, amb les seves cinc dimensions i la seva evolució mes a mes. A la pàgina de Drupal, per exemple, pots veure com estan els webs fets amb Drupal i comparar-los amb el teu.
Com comprovar el teu web
A més del cens, pots mesurar un web concret amb les mateixes cinc dimensions.
La nota, gratis i sense compte. Escrius l’adreça i et tornem la nota, cada dimensió comparada amb tot el web i amb la plataforma que fas servir, i què convé arreglar primer. Per a Abastable, a més de llegir el robots.txt, demanem la pàgina com ho faria un agent, perquè hi ha servidors que rebutgen els agents encara que el robots.txt els deixi entrar.
Amb el web mesurat, hi pots posar un distintiu amb la seva nota i la data, que enllaça al resultat.
El pla, per correu. Si ens deixes una adreça, t’enviem què has de canviar a cada dimensió que suspens, amb un exemple de cada pas, i quins agents deixa fora el robots.txt i a quina línia.
L’informe avançat, de pagament. Un informe escrit per al teu web a partir de les seves mesures, amb els passos en ordre perquè els segueixi un programador i enllaços a la documentació de la plataforma i del servidor que fas servir. O, si ho prefereixes, amb un botó el copies com a plan.md i el passes a un agent d’IA perquè faci els canvis.
Ho fem nosaltres. Si prefereixes delegar-ho, partim del que l’informe ja ha trobat i ho apliquem. També ens ocupem que el web aguanti el trànsit dels agents d’IA, que per a molts webs ja és un problema de càrrega.
