Illustrazione risograph con il titolo Robots.txt e addestramento AI: un file di testo fa da cancello, il carrello pieno di pagine diretto alla macchina di addestramento è fermo alla sbarra, quello con una sola pagina e il simbolo del link passa verso un fumetto di risposta

Immagine creata con AI

Il 30 ottobre Google e Microsoft hanno annunciato che leggeranno nel robots.txt una regola comune per dire se i contenuti di un sito possono servire ad addestrare i modelli AI. È una riga sola, uguale per tutti i fornitori che la adottano, al posto dell’elenco di bot che ognuno di noi aggiorna a mano da due anni. Riguarda chiunque abbia un sito, ma per un e-commerce la scelta ha una conseguenza che negli annunci passa in secondo piano.

Negli ultimi mesi più di un cliente mi ha chiesto “come blocco ChatGPT?”. Quasi sempre, parlandone, è venuto fuori che non volevano sparire dalle risposte delle AI: volevano solo che le loro schede prodotto, scritte con fatica, non diventassero materiale gratuito per un modello. Sono due cose diverse, e questa novità finalmente le separa.

Hai un PrestaShop o un sito in Astro e vuoi decidere cosa far leggere alle AI senza perdere traffico da Google? Ti controlliamo noi il robots.txt e ti diciamo quali righe servono. Scrivici.

La riga comune per l’addestramento AI

La proposta è una bozza IETF pubblicata il 30 ottobre 2026 da Kevin Kelley di Anthropic, nel solco del gruppo di lavoro AIPREF. Non inventa nuove direttive: usa un nome convenzionale, __usage_ai-training, al posto del nome di un bot, e per il resto il robots.txt funziona come sempre.

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Questo esempio, preso dalla bozza, dice: non usate il sito per addestrare modelli, tranne la cartella /press-kit/. Tre dettagli che contano in pratica:

  • User-agent: * non vale. La bozza scrive che un gruppo generico “MUST NOT” essere letto come riferito a questo token. Il classico robots.txt che lascia passare tutti non esprime nessuna preferenza sull’addestramento, né a favore né contro.
  • Non blocca la scansione. È una preferenza d’uso, non un divieto di passaggio: i crawler continuano a seguire le regole scritte per il loro nome.
  • Addestramento ha un significato preciso: usare un contenuto per modificare i parametri di un modello di AI generativa. Un sistema che classifica o ordina risultati senza generare testo non rientra.

La bozza è di un singolo autore, non ancora uno standard approvato, e scade il 3 maggio 2027 se non viene aggiornata. Quello che le dà peso è che Google e Microsoft hanno detto di volerla rispettare.

Qui c’è il punto che mi interessa di più, perché è quello che un merchant rischia di sbagliare.

Quando un assistente AI risponde citando una pagina, con il link, non sta addestrando niente: sta leggendo la pagina in quel momento per costruire la risposta. Google e Microsoft chiamano questo passaggio grounding. Per un negozio online è traffico, o almeno visibilità.

Google tratterà la regola comune come un Disallow su Google-Extended, se nel file Google-Extended non è nominato. E Google-Extended, secondo la documentazione, non controlla solo l’addestramento dei futuri modelli Gemini: controlla anche il grounding nelle app Gemini e in Vertex AI. Il post di Google lo dice in modo esplicito: i siti che consentono Google-Extended possono comparire nelle risposte e ricevere clic tramite il grounding nelle app Gemini. Tradotto: con la sola riga comune dici no all’addestramento, ma rischi di uscire anche dalle risposte di Gemini con il link. La presenza in Google Search e nelle AI Overviews non c’entra: la documentazione scrive che Google-Extended non incide sull’inclusione nei risultati e non è un fattore di ranking.

Microsoft ha fatto la separazione in modo più netto. Oltre alla regola comune per l’addestramento ha introdotto una preferenza distinta per il grounding, solo a livello di pagina, con tre valori: allow (il default), disallow e disallowextended, che consente il grounding nei servizi Microsoft come Copilot ma non nei servizi che Microsoft offre ad altre aziende. Si scrive così:

<meta name="Bingbot" content="ai-training:disallow">
<meta name="Bingbot" content="ai-grounding:disallowextended">

oppure come header HTTP: X-Robots-Tag: Bingbot: ai-training:disallow. Microsoft scrive che queste preferenze non cambiano l’idoneità ai risultati di Bing.

OpenAI ha già oggi due nomi separati nel robots.txt: GPTBot per l’addestramento e OAI-SearchBot per la ricerca di ChatGPT. Si può bloccare il primo e lasciare il secondo.

Le date da segnare

Niente di tutto questo funziona già oggi. Le scadenze annunciate:

Data Cosa succede
15 dicembre 2026 In Bing Webmaster Tools apre la preferenza temporanea sul grounding, solo per i siti che oggi usano NoArchive o NoCache
1° febbraio 2027 Microsoft inizia a rispettare le nuove preferenze man mano che scansiona
1° marzo 2027 Bing smette di leggere NoArchive e NoCache come preferenza su addestramento e grounding
Inizio 2027 Google indica il supporto alla regola comune nella documentazione dei crawler
30 settembre 2027 Scadono le preferenze temporanee di Bing Webmaster Tools

Il 1° marzo è la data da non perdere se in passato hai messo noarchive nelle pagine per tenere lontano Copilot: da lì in poi quel tag non basta più.

Cosa scrivere nel robots.txt di un e-commerce

Prima di scrivere una riga, conviene decidere cosa si vuole. Con i clienti finisco quasi sempre in uno di questi tre casi.

Caso 1: va bene tutto

Se vuoi essere letto, citato e anche usato per l’addestramento, non devi fare niente. Il robots.txt di bwlab.it oggi è così: User-agent: *, Allow: / e la sitemap. Per un’agenzia che vive di contenuti tecnici, farsi conoscere dai modelli ha più senso che difendere i testi.

È la richiesta che sento più spesso dai merchant con schede prodotto scritte a mano. Il file diventa:

User-agent: *
Allow: /

User-Agent: __usage_ai-training
Disallow: /

User-agent: GPTBot
Disallow: /

Sitemap: https://www.tuonegozio.it/sitemap.xml

Ho aggiunto GPTBot perché oggi è l’unico modo sicuro per dirlo a OpenAI. Su Google resta il compromesso visto sopra: se ti interessa comparire con il link nelle risposte di Gemini, valuta di non toccare Google-Extended e accetta l’addestramento da parte di Google. Su Bing, il grounding resta consentito per default.

Caso 3: no all’addestramento tranne le pagine pubbliche

Il catalogo no, ma le pagine “chi siamo”, i resi e le spedizioni sì, perché sono quelle che vuoi vedere riassunte bene:

User-Agent: __usage_ai-training
Disallow: /
Allow: /content/

In PrestaShop, con gli URL semplificati attivi, le pagine CMS stanno sotto /content/, oppure sotto /it/content/ se il negozio è multilingua: il robots.txt confronta il percorso dall’inizio, quindi controlla i tuoi URL prima di copiare.

Attenzione a dove scrivi

Su PrestaShop il robots.txt si rigenera da Parametri negozio > Traffico e SEO, e la rigenerazione sovrascrive le righe aggiunte a mano. Le regole personalizzate vanno rimesse ogni volta, oppure gestite in un modulo o nel deploy. Ne ho parlato più in generale nella guida su come usare il robots.txt con PrestaShop. Su un sito Astro come il nostro il file è generato da un endpoint (src/pages/robots.txt.ts): si cambia lì e va online con il deploy.

Per capire perché la presenza nelle risposte AI conti già quanto una posizione in SERP, rimando a GEO e SEO: cosa cambia.

Domande frequenti

Bloccare l’addestramento AI fa perdere posizioni su Google?

No. Google scrive che Google-Extended non incide sulla presenza nei risultati e non è un fattore di ranking. Microsoft dice lo stesso per Bing.

La regola funziona già oggi?

Non ancora: Bing dal 1° febbraio 2027, Google all’inizio del 2027. Puoi aggiungerla adesso, chi non la conosce la ignora.

User-agent: * vale anche per l’addestramento?

No. Senza il gruppo __usage_ai-training non stai dicendo niente sull’addestramento.

Posso togliere i contenuti già usati?

La regola vale per quello che viene raccolto da lì in avanti. Né Google né Microsoft parlano di rimuovere dai modelli quello che è già stato usato.


Con i clienti PrestaShop, Sylius e Astro controlliamo il robots.txt insieme alla sitemap e ai meta tag delle pagine, e lo mettiamo nel deploy perché non si perda alla prossima rigenerazione. Se vuoi scegliere adesso tra addestramento e risposte con link, prima che Bing inizi a leggere le nuove regole a febbraio, partiamo dalla consulenza e-commerce e da un’occhiata al tuo file: scrivici.