robots.txt e addestramento AI: la riga comune di Google e Bing
Immagine creata con AI
Il 30 ottobre Google e Microsoft hanno annunciato che leggeranno nel robots.txt una regola comune per dire se i contenuti di un sito possono servire ad addestrare i modelli AI. È una riga sola, uguale per tutti i fornitori che la adottano, al posto dell’elenco di bot che ognuno di noi aggiorna a mano da due anni. Riguarda chiunque abbia un sito, ma per un e-commerce la scelta ha una conseguenza che negli annunci passa in secondo piano.
Negli ultimi mesi più di un cliente mi ha chiesto “come blocco ChatGPT?”. Quasi sempre, parlandone, è venuto fuori che non volevano sparire dalle risposte delle AI: volevano solo che le loro schede prodotto, scritte con fatica, non diventassero materiale gratuito per un modello. Sono due cose diverse, e questa novità finalmente le separa.
Hai un PrestaShop o un sito in Astro e vuoi decidere cosa far leggere alle AI senza perdere traffico da Google? Ti controlliamo noi il robots.txt e ti diciamo quali righe servono. Scrivici.
La riga comune per l’addestramento AI
La proposta è una bozza IETF pubblicata il 30 ottobre 2026 da Kevin Kelley di Anthropic, nel solco del gruppo di lavoro AIPREF. Non inventa nuove direttive: usa un nome convenzionale, __usage_ai-training, al posto del nome di un bot, e per il resto il robots.txt funziona come sempre.
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/
Questo esempio, preso dalla bozza, dice: non usate il sito per addestrare modelli, tranne la cartella /press-kit/. Tre dettagli che contano in pratica:
User-agent: *non vale. La bozza scrive che un gruppo generico “MUST NOT” essere letto come riferito a questo token. Il classico robots.txt che lascia passare tutti non esprime nessuna preferenza sull’addestramento, né a favore né contro.- Non blocca la scansione. È una preferenza d’uso, non un divieto di passaggio: i crawler continuano a seguire le regole scritte per il loro nome.
- Addestramento ha un significato preciso: usare un contenuto per modificare i parametri di un modello di AI generativa. Un sistema che classifica o ordina risultati senza generare testo non rientra.
La bozza è di un singolo autore, non ancora uno standard approvato, e scade il 3 maggio 2027 se non viene aggiornata. Quello che le dà peso è che Google e Microsoft hanno detto di volerla rispettare.
Addestramento e risposte con link non sono la stessa cosa
Qui c’è il punto che mi interessa di più, perché è quello che un merchant rischia di sbagliare.
Quando un assistente AI risponde citando una pagina, con il link, non sta addestrando niente: sta leggendo la pagina in quel momento per costruire la risposta. Google e Microsoft chiamano questo passaggio grounding. Per un negozio online è traffico, o almeno visibilità.
Google tratterà la regola comune come un Disallow su Google-Extended, se nel file Google-Extended non è nominato. E Google-Extended, secondo la documentazione, non controlla solo l’addestramento dei futuri modelli Gemini: controlla anche il grounding nelle app Gemini e in Vertex AI. Il post di Google lo dice in modo esplicito: i siti che consentono Google-Extended possono comparire nelle risposte e ricevere clic tramite il grounding nelle app Gemini. Tradotto: con la sola riga comune dici no all’addestramento, ma rischi di uscire anche dalle risposte di Gemini con il link. La presenza in Google Search e nelle AI Overviews non c’entra: la documentazione scrive che Google-Extended non incide sull’inclusione nei risultati e non è un fattore di ranking.
Microsoft ha fatto la separazione in modo più netto. Oltre alla regola comune per l’addestramento ha introdotto una preferenza distinta per il grounding, solo a livello di pagina, con tre valori: allow (il default), disallow e disallowextended, che consente il grounding nei servizi Microsoft come Copilot ma non nei servizi che Microsoft offre ad altre aziende. Si scrive così:
<meta name="Bingbot" content="ai-training:disallow">
<meta name="Bingbot" content="ai-grounding:disallowextended">
oppure come header HTTP: X-Robots-Tag: Bingbot: ai-training:disallow. Microsoft scrive che queste preferenze non cambiano l’idoneità ai risultati di Bing.
OpenAI ha già oggi due nomi separati nel robots.txt: GPTBot per l’addestramento e OAI-SearchBot per la ricerca di ChatGPT. Si può bloccare il primo e lasciare il secondo.
Le date da segnare
Niente di tutto questo funziona già oggi. Le scadenze annunciate:
| Data | Cosa succede |
|---|---|
| 15 dicembre 2026 | In Bing Webmaster Tools apre la preferenza temporanea sul grounding, solo per i siti che oggi usano NoArchive o NoCache |
| 1° febbraio 2027 | Microsoft inizia a rispettare le nuove preferenze man mano che scansiona |
| 1° marzo 2027 | Bing smette di leggere NoArchive e NoCache come preferenza su addestramento e grounding |
| Inizio 2027 | Google indica il supporto alla regola comune nella documentazione dei crawler |
| 30 settembre 2027 | Scadono le preferenze temporanee di Bing Webmaster Tools |
Il 1° marzo è la data da non perdere se in passato hai messo noarchive nelle pagine per tenere lontano Copilot: da lì in poi quel tag non basta più.
Cosa scrivere nel robots.txt di un e-commerce
Prima di scrivere una riga, conviene decidere cosa si vuole. Con i clienti finisco quasi sempre in uno di questi tre casi.
Caso 1: va bene tutto
Se vuoi essere letto, citato e anche usato per l’addestramento, non devi fare niente. Il robots.txt di bwlab.it oggi è così: User-agent: *, Allow: / e la sitemap. Per un’agenzia che vive di contenuti tecnici, farsi conoscere dai modelli ha più senso che difendere i testi.
Caso 2: no all’addestramento, sì alle risposte con link
È la richiesta che sento più spesso dai merchant con schede prodotto scritte a mano. Il file diventa:
User-agent: *
Allow: /
User-Agent: __usage_ai-training
Disallow: /
User-agent: GPTBot
Disallow: /
Sitemap: https://www.tuonegozio.it/sitemap.xml
Ho aggiunto GPTBot perché oggi è l’unico modo sicuro per dirlo a OpenAI. Su Google resta il compromesso visto sopra: se ti interessa comparire con il link nelle risposte di Gemini, valuta di non toccare Google-Extended e accetta l’addestramento da parte di Google. Su Bing, il grounding resta consentito per default.
Caso 3: no all’addestramento tranne le pagine pubbliche
Il catalogo no, ma le pagine “chi siamo”, i resi e le spedizioni sì, perché sono quelle che vuoi vedere riassunte bene:
User-Agent: __usage_ai-training
Disallow: /
Allow: /content/
In PrestaShop, con gli URL semplificati attivi, le pagine CMS stanno sotto /content/, oppure sotto /it/content/ se il negozio è multilingua: il robots.txt confronta il percorso dall’inizio, quindi controlla i tuoi URL prima di copiare.
Attenzione a dove scrivi
Su PrestaShop il robots.txt si rigenera da Parametri negozio > Traffico e SEO, e la rigenerazione sovrascrive le righe aggiunte a mano. Le regole personalizzate vanno rimesse ogni volta, oppure gestite in un modulo o nel deploy. Ne ho parlato più in generale nella guida su come usare il robots.txt con PrestaShop. Su un sito Astro come il nostro il file è generato da un endpoint (src/pages/robots.txt.ts): si cambia lì e va online con il deploy.
Per capire perché la presenza nelle risposte AI conti già quanto una posizione in SERP, rimando a GEO e SEO: cosa cambia.
Domande frequenti
Bloccare l’addestramento AI fa perdere posizioni su Google?
No. Google scrive che Google-Extended non incide sulla presenza nei risultati e non è un fattore di ranking. Microsoft dice lo stesso per Bing.
La regola funziona già oggi?
Non ancora: Bing dal 1° febbraio 2027, Google all’inizio del 2027. Puoi aggiungerla adesso, chi non la conosce la ignora.
User-agent: * vale anche per l’addestramento?
No. Senza il gruppo __usage_ai-training non stai dicendo niente sull’addestramento.
Posso togliere i contenuti già usati?
La regola vale per quello che viene raccolto da lì in avanti. Né Google né Microsoft parlano di rimuovere dai modelli quello che è già stato usato.
Con i clienti PrestaShop, Sylius e Astro controlliamo il robots.txt insieme alla sitemap e ai meta tag delle pagine, e lo mettiamo nel deploy perché non si perda alla prossima rigenerazione. Se vuoi scegliere adesso tra addestramento e risposte con link, prima che Bing inizi a leggere le nuove regole a febbraio, partiamo dalla consulenza e-commerce e da un’occhiata al tuo file: scrivici.



