Schema a confronto: test con selettori fissi collegati al codice del tema, e test con Jev che sceglie il campo giusto del form con un indicatore di confidenza

Un sabato sera ho guardato dei video su Jev, il nuovo modello di TypeSafe. A un certo punto è saltato fuori che si poteva usare anche nei test automatici, e ho voluto provarlo.

Le novità mi piacciono, ma a volte faccio fatica a capire come usarle. Con l’intelligenza artificiale scrivere l’implementazione non è più il problema. Il difficile è decidere che cosa vuoi ottenere. Per questo sono partito da un problema che conosco bene, non dalla tecnologia: i test end-to-end sugli shop PrestaShop.

Che cos’è Jev

Jev, uscito a settembre 2026, non genera testo. Sceglie. Gli dai una lista di opzioni e ti dice qual è quella giusta, con una confidenza da 0 a 1. Può anche stimare la probabilità di un’affermazione o valutare qualcosa su una scala.

Si usa con una chiamata POST a https://api.typesafe.ai/v1/systemone. Costa 0,042 dollari per milione di token in ingresso, e l’output è gratuito.

Nei test automatici passiamo la vita a dire al browser “clicca questo campo, scrivi in quest’altro”. Mi sono chiesto se potesse deciderlo Jev.

La prova

Il 29 settembre 2026 ho provato Jev su uno shop PrestaShop locale, con Playwright. Il caso era la registrazione di un cliente e l’aggiunta di un nuovo indirizzo dal front-office.

Al posto dei selettori CSS fissi, ho fatto chiedere allo script a Jev “quale campo riceve il CAP?”. Jev ha scelto il campo. Lo stesso è valso per città, paese, provincia, titolo e consensi: privacy sì, newsletter no.

Questi sono i numeri:

  • 18 decisioni per cliente, quasi tutte con confidenza tra 0,98 e 1. La checkbox privacy è a 0,84, la newsletter a 0,08.
  • Primo cliente: 18,3 secondi contro 16,2 con i selettori fissi.
  • Dal secondo cliente, 16-17 decisioni su 18 sono arrivate dalla cache e il tempo è stato uguale a quello dei selettori fissi.
  • Costo: circa 9.000 token per cliente, una frazione di centesimo.
  • Risultato nel database: identico a quello della modalità con selettori fissi.

Cosa ne penso

Ho ottenuto gli stessi risultati dei selettori fissi, non migliori. Su un solo shop con un tema stabile il guadagno è piccolo.

Diventa interessante quando gli stessi test girano su più shop con temi diversi, o quando il tema cambia spesso. In quel caso non riscrivi i selettori: rilanci il test.

Quali vantaggi per chi possiede uno shop (non solo PrestaShop)

Per chi possiede uno shop, su qualsiasi piattaforma, il vantaggio potenziale è tenere sotto controllo il front-office senza dipendere dal tema. Oggi un test con selettori fissi si rompe quando il tema cambia: arriva un widget nuovo, un campo si sposta, e qualcuno deve riscrivere i selettori. Se il test descrive cosa fare con i dati e lascia a Jev il compito di trovare il campo giusto, questi cambiamenti dovrebbero pesare meno.

Da qui viene un’idea più ampia: scrivere test standard di processi e pagine, validi per qualsiasi tema grafico. Ogni proprietario li fa girare sul proprio shop, con le proprie regole, e verifica che registrazione, checkout e le altre funzioni del front-office continuino a funzionare dopo ogni modifica.

Sono due le cose che non ho ancora provato. La prova riguarda solo registrazione cliente e nuovo indirizzo, su uno shop PrestaShop con un tema. Un cambio di tema, un widget aggiunto, un campo spostato o un’altra piattaforma restano da verificare.

Un’idea da provare: il checkout indipendente dal tema

Non l’ho ancora implementata, quindi è solo un’idea.

Descrivi il test con i dati, non con i selettori: un file JSON con cliente, indirizzo e prodotto. Playwright si occupa della navigazione e Jev collega ogni dato al campo giusto.

A fine ordine, invece di cercare una classe CSS precisa, fai a Jev una domanda sì/no sul testo di conferma: “l’ordine è andato a buon fine senza errori?”. In prove su messaggi di esempio ha risposto 0,95 su un messaggio di successo e 0,01 su uno di errore, in italiano e in inglese.

Se salvi le decisioni di Jev per ogni tema e fissi la versione del modello, dopo il primo giro il test è veloce e ripetibile.

Tu da dove parti quando arriva una novità come questa? Se hai più shop PrestaShop e vuoi provare test E2E di questo tipo sui tuoi shop, scrivi a bwlab.