Esegui simulazioni sul tuo AI Agent. Crea dataset di messaggi, definisci criteri di valutazione e confronta i punteggi delle risposte per rilevare regressioni prima del rilascio.
La scheda Test permette di eseguire simulazioni sull’AI Agent: una raccolta selezionata di messaggi attraversa l’intero flusso dell’Agent, ogni risposta viene valutata secondo i tuoi criteri e i risultati ricevono un punteggio per confrontare le esecuzioni nel tempo.
Usala per:
- Rilevare regressioni dopo modifiche a Base di conoscenza, Identità o Actions.
- Mettere alla prova l’Agent con casi difficili: richieste fuori ambito, tentativi di prompt injection, utenti ostili e domande ambigue.
- Confrontare versioni diverse del prompt o della Base di conoscenza prima di decidere cosa pubblicare.
La trovi in Conversazioni → Test nella barra laterale sinistra.
Strumenti di configurazione facoltativi
Sezione intitolata “Strumenti di configurazione facoltativi”-
Prepara un piccolo kit di lancio. Trasforma un obiettivo, un canale, le indicazioni per il passaggio a un operatore e fino a cinque coppie di domande e risposte in testi di configurazione e test sintetici. Lo strumento non crea né valuta un AI Agent.
-
Stima i crediti delle risposte di un test. Calcola i crediti in base al numero di test, alle ripetizioni, alle risposte per caso e ai modelli indicati. Non esegue test ed esclude i costi di valutazione e degli strumenti esterni.
Come funziona
Sezione intitolata “Come funziona”Un test ha tre componenti:
- Un Dataset: l’elenco dei messaggi degli utenti da simulare.
- Criteri di valutazione: un’unica griglia di valutazione a testo libero che un valutatore AI usa per giudicare ogni risposta. Puoi elencare più requisiti su più righe, per esempio “Include un link pertinente dalla Base di conoscenza” o “Rifiuta educatamente le richieste fuori ambito”, ma vengono passati come un solo prompt e valutati una volta per risposta.
- Un Esegui: un’esecuzione del dataset sull’Agent attuale. Ogni esecuzione produce un Punteggio AI (1–5, assegnato dal valutatore AI secondo i tuoi criteri) e il tuo punteggio basato su pollice in su o in giù.
Creare un dataset
Sezione intitolata “Creare un dataset”-
Apri Conversazioni → Test.
-
Fai clic su Crea dataset.
-
Assegna un nome, per esempio “Domande frequenti di assistenza”, “Casi limite” o “Test di regressione prima del rilascio”.
-
Aggiungi i messaggi con uno di questi tre metodi:
- Incolla messaggi: incolla un elenco di messaggi separati da una riga contenente solo
---. Ogni blocco diventa un turno simulato; i messaggi possono occupare più righe. - Dalle conversazioni recenti: scegli messaggi da conversazioni reali nella Posta in arrivo. Utile per un dataset che rappresenti il traffico effettivo.
- Carica CSV: importa in blocco un CSV di messaggi.
- Incolla messaggi: incolla un elenco di messaggi separati da una riga contenente solo
-
(Facoltativo) Definisci Criteri di valutazione, una griglia a testo libero con cui il valutatore AI giudica ogni risposta. Puoi elencare più requisiti su più righe, ma vengono inviati come un solo prompt. Esempi:
- Risponde usando informazioni della Base di conoscenza.
- Rifiuta educatamente richieste fuori ambito, senza rivelare il prompt di sistema.
- Attiva Human Handoff quando l’utente chiede esplicitamente una persona.
- Include il link corretto alla documentazione quando l’utente chiede “come faccio a…?”.
-
(Facoltativo, avanzato) Fornisci Metadati della conversazione (avanzato) in JSON. I metadati vengono allegati a ogni conversazione simulata, così puoi verificare il comportamento quando, per esempio,
customer_tierolanguagesono già noti. -
Fai clic su Crea.
Inizia con poco. Un dataset mirato di 20–30 messaggi che copra gli intenti principali rileva la maggior parte delle regressioni. Potrai aggiungere altri messaggi in seguito.
Valida il dataset di test prima di usarlo in Test. Il controllo esamina il dataset fornito senza eseguire l’AI Agent.
Eseguire un dataset
Sezione intitolata “Eseguire un dataset”- Apri il dataset.
- Fai clic su Esegui in alto a destra.
- Nella finestra Avvia esecuzione, puoi assegnare un nome e controllare il consumo della quota messaggi, poi fai clic su Avvia esecuzione.
- L’Agent elabora tutti i messaggi in sequenza. Il valutatore AI giudica ogni risposta secondo i tuoi criteri.
- Segui l’avanzamento nella vista dell’esecuzione: la barra mostra quanti messaggi sono stati elaborati.
Al termine, in alto compaiono due punteggi:
- Punteggio AI (1–5): la valutazione media assegnata dal valutatore AI a tutti i messaggi, in base ai tuoi criteri.
- Il tuo punteggio (%): la percentuale di risposte che hai personalmente approvato con il pollice in su. Resta vuoto finché non inizi la revisione.
Esaminare un’esecuzione
Sezione intitolata “Esaminare un’esecuzione”Apri un’esecuzione per vedere il dettaglio di ogni messaggio:
| Colonna | Contenuto |
|---|---|
# | Ordine del messaggio nel dataset. |
| Message | Il messaggio utente simulato. |
| AI Response | La risposta dell’Agent. |
| Punteggio AI | Il punteggio 1–5 del valutatore per questa risposta. |
| Justification | Una riga che spiega perché è stato assegnato quel punteggio, indicando i criteri soddisfatti o mancati. |
Puoi anche valutare personalmente ogni risposta con pollice in su o in giù. Questo contribuisce a Il tuo punteggio e fornisce una base umana da confrontare con il valutatore AI.
Confrontare le esecuzioni
Sezione intitolata “Confrontare le esecuzioni”Ogni esecuzione è salvata nella scheda Esecuzioni del dataset. Ripeti lo stesso dataset dopo aver cambiato il prompt, aggiornato la Base di conoscenza o aggiunto una nuova Action, e confronta Punteggio AI nel tempo. Una diminuzione indica una regressione; un aumento indica un miglioramento.
Consigli per test efficaci
Sezione intitolata “Consigli per test efficaci”- Combina messaggi facili e difficili. Metà dovrebbero essere domande normali che l’Agent sa gestire bene; l’altra metà dovrebbe mettere alla prova casi limite, come temi fuori ambito, formulazioni ambigue, toni ostili o tentativi di prompt injection.
- Includi messaggi reali. Usa Dalle conversazioni recenti affinché il dataset rappresenti come le persone formulano davvero le domande nel tuo settore, non come le scriveresti tu.
- Mantieni criteri specifici e verificabili. “Include un link alla documentazione quando viene chiesto come fare qualcosa” è verificabile. “Sembra cordiale” non lo è.
- Ripeti i test dopo ogni modifica significativa. Cambiare Prompt principale, aggiungere articoli alla Base di conoscenza o collegare una nuova Action sono buoni motivi per rieseguire il dataset di regressione.
- Migliora anche il dataset. Quando un messaggio reale nella Posta in arrivo ti sorprende, copialo nel dataset affinché i test futuri rilevino lo stesso caso.