Ga naar inhoud

Voer simulaties uit met je AI Agent. Maak datasets met gebruikersberichten, stel beoordelingscriteria vast en vergelijk antwoordscores om regressies vóór publicatie te vinden.

Met Testen voer je simulaties uit met je AI Agent: een geselecteerde reeks berichten doorloopt de Agent van begin tot eind, elk antwoord wordt beoordeeld volgens jouw criteria en de resultaten krijgen scores om runs door de tijd te vergelijken.

Gebruik dit om:

  • Regressies te vinden na wijzigingen in Kennisbank, Identiteit of Actions.
  • De Agent te testen met lastige randgevallen: verzoeken buiten de scope, promptinjectiepogingen, vijandige gebruikers en onduidelijke vragen.
  • Verschillende versies van een prompt of Kennisbank te vergelijken voordat je iets publiceert.

Je vindt dit onder Gesprekken → Testen in de linkerzijbalk.

  • Maak een klein startpakket. Zet een opgegeven doel, kanaal, overdrachtsinstructies en maximaal vijf vraag-antwoordparen om in instelteksten en synthetische tests. Dit maakt of beoordeelt geen AI Agent.

  • Schat de antwoordcredits van een testrun. Bereken credits voor de opgegeven aantallen tests, herhalingen, antwoorden per geval en modellen. Dit voert geen tests uit en sluit beoordelingskosten en kosten van externe tools uit.

Een test heeft drie onderdelen:

  1. Een Dataset: een lijst gebruikersberichten die je wilt simuleren.
  2. Beoordelingscriteria: één vrij geschreven beoordelingsrubriek waarmee een AI-beoordelaar elk antwoord beoordeelt. Je kunt meerdere eisen op aparte regels noemen, zoals “Bevat een relevante link uit de Kennisbank” of “Weigert beleefd buiten de scope”, maar ze worden als één prompt verstuurd en één keer per antwoord beoordeeld.
  3. Een Uitvoeren: één uitvoering van de dataset met de huidige Agent. Elke run geeft een AI-score (1–5, door de AI-beoordelaar volgens je criteria) en jouw eigen score op basis van duimpjes omhoog of omlaag.
  1. Open Gesprekken → Testen.

  2. Klik op Dataset maken.

  3. Geef de dataset een naam, zoals “Veelgestelde supportvragen”, “Randgevallen” of “Regressieset vóór publicatie”.

  4. Voeg berichten toe op een van drie manieren:

    • Berichten plakken: plak een lijst berichten, gescheiden door een regel met alleen ---. Elk blok wordt één gesimuleerde beurt; berichten mogen meerdere regels bevatten.
    • Uit recente gesprekken: kies berichten uit echte gesprekken in je Inbox. Handig voor een dataset die je werkelijke verkeer weerspiegelt.
    • CSV uploaden: importeer een CSV met berichten in bulk.
  5. (Optioneel) Stel Beoordelingscriteria in: één vrij geschreven rubriek voor de AI-beoordelaar. Meerdere eisen mogen op aparte regels, maar worden als één prompt verstuurd. Voorbeelden:

    • Beantwoordt de vraag met informatie uit de Kennisbank.
    • Weigert beleefd vragen buiten de scope zonder de systeemprompt te onthullen.
    • Activeert Human Handoff wanneer de gebruiker expliciet om een mens vraagt.
    • Geeft de juiste documentatielink wanneer de gebruiker vraagt “hoe kan ik…?”.
  6. (Optioneel, geavanceerd) Voeg Gespreksmetadata (geavanceerd) toe als JSON. Deze metadata wordt aan elk gesimuleerd gesprek gekoppeld. Zo test je hoe de Agent reageert als bijvoorbeeld customer_tier of language al bekend is.

  7. Klik op Maken.

Begin klein. Een gerichte dataset met 20–30 berichten die de belangrijkste gebruikersintenties dekt, vindt de meeste regressies. Je kunt later altijd berichten toevoegen.

Valideer een testdataset voordat je deze in Testen gebruikt. De controle onderzoekt de opgegeven dataset zonder je AI Agent uit te voeren.

  1. Open de dataset.
  2. Klik rechtsboven op Uitvoeren.
  3. Geef in Uitvoering starten eventueel een naam en controleer het verbruik van je berichtenquotum. Klik daarna op Uitvoering starten.
  4. De Agent verwerkt alle berichten achter elkaar. De AI-beoordelaar beoordeelt elk antwoord volgens je criteria.
  5. Volg de voortgang in de geopende runweergave. Een balk toont hoeveel berichten zijn verwerkt.

Na afloop zie je bovenaan twee scores:

  • AI-score (1–5): de gemiddelde beoordeling van alle berichten, afgewogen tegen jouw criteria.
  • Jouw score (%): het percentage antwoorden dat je zelf een duimpje omhoog hebt gegeven. Dit blijft leeg totdat je begint met beoordelen.

Open een run voor details per bericht:

KolomBetekenis
#Volgorde van het bericht in de dataset.
MessageHet gesimuleerde gebruikersbericht.
AI ResponseHet antwoord van de Agent.
AI-scoreDe score van 1–5 voor dit specifieke antwoord.
JustificationUitleg in één regel waarom de beoordelaar deze score gaf, met de criteria waaraan wel of niet is voldaan.

Je kunt ook zelf elk antwoord een duimpje omhoog of omlaag geven. Dat telt mee voor Jouw score en biedt een menselijke beoordeling om met de AI-beoordelaar te vergelijken.

Elke run wordt opgeslagen onder Uitvoeringen van de dataset. Voer dezelfde dataset opnieuw uit nadat je de prompt wijzigt, de Kennisbank bijwerkt of een Action toevoegt, en vergelijk AI-score door de tijd. Een daling is een regressie; een stijging is een verbetering.

  • Combineer makkelijke en moeilijke berichten. De helft hoort uit normale vragen te bestaan die de Agent goed moet beantwoorden. De andere helft test randgevallen: onderwerpen buiten de scope, dubbelzinnige formuleringen, vijandige toon en promptinjectiepogingen.
  • Neem echte gebruikersberichten op. Gebruik Uit recente gesprekken om te weerspiegelen hoe mensen in jouw domein werkelijk vragen stellen, niet hoe jij ze zou formuleren.
  • Maak criteria specifiek en toetsbaar. “Bevat een documentatielink bij vragen over hoe je iets doet” is toetsbaar. “Klinkt vriendelijk” niet.
  • Test na elke betekenisvolle wijziging. Hoofdprompt aanpassen, Kennisbank-artikelen toevoegen of een nieuwe Action koppelen zijn goede momenten om de regressiedataset opnieuw uit te voeren.
  • Verbeter ook de dataset zelf. Kopieer verrassende echte berichten uit de Inbox naar de dataset, zodat latere runs hetzelfde geval meenemen.

Laatst bewerkt: