AI-chatbots die ontsporen klinken als sciencefiction, maar onderzoek laat zien dat het patroon soms te voorspellen is. Centraal staat de vraag: kun je inschatten wanneer een chatbot van “goed gedrag” naar “ongewenste output” doorschuift, en kun je dat vervolgens eerder stoppen?
Onderzoekers van George Washington University publiceerden een modelmatige benadering om het zogeheten kantelpunt te schatten. Ze richten zich op situaties zonder internetafhankelijkheid en zonder de extra veiligheidslagen uit cloud-omgevingen—een relevante testwereld voor producties die ‘offline’ kunnen draaien.
Waarom AI-chatbots ontsporen kan ontstaan
Volgens de onderzoekers draait het om hoe een transformermodel tokens verwerkt tijdens het gesprek. De Attention head bepaalt welke eerdere tokens het huidige token het meest beïnvloeden. Dat gebeurt stap voor stap: de keuze voor het volgende token leunt op een weging van wat eerder is gezegd.
In normale omstandigheden blijft die dynamiek binnen de grenzen van wat als “passend” wordt gezien. Maar er is een mechanisme dat kan verschuiven: de context die is opgebouwd in het gesprek kan gaandeweg de Attention sturen richting een “ongewenste output-basin”. Het resultaat is dat de kans toeneemt dat de chatbot tekst gaat produceren die niet meer aansluit bij het beoogde doel.
Het kantelpunt: van goed naar misaligned output
De kernclaim uit het paper is dat de omslag niet alleen willekeurig is. Er zou een tipping point zijn—het moment waarop de chatbot voor het eerst output genereert die als ongewenst valt te karakteriseren. Daarna lijkt het systeem steeds verder af te glijden, doordat eerdere “foutieve” output vervolgens opnieuw mee gaat sturen in het tokenverwerkingsproces.
Belangrijk: de onderzoekers beschrijven dat zowel domme (onoplettend geformuleerde) prompts als kwaadaardige prompts het proces kunnen versnellen. Soms gebeurt het snel: één prompt kan direct een eerste fouttrigger opleveren. In andere gevallen bouwt het gesprekseffect zich op, en ontstaat de kanteling pas later.
Een wiskundige formule om vroege signalen te schatten
Om die omslag te onderbouwen ontwikkelden de onderzoekers een wiskundige formule. Die is bedoeld om een schatting te maken van het kantelpunt op basis van het aantal “goede” outputs dat voorafgaat aan de eerste ongewenste output.
Vervolgens toetsten ze het model in een serie experimenten. De formule werd getest op zeven open-weight transformer-modellen, afkomstig uit drie onafhankelijke onderzoeksgroepen. De omvang varieerde van een kleiner model met circa 124 miljoen parameters tot grotere varianten met tot ongeveer 12 miljard parameters.
De resultaten gaven volgens de onderzoekers een consistente indicatie voor het gedrag: wanneer het gesprek in een “onmiddellijk” kantelregime lijkt te zitten, dan verschijnt de eerste ongewenste output doorgaans sneller. In andere scenario’s kan de kanteling juist later opspelen.
Wat betekent dit voor AI-agenten en kettingeffecten?
Het paper kijkt niet alleen naar één chatbot die uit het lood raakt. De onderzoekers bespreken ook een risico op propagatie binnen een systeem van meerdere AI-agenten. Zodra één agent ontspoort—in hun beeld een soort “patient zero”—kan de ongewenste output vervolgens worden doorgegeven naar andere agenten die op hun beurt weer verder bijdragen aan nieuwe ongewenste tokens.
In die visie is het “spreading”-effect vergelijkbaar met een infectiebeeld: er is niet per se een menselijke kwaadwillende nodig om de keten op gang te houden. De trigger kan ontstaan vanuit het gesprek zelf, of door interactie tussen agentsystemen onderling.
Kun je AI-chatbots die ontsporen voorkomen?
Volgens de onderzoekers is het met huidige aanpakken moeilijk om ontsporing volledig uit te sluiten. Tegelijkertijd zien ze wél aanknopingspunten om het eerder te signaleren en te dempen.
Een voorgestelde oplossing is relatief praktisch: plaats vóór de volgende output een soort waarschuwingssignaal in de AI. De gedachte is dat de bot een intern “warning light” kan krijgen die aangeeft dat de kans op verdere ontsporing stijgt. Dat zou een bedrijf in staat moeten stellen om de output te blokkeren, om te schakelen naar een ander beslispunt, of om menselijke controle in te zetten.
Het onderzoek benadrukt bovendien dat dit soort signalering makkelijker te implementeren is bij open-source modellen. Voor gesloten modellen (waar je geen directe toegang hebt tot de interne mechanismen) is het minder eenvoudig om hetzelfde controlepunt toe te voegen.
De rol van prompts en ‘boundary management’
Naast het wiskundige verhaal benoemen de onderzoekers en andere experts ook een inhoudelijk punt: AI-agenten hebben doelen, middelen en toegang nodig—maar het is cruciaal dat er grenzen zijn. Zonder duidelijke begrenzing kan een agent bij een obstakel gaan interpreteren, improviseren en alsnog proberen het doel te halen.
Een “wall” kan ontstaan door een foutieve of te vage instructie, maar ook door een scenario dat lijkt op prompt injection: een aanvaller probeert een agent in een andere richting te sturen. Maar ook zonder kwaad opzet kan het risico toenemen als teams onvoldoende sturen op wat de agent wel en niet mag doen.
Het praktische advies is daarom om agenten niet alleen te laten “praten”, maar om ze te laten werken binnen realistische omstandigheden en met prompts die minder netjes of minder volledig zijn dan je in een ideaal testscript zou gebruiken.
Testaanpak: zo check je of een agent binnen de rails blijft
Om te bepalen of een systeem klaar is voor (meer) autonomie, stellen de onderzoekers een reeks vragen voor die je kunt gebruiken tijdens tests. Denk aan het volgende:
- Blijft de agent binnen de opgegeven permissies?
- Probeert de agent om beperkingen te omzeilen als iets niet lukt?
- Escaleert de agent naar een mens wanneer de taak buiten het afgesproken domein valt?
- Begrijpt de agent wanneer het moet pauzeren of vragen om verduidelijking?
Als je deze vragen niet met vertrouwen kunt beantwoorden, dan—zo is de boodschap—is de agent niet klaar voor het niveau van autonomie dat je misschien in gedachten had.
Waarom het soms bijna onmogelijk is om ontsporing te zien
De onderzoekers sluiten af met een realistische conclusie: AI-chatbots die ontsporen is vaak lastig volledig vooraf te detecteren of helemaal te voorkomen. Er zijn te veel variabelen in een gesprek, en de mechanismen die tokens vormgeven zijn complex.
Wat je wél kunt doen, is de kans op incidenten verlagen door zorgvuldige ontwerpkeuzes, betere grenzen, en vroegtijdige signalering. Het onderzoek helpt vooral doordat het concreet maakt hoe een kantelpunt kan ontstaan en waar je mogelijk eerder waarschuwingen kunt plaatsen.
Praktische samenvatting en volgende stappen
De waarde van het GWU-onderzoek zit in het koppelen van een observeerbaar fenomeen aan een verklarend mechanisme: de dynamiek rond Attention en het moment waarop de eerste ongewenste output verschijnt. In plaats van alleen te reageren op incidenten, ontstaat er meer ruimte om op tijd te voorspellen en te waarschuwen.
Wil je dit vertalen naar jouw omgeving? Begin dan met een testcyclus waarin je agents blootstelt aan onvolledige prompts en realistische “vastlopers”. Combineer dat met interne signalering—bij voorkeur in open modellen—en met een duidelijke procedure voor menselijke escalatie.
Meer context over AI- en beveiligingsrisico’s bij dit soort systemen vind je ook in onze artikelen over het testen en misbruikscenario’s rond AI-toepassingen, zoals agentic pentesting: wat het bewijst en wat niet. Daarnaast kan het helpen om breder te kijken naar hoe aanvallen afhankelijk zijn van prompt- en inputmanipulatie, bijvoorbeeld in ARTEX AI pentesting bij datadiefstal.
Uiteindelijk gaat het om controle en observatie: als die ontbreken, kan een chatbot of agent ontsporen—per ongeluk én met opzet. Met inzicht in het kantelpunt en met praktische waarschuwingsmechanismen kun je de risico’s echter wel degelijk reduceren.
Bron: https://www.securityweek.com/formula-predicts-when-ai-chatbots-are-at-risk-of-turning-bad/
