Direct naar de inhoud
AI-agenten security

OpenAI compaction: omzeil verborgen reasoning

OpenAI compaction

Onderzoekers van beveiligingsbedrijf Xint hebben laten zien dat OpenAI compaction misbruikt kan worden om verborgen reasoning uit een model te kopiëren naar leesbare tekst. Het gaat om een techniek die voortbouwt op eerdere inzichten rond het stelen en “replayen” van interne redeneerstappen van reasoning-modellen.

OpenAI bevestigde het probleem en bracht een fix uit op 23 oktober. Volgens Xint is de demonstratie in de eerste plaats bedoeld om een zwakke plek in de bescherming aan te tonen, en niet om aan te tonen dat iemands reasoning van andere gebruikers op grote schaal kan worden gekopieerd.

Wat is OpenAI compaction precies?

OpenAI compaction is een functie die bedoeld is om een lange conversatie samen te vatten naar een kleiner, compact “item”. Dat item blijft context dragen, zodat het model in vervolgstappen door kan werken zonder dat alles opnieuw volledig hoeft te worden meegenomen.

In de bronpraktijk draait dit om reasoning-modellen die eerst door een vraag heen redeneren en daarna antwoorden. Waar die modellen doorgaans interne redeneerstappen afschermen, ontstaat er bij compaction een extra stap waarin die beschermde informatie wordt verwerkt.

Waarom gaat dit over ‘verborgen reasoning’?

Bij reasoning-modellen wordt de interne redenering niet als gewoon, leesbaar tekstfragment teruggegeven. In plaats daarvan blijft die informatie verborgen in een vorm die gebruikers niet rechtstreeks kunnen inzien. Dit is volgens OpenAI en anderen belangrijk voor het beperken van distillation—het trainen van goedkopere modellen op de outputs van een sterker model.

Verborgen reasoning is voor concurrenten bovendien waardevoller dan alleen het uiteindelijke antwoord, omdat het inzicht geeft in hoe het model tot een uitkomst komt. Juist die stap is daarom een doelwit geworden.

Wat toonde Xint aan met OpenAI compaction?

Xint gebruikte de aanpak tegen gpt-5.6-sol, een van de reasoning-modellen van OpenAI. De onderzoekers stelden zelf puzzels en verzoeken op (met wiskunde- en algoritmevragen) en kregen van het model een beschermde, versleutelde reasoning-output terug.

Daarna voerden ze de compactionstap uit op hetzelfde model. Het kritieke punt: Xint gaf de instructie mee om de reasoning “woord-voor-woord” te kopiëren naar het compact gemaakte item.

Om filters te omzeilen die mogelijk ingrijpen op gebruikersinstructies, veranderden de onderzoekers volgens de beschrijving ook elke spatie naar een tab. Dat detail hielp om de instructie door de betreffende controles te laten lopen.

Hoe werd de gekopieerde reasoning vervolgens leesbaar?

Nadat Xint de gecopypaste reasoning had opgeslagen in een compact item, zette het onderzoek een volgende stap: het compact-item kon tussen modellen worden doorgegeven. Vervolgens gaf Xint dat item door aan twee goedkopere modellen: gpt-4.1 en gpt-4o.

De onderzoekers vroegen elk van die modellen om het gegeven opnieuw exact te herhalen. In hun tests werd de inhoud uiteindelijk als tekst gereproduceerd, waarmee de beschermde reasoning feitelijk naar leesbare vorm werd overgezet.

Paste dit in een eerdere beveiligingsaanpak?

Ja. De methode raakte aan een bekende verdedigingslinie: in augustus hadden onderzoekers met een paper over “Stolen Thoughts” laten zien dat versleutelde reasoning van een sterk model kon worden “replayed” naar een zwakker model binnen hetzelfde bedrijf. Dat zwakkere model zou de interne redenering dan als gewone tekst herhalen.

OpenAI en anderen blokkeerden later een dergelijke cross-model replay. Xint stelt echter dat hun compaction-route die blokkade omzeilt, omdat de compactionstap op dezelfde modelkant draait als waar de reasoning vandaan komt. Daardoor triggert de aanpak volgens de beschrijving niet de cross-model controle die eerder werd ingezet.

Geen bewijs dat het direct ‘andere gebruikers’ treft

Xint geeft ook nuance. De onderzoekers konden niet aantonen dat de gekopieerde tekst exact woord-voor-woord overeenkomt met de echte interne reasoning, omdat ze nooit beschikten over het originele materiaal om te vergelijken.

Wel onderzochten ze consistentie: twee goedkopere modellen herhaalden het item op dezelfde manier. Dat wijst erop dat de kopieeractie waarschijnlijk niet vol fouten zit. Tegelijk blijft open dat compaction de interne inhoud mogelijk licht herformuleert.

Opbouw vanuit eerdere research: GhostCompact

De beschreven aanvalsidee is niet uit het niets ontstaan. Xint verwijst naar eerder werk rond GhostCompact, waaruit bleek dat de compactionstap kan worden gestuurd om taken uit te voeren die door de aanvaller zijn gekozen.

In deze context zegt Xint ook code te hebben gepubliceerd in een GitHub-repository, waarmee de demonstratie beter te valideren is door anderen.

Wat veranderde er na de fix?

OpenAI bevestigde het probleem en repareerde het op 23 oktober. Volgens de onderzoekers ging het om een server-side correctie, waardoor ontwikkelaars die op de API bouwen geen aanpassingen hoeven door te voeren.

Xint noemt de fix een “undisclosed fix” en meldt dat OpenAI hen een beloning van $6.000 heeft uitgekeerd voor het melden en toelichten.

Moet je als organisatie nu direct actie ondernemen?

Of je “direct” iets moet doen hangt af van hoe je gebruikmaakt van OpenAI reasoning en compaction in je eigen toepassingen. De kernpunten om mee te nemen:

  • De kwetsbaarheid is volgens OpenAI opgelost, dus het is geen onbeperkte, onbehandelde dreiging meer.
  • De onderliggende les blijft relevant: elke server-side stap die interne informatie leest en vervolgens gebruikersinstructies verwerkt, kan een risico vormen.
  • Alleen testen is niet genoeg: veel van dit soort zwaktes ontstaan in combinaties van functies (zoals samenvatten + herinput + modeldoorgifte).

Als je AI-oplossingen inzet voor gevoelige processen—bijvoorbeeld waar interne context of beveiligingsgrenzen belangrijk zijn—zet dan ook je monitoring en inputbeleid op orde, en controleer hoe “samenvatten” of “compaction” in je workflow wordt gebruikt.

Waar past dit in breder AI-beveiligingsnieuws?

Dit onderwerp sluit aan bij een bredere trend waarin aanvallen niet alleen gericht zijn op klassieke datalekken of prompt-injectie, maar ook op het omzeilen van interne beschermlagen in AI-systemen. Eerder zagen we bijvoorbeeld vergelijkbare aandacht voor het beschermen en analyseren van bewijs en context in security-omgevingen met AI—zie AI SOC: bewijs tussen alerts voor context.
Daarnaast blijft het van belang om te weten waar modellen zwakheden kunnen introduceren in ketens van verwerking en doorsturing.

Is GPT-6 Astra ook geraakt?

Xint testte alleen gpt-5.6-sol en keek niet specifiek naar GPT-6 Astra. Daardoor is niet bekend of dit model ook exact dezelfde kwetsbaarheid kent.

Evenmin is het zeker of iemand de methode al vóór het sluiten van de route heeft gebruikt. Xint betoogt wel dat het probleem conceptueel groter is dan één enkel pad: zolang er een server-side stap bestaat die decrypted reasoning leest en vervolgens opdrachten van een gebruiker volgt, kan dat in theorie weer een zwakke plek zijn.

Waarom dit onderwerp extra gevoelig ligt

OpenAI houdt raw reasoning verborgen om meerdere redenen. Naast distillation gaat het ook om het voorkomen dat interne redeneerstappen worden misbruikt als “meer gedetailleerde” bron voor concurrenten. Dat maakt dit soort onderzoek gevoelig: het is niet zomaar een crash of foutje, maar raakt direct aan de grenzen van modelbescherming.

In de achtergrond speelt bovendien bredere geopolitieke AI-beveiligingsdruk. In de bron wordt genoemd dat ook andere partijen rapporteren over pogingen—met een link naar China-based labs—in het algemeen gericht op verborgen reasoning van Amerikaanse modellen. Die rapporten worden echter niet gekoppeld aan de specifieke compaction-methode van Xint.

Conclusie

OpenAI compaction bleek volgens Xint te misbruiken om verborgen reasoning uit een model over te zetten naar leesbare tekst, door een combinatie van samenvatten, kopiëren en vervolgens doorgeven aan andere modellen. OpenAI bevestigde het en bracht op 23 oktober een fix uit.

Voor teams die AI integreren is de belangrijkste takeaway: beschermlagen rond interne reasoning zijn niet alleen technisch, maar ook procedureel. Functies die context samenvatten en informatie doorgeven, moeten zorgvuldig worden ontworpen en gevalideerd tegen ketenaanvallen.

Bron: https://thehackernews.com/2026/10/openai-compaction-flaw-let-researchers.html