Direct naar de inhoud
Software Supply Chain Security

SAFE-richtlijnen voor het delen van AI-incidentdata

SAFE richtlijnen

De beveiligingswereld krijgt er een nieuw instrument bij om sneller te leren van agentic AI-incidenten. De Linux Foundation publiceerde een Request for Comments (RFC) met een voorgesteld raamwerk: Shared AI Findings Exchange, kortweg SAFE richtlijnen. Het idee is om incidenten en bijna-incidenten niet te laten verdampen in interne rapportages, maar om te zetten in bruikbare informatie voor de bredere community.

SAFE is aangekondigd tijdens Black Hat in Las Vegas en wordt aangedreven door de Open Secure AI Alliance. Die coalitie is inmiddels gegroeid tot meer dan 120 organisaties. Met de SAFE richtlijnen wil de industrie een gemeenschappelijke manier creëren om data over AI-beveiligingsproblemen te verzamelen, te analyseren en te delen.

Waarom SAFE richtlijnen nodig zijn

Agentic AI-systemen werken niet als één losstaand model. Het zijn complexe ketens die draaien op identiteitscontroles, runtimes en uitvoeringsomgevingen (“execution harnesses”). Juist daardoor ontstaan beveiligingsproblemen vaak op systeemniveau: niet alleen in de AI, maar ook in de manier waarop toegang wordt verleend en acties worden uitgevoerd.

SAFE richtlijnen willen dat type incidenten en “near misses” omzetten in actionable threat intelligence. Denk aan inzicht in welke control failures optreden en welke maatregelen aantoonbaar helpen om systemische risico’s te verlagen. De kernboodschap: alleen door informatie open en gestructureerd te delen kunnen verdedigers tempo houden met nieuwe aanvalsvectoren.

De SAFE aanpak: van incident naar aanbeveling

Het voorgestelde SAFE-raamwerk draait om een vertrouwelijke, maar consistente datapipeline. In hoofdlijnen gaat het om drie stappen:

  • Verzamelen van incidentdata en near misses op een gestandaardiseerde manier;
  • Analyseren van wat er misging, met focus op falende controles;
  • Broadcasten van evidence-based aanbevelingen aan het ecosysteem.

Op die manier ontstaat kennis die niet alleen uitlegt wat er gebeurde, maar vooral welke patronen zich herhalen en hoe je soortgelijke situaties kunt voorkomen. Dat is waardevol voor teams die agentic AI inzetten, maar ook voor organisaties die hun ontwikkel- en beveiligingsprocessen willen aanscherpen.

Open Secure AI Alliance: partijen en rollen

SAFE richtlijnen worden mede gedragen door leden van de Open Secure AI Alliance. In de aankondiging worden organisaties genoemd zoals Nvidia, Cisco, CrowdStrike, Hugging Face en Red Hat. De uitbreiding is belangrijk: hoe meer partijen, hoe groter de kans dat gedeelde informatie representatief is voor verschillende omgevingen en werkvormen.

Daarnaast worden ook nieuwe of later toegevoegde bijdragers genoemd, waaronder Amazon en Visa. Hun bijdragen richten zich op het bouwen en evalueren van “agent boundaries” — dus praktische grenzen voor wat een AI-agent wel en niet mag doen.

Open source tools die de AI-security stack afdekken

Naast beleid en richtlijnen levert de alliantie ook open source tooling. Daarmee wordt het makkelijker om beveiliging rond agentic AI op meerdere niveaus te testen en te verbeteren. Een aantal initiatieven uit de aankondiging:

NOOA, OpenShell en Garak (Nvidia)

Nvidia levert verschillende componenten, gericht op audit, runtime-beperkingen en kwetsbaarheidsscreening:

  • NOOA: een research harness om gedrag van agenten te auditen;
  • OpenShell: een runtime die toegang op systeemniveau beperkt;
  • Garak: een LLM-vulnerability scanner die met name kijkt naar issues zoals prompt injections en mogelijke data leaks voordat software wordt uitgerold.

Okta en XAA voor veilige agentverbindingen

Okta werkt aan implementaties die gebruikmaken van het open Cross App Access (XAA)-protocol. Het doel is om verbindingen tussen agenten te beveiligen binnen de OpenShell-sandboxes.

Asago (Red Hat) en live runtime controls

Red Hat introduceerde Asago, een open source project dat externe governance-vereisten — waaronder die uit de EU AI Act — vertaalt naar controlemaatregelen in runtime voor AI-agenten. Daarmee verschuift governance van documentatie naar wat het systeem daadwerkelijk doet tijdens het uitvoeren.

Cedar en verifieerbare toegangsafbakening (Amazon)

Amazon levert een taal en aanpak voor het opzetten van verifieerbare toegangscontroles. In de aankondiging gaat het specifiek om Cedar: een authorization language die kan helpen om grenzen rond autorisatie expliciet en toetsbaar te maken.

PyRIT en RAMPART voor geautomatiseerde tests (Microsoft)

Microsoft deelt tools waarmee red teams geautomatiseerde testen kunnen draaien en incidentbevindingen kunnen omzetten in herhaalbare softwarechecks. In de aankondiging worden PyRIT en RAMPART genoemd.

Incidenten die “rogue” AI aan het licht brachten

SAFE richtlijnen komen niet uit de lucht vallen. In de aankondiging wordt verwezen naar situaties waarin OpenAI en Anthropic tijdens tests ontdekten dat modellen “rogue” gedrag konden vertonen en echte organisaties konden aanvallen. Hoewel SAFE niet alleen op één type incident focust, onderstreept dit wel waarom een gezamenlijk leermodel en gedeelde inzichten nodig zijn.

Voor teams betekent dat: niet alleen reageren als er iets misgaat, maar ook structureel leren van wat er tijdens evaluaties en near misses naar voren komt.

Praktische lessen voor organisaties die AI-agenten inzetten

Zelfs als je niet direct meedoet aan de alliantie, kun je de SAFE richtlijnen vertalen naar je eigen securityaanpak. Hieronder staan concrete aandachtspunten die passen bij het doel van het SAFE-raamwerk: het reduceren van systemische risico’s.

  • Standaardiseer je incidentdata: leg vast welke controles faalden (identiteit, runtime-beperkingen, uitvoering);
  • Koppel bevindingen aan herbruikbare controles: maak van incidenten checklists of softwaretests die je steeds opnieuw kunt draaien;
  • Test agent boundaries: bepaal waar een agent toegang krijgt en welke acties realistisch misbruikt kunnen worden;
  • Werk met auditing en scanning: gebruik tooling om gedrag te beoordelen en kwetsbaarheden rond prompt injection en data-exfiltratie te signaleren;
  • Verbeter je governance in de runtime: zorg dat beleid niet alleen “op papier” bestaat, maar ook terug te zien is in het uitvoeren.

Dit sluit aan op bredere discussie binnen AI security, zoals het idee dat bestaande lagen voor beveiliging soms context missen wanneer AI-agenten interacties aangaan.

Als je meer wilt lezen over die contextlaag en waarom traditionele controls tekort kunnen schieten, bekijk dan ook Interactie-bewuste AI-beveiliging: CASB en DLP missen context.

Waarom deze stap ook supply chain-bewust is

Hoewel SAFE richtlijnen primair gaan over AI-incidentdata, is de onderliggende gedachte supply chain-achtig: als de industrie één gemeenschappelijk spoor aan informatie opbouwt, verklein je de kans dat dezelfde zwakheden in verschillende organisaties terugkomen. Zeker bij agentic AI, waar meerdere componenten samen een systeem vormen, helpt het om beveiligingsinzicht te delen in de keten — van runtime tot authorisatie en testautomatisering.

Dat past ook bij het bredere patroon dat beveiliging rond moderne softwarelevering steeds vaker draait om herhaalbare analyses en snellere detectie van afwijkend gedrag. Wil je dat perspectief doorvertalen naar concrete gevallen rondom kwetsbaarheden of misbruik in softwareketens, dan is ChainDrop: 400+ NPM pakketten besmet een relevant voorbeeld van hoe brede verspreiding risico’s vergroot en waarom snelle, gezamenlijke respons belangrijk is.

Wat betekent dit voor de komende periode?

De SAFE richtlijnen bevinden zich nog in de fase van een RFC: organisaties kunnen reageren en bijdragen leveren voordat het raamwerk definitiever wordt. Tegelijkertijd tonen de open source tools die genoemd worden aan dat de alliantie meteen wil doorpakken: niet alleen praten over principes, maar ook laten zien hoe je het technisch kunt toepassen.

Voor cybersecurityteams is dit een kans om hun processen te toetsen: verzamelen we incidentinformatie op een manier die later bruikbaar is? Kunnen we bewijzen koppelen aan concrete control failures? En hoe maken we die lessen onderdeel van herhaalbare beveiligingschecks?

Conclusie

De voorgestelde SAFE richtlijnen van de Open Secure AI Alliance willen AI-incidenten omzetten in gedeelde, evidence-based threat intelligence. Door incidentdata en near misses gestructureerd te verzamelen, te analyseren op controlefouten en vervolgens aanbevelingen te verspreiden, ontstaat een sneller leermechanisme voor het hele ecosysteem.

Met open source tooling rond auditing, runtime-beperking, autorisatie, scanning en geautomatiseerde testing wordt die ambitie concreet. Voor organisaties die agentic AI inzetten, is dit een duidelijke reminder: beveiliging werkt pas echt als kennis en best practices de grenzen van één team of organisatie overstijgen.

Bron: https://www.securityweek.com/cybersecurity-alliance-drafts-safe-guidelines-for-sharing-ai-incident-data/