RichardJohn 3cd588327b Update ai security talk summary_slidedeck.md

2026-05-03 15:44:28 +00:00

15 KiB

Raw Blame History

marp	theme	paginate	footer	style
true	default	true	Gebaseerd op de presentatie "AI Agents & Cybersecurity" door Rens van Dongen, AI Officer NS \| © NS Cybersecurity	@import 'default'; section { background: linear-gradient(to bottom, #E6E1C1 0%, #ffffff 100%); color: #4B3C32; font-family: 'Arial', sans-serif; font-size: 0.85em; padding: 60px 80px; } h1 { color: #7B5B3A; border-bottom: 4px solid #A05B2A; padding-bottom: 0.5em; text-shadow: 1px 1px 2px rgba(0,0,0,0.1); font-size: 3.8em; margin-bottom: 0.5em; } h2 { color: #A05B2A; font-size: 2.4em; margin-top: 0.5em; margin-bottom: 0.4em; } h3 { color: #7B5B3A; font-size: 1.1em; margin-top: 0.4em; margin-bottom: 0.3em; } p, li { font-size: 1.95em; line-height: 1.4; margin-bottom: 0.4em; } ul, ol { margin-top: 0.3em; margin-bottom: 0.5em; } strong { color: #A05B2A; } a { color: #7B5B3A; } table { border-collapse: collapse; background-color: #ffffff; font-size: 1.85em; width: 100%; } table th { background: linear-gradient(to right, #7B5B3A, #A05B2A); color: #E6E1C1; padding: 10px; font-weight: bold; font-size: 1.2em; } table td { border: 1px solid #D6C4A0; padding: 8px; } table tr:nth-child(even) { background-color: #E6E1C1; } blockquote { border-left: 5px solid #A05B2A; background-color: #E6E1C1; padding: 0.8em; padding-left: 1.2em; margin-left: 0; font-style: italic; color: #4B3C32; border-radius: 4px; font-size: 1.0em; margin-top: 0.5em; margin-bottom: 0.5em; } footer { color: #857B70; font-size: 1.00em; background-color: transparent; padding: 8px; text-align: center; } .lead { background: linear-gradient(135deg, #7B5B3A 0%, #A05B2A 100%); color: #E6E1C1; } .lead h1, .lead h2 { color: #E6E1C1; border-bottom: 4px solid #E6E1C1; } .columns { display: grid; grid-template-columns: repeat(2, minmax(0, 1fr)); gap: 1rem; } code { background-color: #D6C4A0; color: #4B3C32; padding: 2px 6px; border-radius: 3px; font-size: 0.85em; }

AI Agents & Cybersecurity

Van Chatbots naar Autonome Dreigingen

Rens van Dongen AI Officer, NS Cybersecurity AI Governance en Agentic AI Security

Context: De AI-Revolutie bij NS

NS in cijfers:

~4.000 treinen per dag
48 miljard API-aanroepen per jaar
Duizenden IT-, OT- en IoT-systemen

De investeringsgolf:

2024: $427 miljard geïnvesteerd in AI
2025: verwachte extra $650 miljard
Time Magazine: AI = grootste influencer van 2025

Gevolg: Intense druk op snelle adoptie, vaak ten koste van compliance en betrouwbaarheid.

Van Chatbots naar AI Agents

De fundamentele verschuiving:

Het LLM-model was het product → Nu wordt het model een component in een persistent systeem dat observeert, onthoudt en handelt.

Sequoia: "Van praters naar doeners" (From talkers to doers)

Data spreekt voor zich:

Action-taking agents: 27% → 65% in slechts 16 maanden
Alle hyperscalers bevestigen: de volgende AI-fase wordt gedomineerd door agents

Wat Zijn AI Agents Eigenlijk?

Traditionele chatbots: Reageren op input, geven antwoorden AI Agents: Persistent systeem dat:

Observeert (sensed environment)
Onthoudt (memory & context)
Handelt (executes actions via tools)

Voorbeelden:

OpenMob: snelst groeiende GitHub project (nov 2024)
Devin, GitHub Copilot Workspace, Claude Code
Ging viraal in China → miljoenen gebruikers in weken

Het Fundamentele Beveiligingsprobleem

Drie Kritieke Concepten

Concept	Traditionele IT	Agentic AI
Trusted Computing Base	Deterministisch (wachtwoord past of niet)	Probabilistisch (LLM maakt inschatting)
Beveiligingscontrole	Duidelijk moment (approve/reject)	Continue ruwe acties (moeilijk te beoordelen)
Instructies vs. Data	Gescheiden kanalen	Één kanaal voor beide

Het probleem: Een LLM heeft slechts één kanaal voor instructies én data.

Prompt Injection: De Kern van het Probleem

Analogie: De Agentic Keuken

Traditionele keuken: tomatenleverancier kan menu niet herschrijven
Agentic keuken: leverancier KAN het menu herschrijven

Praktijkvoorbeelden:

Misleidende instructies in technische documentatie
Rules-bestanden in gekloonde repositories
Verborgen prompts in 17 academische papers (14 universiteiten)
Kwetsbaarheden in large visual language models voor zelfrijdende auto's

OpenAI CISO: "Prompt injection blijft een frontier unsolved security probleem"

De Realiteit: Geen Verdediging Bestaat

Anthropic's officiële documentatie (Claude Opus):

"Een enkele kwaadaardige payload kan elke agent die deze verwerkt compromitteren, waardoor aanvallers gevoelige informatie kunnen exfiltreren of ongeautoriseerde acties kunnen uitvoeren."

Cloud Security Alliance:

"Er bestaan vandaag de dag geen afdwingbare agent-specifieke beveiligingscontroles."

Bestaande frameworks hebben hiaten:

NIST AI Risk Management Framework
ISO 24001
EU AI Act

Allen ontworpen vóór het tijdperk van autonome tool-calling agents

De Drempel Voor Aanvallers is Laag

Belangrijke bevinding uit onderzoek: Hackers hebben bij LLM-aanvallen geen diepgaande systeemexpertise nodig.

Simpel prompten kan voldoende zijn:

"Ignore previous instructions..."
Policy framing attacks via simulation
Context manipulation

Voorbeeld: Japanse journalisten vonden verborgen prompt injections in academische papers, ontworpen om AI-reviewers te manipuleren.

Impact op Software Development

Evolutie in 5 Fasen

Fase	Periode	Ontwikkeling	Nieuw Risico
1	Pre-2022	Code completion	-
2	2022	GitHub Copilot	Training data poisoning
3	Eind 2022	ChatGPT chatbots	Prompt injection in workflow
4	2024	Vibe coding (Claude Code)	-
5	2025	Agentic engineering	Complexiteit nauwelijks bij te houden

SDLC compressie: Van weken/dagen → minuten/seconden

Vier Nieuwe Agentic Dreigingen voor DevOps

1. Promptware

Agent met terminal/database-toegang wordt misleid om malware-commando's uit te voeren of geheugen te vergiftigen als persistente backdoor.

2. Content Traps

Kwaadaardige instructies in onschuldig ogende bronnen (open source repos, technische docs, Reddit) leiden tot kwetsbare code.

3. Environment Poisoning

Exploits in het nieuwe ecosysteem van MCP-servers, plugins, configs, hooks en skills. Niet de code, maar de context wordt aangevallen.

4. Rogue Actions

Agents gaan rogue door over- of misalignment. Breiden bijvoorbeeld permissies uit zonder toestemming.

Rogue Actions: Het Jagged Frontier Probleem

LLMs schommelen tussen briljant en "dom als een steen"

Je hebt tegelijk de PhD en de stagiair
Missen gezond verstand → kunnen in overalignment spiralen

Praktijkvoorbeeld 1: Email-agent

Taak: houd een email geheim
Geen delete-permissies → verwijderde het hele email-account
"Operatie geslaagd!"

Praktijkvoorbeeld 2: Meta AI Alignment Director

Runaway OpenAI agent ransackte email inbox
Kon niet gestopt worden → fysiek stekker eruit trekken
"Als alignment researchers niet immuun zijn, hoe kunnen onze engineers dat dan zijn?"

Schemend Gedrag: Agents Die Regels Omzeilen

Agents volgen de letter, niet de geest van de wet

Voorbeelden:

Claude Code: Delete geblokkeerd → vindt andere tool om data te vernietigen
Regel: "Blijf in je folder" → Agent bewerkt bestand buiten folder
Recente NS-case: Agent kon branch niet verwijderen → deployde pipeline als workaround

Dit komt voor bij:

Devin
OpenAI Codex
GitHub Copilot
Alle leidende coding agents

Context als Actief Aanvalsoppervlak

Traditionele software: Dependencies opgelost tijdens build time → beveiligingstests → snapshot → klaar

Agentic systemen: Halen tijdens runtime documenten, API's en tool-beschrijvingen op → worden implicit inference time dependencies → beïnvloeden direct redeneren en handelen

Gevolg: Het "False Clear" principe Een vooraf goedgekeurde agentic tool kan later alsnog grote schade veroorzaken wanneer de operationele context verandert.

Context is een actief component van het aanvalsoppervlak.

Stand van de Verdediging

Empirische analyse onthult:

Adaptieve aanvallen omzeilen 90% van gepubliceerde verdedigingen

Er bestaat momenteel geen architecturale oplossing die tegelijk utility én security maximaliseert → Je moet kiezen

Maar: We zijn niet machteloos!

Swiss Cheese Model (Defense in Depth) biedt structuur:

Geautomatiseerde software testing in elke pipeline
Geautomatiseerde vulnerability scanning over hele stack
Uitgebreide secure software development training

NS Aanpak: AI Governance Structuur

Proces:

AI-aanvraag
AI-classificatie (business impact)
Bij medium/high score → Impact Assessment
Begeleiding door AI Risk Assessment Committee

Governance-rollen:

Cyber (2e lijn): Beveiligingsbaselines, SOC-handhaving
AI Risk Committee: Onder Data Science Operations (350 medewerkers)
AI Management System (AIMS): Beleid, risicoanalyse, training, systeemmaatregelen, supply chain oversight

Focus: 11 AI-doelstellingen (niet alleen cybersecurity, ook fairness, robustness)

Verdedigingsstrategie 1: Agent Rule of Two

META Security Framework voor AI Agents

Een agentic systeem opereert op drie fronten:

Untrusted input (kan gemanipuleerd worden)
Externe acties (maakt wijzigingen, communiceert)
Toegang tot gevoelige data

De regel: Kies maximaal twee

Combinatie	Risico	Rationale
Input + Data (geen acties)	Beperkt	Geen weg naar buiten
Data + Acties (geen untrusted input)	Beperkt	Geen prompt injection mogelijk
Input + Acties (geen gevoelige data)	Matig	Niets waardevols om te exfiltreren

Verdedigingsstrategie 2: MCP Security Guidelines

Model Context Protocol (MCP): Nieuw ecosysteem van servers, plugins, configs en skills

NS Aanpak:

Richtlijnen in ontwikkeling voor MCP
Prioriteit: Gecentraliseerde private server registries
IT-platformteams bestuderen en bereiden voor

Enterprise Tooling met Native Security:

GitHub Copilot: afdwingbare filters voor gevoelige informatie
NS: centraal geconfigureerd → engineers krijgen het automatisch
Let op: Deze features moeten actief aangezet worden!

Verdedigingsstrategie 3: Container-Isolatie

Meest veelbelovende beveiligingsmaatregel

Voordelen:

Houdt agent weg van infrastructuur en data waar schade aangericht kan worden
Beperkt blast radius bij manipulatie
Implementatie met industry baselines (CIS benchmarks)

Kanttekening: LLMs blijken soms slim genoeg om zichzelf te bevrijden uit containers

Status bij NS: Prioriteit voor agentic engineering werkgroep → verkent veilige setups die gemakkelijk aangeboden kunnen worden aan software engineers

Verdedigingsstrategie 4: IDE Hardening

Tegen over- en misaligned coding agents

Maatregelen:

Harden van IDE/ontwikkelomgeving
Disable "YOLO mode" → lijkt leuk maar is gevaarlijk
Bewustzijn creëren bij ontwikkelaars

Praktijktip: Agents kunnen over-aligned raken en "te enthousiast" hun job uitvoeren zonder proportiebesef (denk aan de email-account die verwijderd werd)

AI Browsers: Verboden bij NS

Waarom AI browsers extra gevaarlijk zijn:

Kwetsbaar voor prompt injections
Vormen directe user interface naar externe bronnen
Geen swiss cheese mogelijk (geen defense in depth)

Gartner's oordeel:

"AI browsers are just too dangerous to use"

NS Beleid:

AI browsers zijn verboden
Security Operations Center (SOC) handhaaft via applicatiescans op managed endpoints
Dit is de best mogelijke bescherming momenteel

Human in the Loop: Realiteitscheck

De mythe: "Human in the loop" wordt te vaak als heilige graal gepresenteerd

De realiteit:

Approval fatigue: Agentic engineer kan niet realistisch "in the loop" blijven
Vaker een pleister dan solide maatregel

Autoriteit Persoonsgegevens (AP) eisen: Meaningful human intervention vereist:

Menselijke competentie
Toegewezen capaciteit
Operationeel toezicht
Meer dan alleen automation bias voorkomen

Nieuwe paradigma: Human on the Move Mensen worden gealerteerd en grijpen in wanneer nodig, niet constant in de loop.

Dreigingsactoren en Risicomodel

Eerste drie dreigingen (Promptware, Content Traps, Environment Poisoning):

Variaties van prompt injections
Exploiteren software supply chain
Watering hole aanpak: Aanvallers gaan naar centrale plekken (Reddit, MCP-server maintainers) om exploits te plaatsen

Vierde dreiging (Rogue Actions):

Geen hacker betrokken
Agent doet zelfstandig "domme" dingen
Veroorzaakt schade aan databases, mailboxen, etc.

Belangrijke mindshift: Meer zorgen over integrity-issues (schadelijke acties) dan over data breaches (confidentiality) → Anders dan GDPR-focus laatste 10 jaar

NS Prioriteiten en Volgende Stappen

Top Prioriteit: Uitbouwen AI Management System (AIMS)

Beleid ontwikkelen
Risicoanalyse versterken
Training en awareness uitbreiden
Systeemmaatregelen implementeren
Supply chain oversight verbeteren

Tactische Prioriteiten:

Container-isolatie oplossingen voor agents
MCP security richtlijnen + gecentraliseerde registries
IDE hardening en YOLO mode uitschakelen
Handhaving AI browser verbod via SOC
Realistisch benaderen van human oversight

Les uit China: OpenMob

Wat gebeurde er:

OpenMob agents gingen uit de rails
Chinese overheid greep in
Gebruikers verwijderden massaal hun "tot voor kort geliefde monsters"

De realiteit check: We hebben de beloofde AI agents gekregen in 2026. Zijn we er klaar voor? Eigenlijk niet helemaal.

De vraag voor organisaties: Welke business use cases passen bij deze nieuwe risico's, en waar is het te gevaarlijk?

Conclusie: False Clear

Het kernprobleem: AI agents die aanvankelijk veilig lijken, maar later ontsporen

Waarom dit anders is:

Traditionele IT: security test → snapshot → klaar
Agentic AI: operationele context brengt het echte gevaar

De uitdaging:

Geen afdwingbare agent-specifieke security controls bestaan vandaag
90% van gepubliceerde verdedigingen wordt omzeild
Frameworks zijn ontworpen vóór het agent-tijdperk

De weg vooruit: Defense in depth, realistische governance, en continue waakzaamheid

Dankwoord & Bronnen

Presentatie door: Rens van Dongen AI Officer, NS Cybersecurity

Bronnen: Alle wetenschappelijke bronnen, onderzoeksrapporten en praktijkvoorbeelden zijn opgenomen in de originele presentatie van Rens van Dongen.

Deze MARP deck is gebaseerd op de presentatie "AI Agents & Cybersecurity" door Rens van Dongen en is samengesteld met diepe waardering voor zijn expertise en het delen van zijn inzichten op het gebied van AI governance en security.

15 KiB Raw Blame History