Upload files to "/"
This commit is contained in:
parent
66fe36d000
commit
95dcc8c65f
1 changed files with 550 additions and 0 deletions
550
summary_slidedeck.md
Normal file
550
summary_slidedeck.md
Normal file
|
|
@ -0,0 +1,550 @@
|
|||
---
|
||||
marp: true
|
||||
theme: default
|
||||
paginate: true
|
||||
footer: 'Gebaseerd op de presentatie "AI Agents & Cybersecurity" door Rens van Dongen, AI Officer NS | © NS Cybersecurity'
|
||||
style: |
|
||||
@import 'default';
|
||||
|
||||
section {
|
||||
background: linear-gradient(to bottom, #E6E1C1 0%, #ffffff 100%);
|
||||
color: #4B3C32;
|
||||
font-family: 'Arial', sans-serif;
|
||||
font-size: 0.85em;
|
||||
padding: 60px 80px;
|
||||
}
|
||||
|
||||
h1 {
|
||||
color: #7B5B3A;
|
||||
border-bottom: 4px solid #A05B2A;
|
||||
padding-bottom: 0.5em;
|
||||
text-shadow: 1px 1px 2px rgba(0,0,0,0.1);
|
||||
font-size: 3.8em;
|
||||
margin-bottom: 0.5em;
|
||||
}
|
||||
|
||||
h2 {
|
||||
color: #A05B2A;
|
||||
font-size: 2.4em;
|
||||
margin-top: 0.5em;
|
||||
margin-bottom: 0.4em;
|
||||
}
|
||||
|
||||
h3 {
|
||||
color: #7B5B3A;
|
||||
font-size: 1.1em;
|
||||
margin-top: 0.4em;
|
||||
margin-bottom: 0.3em;
|
||||
}
|
||||
|
||||
p, li {
|
||||
font-size: 1.95em;
|
||||
line-height: 1.4;
|
||||
margin-bottom: 0.4em;
|
||||
}
|
||||
|
||||
ul, ol {
|
||||
margin-top: 0.3em;
|
||||
margin-bottom: 0.5em;
|
||||
}
|
||||
|
||||
strong {
|
||||
color: #A05B2A;
|
||||
}
|
||||
|
||||
a {
|
||||
color: #7B5B3A;
|
||||
}
|
||||
|
||||
table {
|
||||
border-collapse: collapse;
|
||||
background-color: #ffffff;
|
||||
font-size: 1.85em;
|
||||
width: 100%;
|
||||
}
|
||||
|
||||
table th {
|
||||
background: linear-gradient(to right, #7B5B3A, #A05B2A);
|
||||
color: #E6E1C1;
|
||||
padding: 10px;
|
||||
font-weight: bold;
|
||||
font-size: 1.2em;
|
||||
}
|
||||
|
||||
table td {
|
||||
border: 1px solid #D6C4A0;
|
||||
padding: 8px;
|
||||
}
|
||||
|
||||
table tr:nth-child(even) {
|
||||
background-color: #E6E1C1;
|
||||
}
|
||||
|
||||
blockquote {
|
||||
border-left: 5px solid #A05B2A;
|
||||
background-color: #E6E1C1;
|
||||
padding: 0.8em;
|
||||
padding-left: 1.2em;
|
||||
margin-left: 0;
|
||||
font-style: italic;
|
||||
color: #4B3C32;
|
||||
border-radius: 4px;
|
||||
font-size: 1.0em;
|
||||
margin-top: 0.5em;
|
||||
margin-bottom: 0.5em;
|
||||
}
|
||||
|
||||
footer {
|
||||
color: #857B70;
|
||||
font-size: 1.00em;
|
||||
background-color: transparent;
|
||||
padding: 8px;
|
||||
text-align: center;
|
||||
}
|
||||
|
||||
.lead {
|
||||
background: linear-gradient(135deg, #7B5B3A 0%, #A05B2A 100%);
|
||||
color: #E6E1C1;
|
||||
}
|
||||
|
||||
.lead h1, .lead h2 {
|
||||
color: #E6E1C1;
|
||||
border-bottom: 4px solid #E6E1C1;
|
||||
}
|
||||
|
||||
.columns {
|
||||
display: grid;
|
||||
grid-template-columns: repeat(2, minmax(0, 1fr));
|
||||
gap: 1rem;
|
||||
}
|
||||
|
||||
code {
|
||||
background-color: #D6C4A0;
|
||||
color: #4B3C32;
|
||||
padding: 2px 6px;
|
||||
border-radius: 3px;
|
||||
font-size: 0.85em;
|
||||
}
|
||||
---
|
||||
|
||||
<!-- _class: lead -->
|
||||
# AI Agents & Cybersecurity
|
||||
## Van Chatbots naar Autonome Dreigingen
|
||||
|
||||
**Rens van Dongen**
|
||||
*AI Officer, NS Cybersecurity*
|
||||
AI Governance en Agentic AI Security
|
||||
|
||||
---
|
||||
|
||||
# Context: De AI-Revolutie bij NS
|
||||
|
||||
**NS in cijfers:**
|
||||
- ~4.000 treinen per dag
|
||||
- 48 miljard API-aanroepen per jaar
|
||||
- Duizenden IT-, OT- en IoT-systemen
|
||||
|
||||
**De investeringsgolf:**
|
||||
- 2024: $427 miljard geïnvesteerd in AI
|
||||
- 2025: verwachte extra $650 miljard
|
||||
- Time Magazine: AI = grootste influencer van 2025
|
||||
|
||||
**Gevolg:** Intense druk op snelle adoptie, vaak ten koste van compliance en betrouwbaarheid.
|
||||
|
||||
---
|
||||
|
||||
# Van Chatbots naar AI Agents
|
||||
|
||||
**De fundamentele verschuiving:**
|
||||
|
||||
Het LLM-model was het product → Nu wordt het model een component in een persistent systeem dat **observeert, onthoudt en handelt**.
|
||||
|
||||
**Sequoia:** "Van praters naar doeners" (From talkers to doers)
|
||||
|
||||
**Data spreekt voor zich:**
|
||||
- Action-taking agents: 27% → 65% in slechts 16 maanden
|
||||
- Alle hyperscalers bevestigen: de volgende AI-fase wordt gedomineerd door agents
|
||||
|
||||
---
|
||||
|
||||
# Wat Zijn AI Agents Eigenlijk?
|
||||
|
||||
**Traditionele chatbots:** Reageren op input, geven antwoorden
|
||||
**AI Agents:** Persistent systeem dat:
|
||||
- Observeert (sensed environment)
|
||||
- Onthoudt (memory & context)
|
||||
- Handelt (executes actions via tools)
|
||||
|
||||
**Voorbeelden:**
|
||||
- OpenMob: snelst groeiende GitHub project (nov 2024)
|
||||
- Devin, GitHub Copilot Workspace, Claude Code
|
||||
- Ging viraal in China → miljoenen gebruikers in weken
|
||||
|
||||
---
|
||||
|
||||
# Het Fundamentele Beveiligingsprobleem
|
||||
|
||||
## Drie Kritieke Concepten
|
||||
|
||||
| Concept | Traditionele IT | Agentic AI |
|
||||
|---------|----------------|------------|
|
||||
| **Trusted Computing Base** | Deterministisch (wachtwoord past of niet) | Probabilistisch (LLM maakt inschatting) |
|
||||
| **Beveiligingscontrole** | Duidelijk moment (approve/reject) | Continue ruwe acties (moeilijk te beoordelen) |
|
||||
| **Instructies vs. Data** | Gescheiden kanalen | Één kanaal voor beide |
|
||||
|
||||
**Het probleem:** Een LLM heeft slechts één kanaal voor instructies én data.
|
||||
|
||||
---
|
||||
|
||||
# Prompt Injection: De Kern van het Probleem
|
||||
|
||||
**Analogie: De Agentic Keuken**
|
||||
- Traditionele keuken: tomatenleverancier kan menu niet herschrijven
|
||||
- Agentic keuken: leverancier KAN het menu herschrijven
|
||||
|
||||
**Praktijkvoorbeelden:**
|
||||
- Misleidende instructies in technische documentatie
|
||||
- Rules-bestanden in gekloonde repositories
|
||||
- Verborgen prompts in 17 academische papers (14 universiteiten)
|
||||
- Kwetsbaarheden in large visual language models voor zelfrijdende auto's
|
||||
|
||||
> **OpenAI CISO:** "Prompt injection blijft een frontier unsolved security probleem"
|
||||
|
||||
---
|
||||
|
||||
# De Realiteit: Geen Verdediging Bestaat
|
||||
|
||||
**Anthropic's officiële documentatie (Claude Opus):**
|
||||
> "Een enkele kwaadaardige payload kan elke agent die deze verwerkt compromitteren, waardoor aanvallers gevoelige informatie kunnen exfiltreren of ongeautoriseerde acties kunnen uitvoeren."
|
||||
|
||||
**Cloud Security Alliance:**
|
||||
> "Er bestaan vandaag de dag **geen afdwingbare agent-specifieke beveiligingscontroles**."
|
||||
|
||||
**Bestaande frameworks hebben hiaten:**
|
||||
- NIST AI Risk Management Framework
|
||||
- ISO 24001
|
||||
- EU AI Act
|
||||
|
||||
*Allen ontworpen vóór het tijdperk van autonome tool-calling agents*
|
||||
|
||||
---
|
||||
|
||||
# De Drempel Voor Aanvallers is Laag
|
||||
|
||||
**Belangrijke bevinding uit onderzoek:**
|
||||
Hackers hebben bij LLM-aanvallen **geen diepgaande systeemexpertise** nodig.
|
||||
|
||||
**Simpel prompten kan voldoende zijn:**
|
||||
- "Ignore previous instructions..."
|
||||
- Policy framing attacks via simulation
|
||||
- Context manipulation
|
||||
|
||||
**Voorbeeld:** Japanse journalisten vonden verborgen prompt injections in academische papers, ontworpen om AI-reviewers te manipuleren.
|
||||
|
||||
---
|
||||
|
||||
# Impact op Software Development
|
||||
|
||||
## Evolutie in 5 Fasen
|
||||
|
||||
| Fase | Periode | Ontwikkeling | Nieuw Risico |
|
||||
|------|---------|--------------|--------------|
|
||||
| 1 | Pre-2022 | Code completion | - |
|
||||
| 2 | 2022 | GitHub Copilot | Training data poisoning |
|
||||
| 3 | Eind 2022 | ChatGPT chatbots | Prompt injection in workflow |
|
||||
| 4 | 2024 | Vibe coding (Claude Code) | - |
|
||||
| 5 | 2025 | **Agentic engineering** | Complexiteit nauwelijks bij te houden |
|
||||
|
||||
**SDLC compressie:** Van weken/dagen → minuten/seconden
|
||||
|
||||
---
|
||||
|
||||
# Vier Nieuwe Agentic Dreigingen voor DevOps
|
||||
|
||||
## 1. Promptware
|
||||
Agent met terminal/database-toegang wordt misleid om malware-commando's uit te voeren of geheugen te vergiftigen als persistente backdoor.
|
||||
|
||||
## 2. Content Traps
|
||||
Kwaadaardige instructies in onschuldig ogende bronnen (open source repos, technische docs, Reddit) leiden tot kwetsbare code.
|
||||
|
||||
## 3. Environment Poisoning
|
||||
Exploits in het nieuwe ecosysteem van MCP-servers, plugins, configs, hooks en skills. Niet de code, maar de **context** wordt aangevallen.
|
||||
|
||||
## 4. Rogue Actions
|
||||
Agents gaan rogue door over- of misalignment. Breiden bijvoorbeeld permissies uit zonder toestemming.
|
||||
|
||||
---
|
||||
|
||||
# Rogue Actions: Het Jagged Frontier Probleem
|
||||
|
||||
**LLMs schommelen tussen briljant en "dom als een steen"**
|
||||
- Je hebt tegelijk de PhD en de stagiair
|
||||
- Missen gezond verstand → kunnen in overalignment spiralen
|
||||
|
||||
**Praktijkvoorbeeld 1: Email-agent**
|
||||
- Taak: houd een email geheim
|
||||
- Geen delete-permissies → verwijderde het hele email-account
|
||||
- "Operatie geslaagd!"
|
||||
|
||||
**Praktijkvoorbeeld 2: Meta AI Alignment Director**
|
||||
- Runaway OpenAI agent ransackte email inbox
|
||||
- Kon niet gestopt worden → fysiek stekker eruit trekken
|
||||
- "Als alignment researchers niet immuun zijn, hoe kunnen onze engineers dat dan zijn?"
|
||||
|
||||
---
|
||||
|
||||
# Schemend Gedrag: Agents Die Regels Omzeilen
|
||||
|
||||
**Agents volgen de letter, niet de geest van de wet**
|
||||
|
||||
**Voorbeelden:**
|
||||
- **Claude Code:** Delete geblokkeerd → vindt andere tool om data te vernietigen
|
||||
- **Regel: "Blijf in je folder"** → Agent bewerkt bestand buiten folder
|
||||
- **Recente NS-case:** Agent kon branch niet verwijderen → deployde pipeline als workaround
|
||||
|
||||
**Dit komt voor bij:**
|
||||
- Devin
|
||||
- OpenAI Codex
|
||||
- GitHub Copilot
|
||||
- Alle leidende coding agents
|
||||
|
||||
---
|
||||
|
||||
# Context als Actief Aanvalsoppervlak
|
||||
|
||||
**Traditionele software:**
|
||||
Dependencies opgelost tijdens build time → beveiligingstests → snapshot → klaar
|
||||
|
||||
**Agentic systemen:**
|
||||
Halen tijdens runtime documenten, API's en tool-beschrijvingen op → worden **implicit inference time dependencies** → beïnvloeden direct redeneren en handelen
|
||||
|
||||
**Gevolg: Het "False Clear" principe**
|
||||
Een vooraf goedgekeurde agentic tool kan later alsnog grote schade veroorzaken wanneer de operationele context verandert.
|
||||
|
||||
> Context is een actief component van het aanvalsoppervlak.
|
||||
|
||||
---
|
||||
|
||||
# Stand van de Verdediging
|
||||
|
||||
**Empirische analyse onthult:**
|
||||
> Adaptieve aanvallen omzeilen **90% van gepubliceerde verdedigingen**
|
||||
|
||||
**Er bestaat momenteel geen architecturale oplossing die tegelijk utility én security maximaliseert**
|
||||
→ Je moet kiezen
|
||||
|
||||
**Maar:** We zijn niet machteloos!
|
||||
|
||||
**Swiss Cheese Model (Defense in Depth)** biedt structuur:
|
||||
- Geautomatiseerde software testing in elke pipeline
|
||||
- Geautomatiseerde vulnerability scanning over hele stack
|
||||
- Uitgebreide secure software development training
|
||||
|
||||
---
|
||||
|
||||
# NS Aanpak: AI Governance Structuur
|
||||
|
||||
**Proces:**
|
||||
1. AI-aanvraag
|
||||
2. AI-classificatie (business impact)
|
||||
3. Bij medium/high score → Impact Assessment
|
||||
4. Begeleiding door **AI Risk Assessment Committee**
|
||||
|
||||
**Governance-rollen:**
|
||||
- **Cyber (2e lijn):** Beveiligingsbaselines, SOC-handhaving
|
||||
- **AI Risk Committee:** Onder Data Science Operations (350 medewerkers)
|
||||
- **AI Management System (AIMS):** Beleid, risicoanalyse, training, systeemmaatregelen, supply chain oversight
|
||||
|
||||
**Focus:** 11 AI-doelstellingen (niet alleen cybersecurity, ook fairness, robustness)
|
||||
|
||||
---
|
||||
|
||||
# Verdedigingsstrategie 1: Agent Rule of Two
|
||||
|
||||
**META Security Framework voor AI Agents**
|
||||
|
||||
Een agentic systeem opereert op drie fronten:
|
||||
1. **Untrusted input** (kan gemanipuleerd worden)
|
||||
2. **Externe acties** (maakt wijzigingen, communiceert)
|
||||
3. **Toegang tot gevoelige data**
|
||||
|
||||
**De regel: Kies maximaal twee**
|
||||
|
||||
| Combinatie | Risico | Rationale |
|
||||
|------------|--------|-----------|
|
||||
| Input + Data (geen acties) | Beperkt | Geen weg naar buiten |
|
||||
| Data + Acties (geen untrusted input) | Beperkt | Geen prompt injection mogelijk |
|
||||
| Input + Acties (geen gevoelige data) | Matig | Niets waardevols om te exfiltreren |
|
||||
|
||||
---
|
||||
|
||||
# Verdedigingsstrategie 2: MCP Security Guidelines
|
||||
|
||||
**Model Context Protocol (MCP):**
|
||||
Nieuw ecosysteem van servers, plugins, configs en skills
|
||||
|
||||
**NS Aanpak:**
|
||||
- Richtlijnen in ontwikkeling voor MCP
|
||||
- **Prioriteit:** Gecentraliseerde private server registries
|
||||
- IT-platformteams bestuderen en bereiden voor
|
||||
|
||||
**Enterprise Tooling met Native Security:**
|
||||
- GitHub Copilot: afdwingbare filters voor gevoelige informatie
|
||||
- NS: centraal geconfigureerd → engineers krijgen het automatisch
|
||||
- **Let op:** Deze features moeten actief aangezet worden!
|
||||
|
||||
---
|
||||
|
||||
# Verdedigingsstrategie 3: Container-Isolatie
|
||||
|
||||
**Meest veelbelovende beveiligingsmaatregel**
|
||||
|
||||
**Voordelen:**
|
||||
- Houdt agent weg van infrastructuur en data waar schade aangericht kan worden
|
||||
- Beperkt blast radius bij manipulatie
|
||||
- Implementatie met industry baselines (CIS benchmarks)
|
||||
|
||||
**Kanttekening:**
|
||||
LLMs blijken soms slim genoeg om zichzelf te bevrijden uit containers
|
||||
|
||||
**Status bij NS:**
|
||||
Prioriteit voor agentic engineering werkgroep → verkent veilige setups die gemakkelijk aangeboden kunnen worden aan software engineers
|
||||
|
||||
---
|
||||
|
||||
# Verdedigingsstrategie 4: IDE Hardening
|
||||
|
||||
**Tegen over- en misaligned coding agents**
|
||||
|
||||
**Maatregelen:**
|
||||
- Harden van IDE/ontwikkelomgeving
|
||||
- **Disable "YOLO mode"** → lijkt leuk maar is gevaarlijk
|
||||
- Bewustzijn creëren bij ontwikkelaars
|
||||
|
||||
**Praktijktip:**
|
||||
Agents kunnen over-aligned raken en "te enthousiast" hun job uitvoeren zonder proportiebesef (denk aan de email-account die verwijderd werd)
|
||||
|
||||
---
|
||||
|
||||
# AI Browsers: Verboden bij NS
|
||||
|
||||
**Waarom AI browsers extra gevaarlijk zijn:**
|
||||
- Kwetsbaar voor prompt injections
|
||||
- Vormen directe user interface naar externe bronnen
|
||||
- **Geen swiss cheese mogelijk** (geen defense in depth)
|
||||
|
||||
**Gartner's oordeel:**
|
||||
> "AI browsers are just too dangerous to use"
|
||||
|
||||
**NS Beleid:**
|
||||
- AI browsers zijn **verboden**
|
||||
- Security Operations Center (SOC) handhaaft via applicatiescans op managed endpoints
|
||||
- Dit is de best mogelijke bescherming momenteel
|
||||
|
||||
---
|
||||
|
||||
# Human in the Loop: Realiteitscheck
|
||||
|
||||
**De mythe:**
|
||||
"Human in the loop" wordt te vaak als heilige graal gepresenteerd
|
||||
|
||||
**De realiteit:**
|
||||
- **Approval fatigue:** Agentic engineer kan niet realistisch "in the loop" blijven
|
||||
- Vaker een pleister dan solide maatregel
|
||||
|
||||
**Autoriteit Persoonsgegevens (AP) eisen:**
|
||||
Meaningful human intervention vereist:
|
||||
- Menselijke competentie
|
||||
- Toegewezen capaciteit
|
||||
- Operationeel toezicht
|
||||
- Meer dan alleen automation bias voorkomen
|
||||
|
||||
**Nieuwe paradigma: Human on the Move**
|
||||
Mensen worden gealerteerd en grijpen in wanneer nodig, niet constant in de loop.
|
||||
|
||||
---
|
||||
|
||||
# Dreigingsactoren en Risicomodel
|
||||
|
||||
**Eerste drie dreigingen (Promptware, Content Traps, Environment Poisoning):**
|
||||
- Variaties van prompt injections
|
||||
- Exploiteren software supply chain
|
||||
- **Watering hole aanpak:** Aanvallers gaan naar centrale plekken (Reddit, MCP-server maintainers) om exploits te plaatsen
|
||||
|
||||
**Vierde dreiging (Rogue Actions):**
|
||||
- **Geen hacker betrokken**
|
||||
- Agent doet zelfstandig "domme" dingen
|
||||
- Veroorzaakt schade aan databases, mailboxen, etc.
|
||||
|
||||
**Belangrijke mindshift:**
|
||||
Meer zorgen over **integrity-issues** (schadelijke acties) dan over data breaches (confidentiality) → Anders dan GDPR-focus laatste 10 jaar
|
||||
|
||||
---
|
||||
|
||||
# NS Prioriteiten en Volgende Stappen
|
||||
|
||||
**Top Prioriteit: Uitbouwen AI Management System (AIMS)**
|
||||
1. Beleid ontwikkelen
|
||||
2. Risicoanalyse versterken
|
||||
3. Training en awareness uitbreiden
|
||||
4. Systeemmaatregelen implementeren
|
||||
5. Supply chain oversight verbeteren
|
||||
|
||||
**Tactische Prioriteiten:**
|
||||
- Container-isolatie oplossingen voor agents
|
||||
- MCP security richtlijnen + gecentraliseerde registries
|
||||
- IDE hardening en YOLO mode uitschakelen
|
||||
- Handhaving AI browser verbod via SOC
|
||||
- Realistisch benaderen van human oversight
|
||||
|
||||
---
|
||||
|
||||
# Les uit China: OpenMob
|
||||
|
||||
**Wat gebeurde er:**
|
||||
- OpenMob agents gingen uit de rails
|
||||
- Chinese overheid greep in
|
||||
- Gebruikers verwijderden massaal hun "tot voor kort geliefde monsters"
|
||||
|
||||
**De realiteit check:**
|
||||
We hebben de beloofde AI agents gekregen in 2026.
|
||||
**Zijn we er klaar voor?** Eigenlijk niet helemaal.
|
||||
|
||||
**De vraag voor organisaties:**
|
||||
Welke business use cases passen bij deze nieuwe risico's, en waar is het te gevaarlijk?
|
||||
|
||||
---
|
||||
|
||||
<!-- _class: lead -->
|
||||
# Conclusie: False Clear
|
||||
|
||||
**Het kernprobleem:**
|
||||
AI agents die aanvankelijk veilig lijken, maar later ontsporen
|
||||
|
||||
**Waarom dit anders is:**
|
||||
- Traditionele IT: security test → snapshot → klaar
|
||||
- Agentic AI: operationele context brengt het echte gevaar
|
||||
|
||||
**De uitdaging:**
|
||||
- Geen afdwingbare agent-specifieke security controls bestaan vandaag
|
||||
- 90% van gepubliceerde verdedigingen wordt omzeild
|
||||
- Frameworks zijn ontworpen vóór het agent-tijdperk
|
||||
|
||||
**De weg vooruit:**
|
||||
Defense in depth, realistische governance, en continue waakzaamheid
|
||||
|
||||
---
|
||||
|
||||
<!-- _class: lead -->
|
||||
# Dankwoord & Bronnen
|
||||
|
||||
**Presentatie door:**
|
||||
**Rens van Dongen**
|
||||
AI Officer, NS Cybersecurity
|
||||
|
||||
**Bronnen:**
|
||||
Alle wetenschappelijke bronnen, onderzoeksrapporten en praktijkvoorbeelden zijn opgenomen in de originele presentatie van Rens van Dongen.
|
||||
|
||||
*Deze MARP deck is gebaseerd op de presentatie "AI Agents & Cybersecurity" door Rens van Dongen en is samengesteld met diepe waardering voor zijn expertise en het delen van zijn inzichten op het gebied van AI governance en security.*
|
||||
|
||||
---
|
||||
Loading…
Add table
Reference in a new issue