Agent Evaluatie & Security
Maak je agenten betrouwbaar, veilig en meetbaar voordat ze live gaan
Voorkennis
- Ervaring met het bouwen van AI-agenten
- Kennis van Python of TypeScript
- Begrip van LLM API's en function calling
Wat je leert
- Zet een eval-framework op met LLM-as-judge
- Bouw testsets voor agent-gedrag en regressie
- Verdedig tegen prompt injection en jailbreaks
- Implementeer guardrails op in- en output
- Monitor agenten in productie met tracing
- Beheers kosten en latency onder belasting
Curriculum
3 modules · 9 lessen
Evaluatie van agenten
Systematisch testen van agent-gedrag: van ad-hoc testing tot geautomatiseerde eval-pipelines.
- Waarom agenten moeilijk te testen zijnVideo20 min
Non-determinisme, lange output en subjectieve kwaliteit: waarom traditionele testing niet werkt voor agenten.
- Eval-frameworks en LLM-as-judgeVideo38 min
Automatische evaluatie met LLM-as-judge, pairwise comparison en rubric-based scoring.
- Testsets en regressietests bouwenOefening41 min
Hands-on: bouw een testset met edge cases en implementeer automatische regressietests.
Security en guardrails
Bescherm je agenten tegen misbruik, prompt injection en ongewenst gedrag.
- Prompt injection: aanval en verdedigingVideo33 min
Hoe prompt injection werkt, waarom het gevaarlijk is en welke verdedigingsstrategieën effectief zijn.
- Guardrails op input en outputVideo30 min
Implementeer guardrails: input filtering, output validatie en content moderation.
- Sandboxing van tool-aanroepenVideo27 min
Beperk de impact van gecompromitteerde agents: sandboxing, permission scoping en audit logging.
Observability in productie
Monitor je agenten in productie: tracing, kosten en incident response.
- Tracing met Langfuse en OpenTelemetryVideo35 min
Implementeer distributed tracing voor je agent-pipelines: van request tot response.
- Kosten- en latency-budgettenVideo25 min
Houd kosten en performance onder controle: budgeting, alerting en optimalisatie.
- Incident response voor agentenVideo22 min
Wat te doen als het misgaat: runbooks, rollback-strategieën en post-mortems.
Over deze cursus
Het verschil tussen een demo en een product zit hem in evaluatie en security. Leer eval-frameworks opzetten, prompt injection tegengaan en agent-gedrag monitoren in productie.
Downloads & materiaal
Al het cursusmateriaal is direct downloadbaar als PDF.