Hoe bereid je je voor op een nieuw AI model?

Ik had een prompt van vijfentwintig regels die ik al maanden gebruikte voor de voorbereiding van klantgesprekken. Zorgvuldig opgebouwd, stap voor stap geoptimaliseerd. Op een dag had ik haast en typte gewoon: “Bereid dit gesprek voor op basis van deze info.”

Het resultaat was beter.

Niet een beetje beter. Merkbaar beter. Mijn vijfentwintig regels hadden het model meer in de weg gezeten dan geholpen. Ik had methodologie gespecificeerd die het model allang zelf beheerste.

Dat is het patroon dat ik steeds vaker zie, bij mezelf en bij klanten. We bouwen systemen om de beperkingen van AI te compenseren. En dan komt er een slimmer model en blijkt het meeste van die complexiteit overbodig. Sterker nog: het staat het model in de weg.

Dit is verwant aan wat AI-onderzoeker Rich Sutton de “bitter lesson” noemt: dat algemene methoden die op rekenkracht leunen het steeds winnen van systemen waarin we menselijke kennis proberen in te bouwen. In de context van prompting zie ik een vergelijkbaar patroon: hoe slimmer het model, hoe simpeler je systeem moet zijn. Niet simpeler omdat je lui bent, maar omdat het model nu slim genoeg is om zelf de beste route te vinden naar het resultaat dat jij wilt.

Met Anthropic’s aankomende Mythos-model, getraind op Nvidia’s nieuwste GB-chips, staat de volgende grote sprong voor de deur. Niet vijf procent beter op een benchmark, maar een echte stap vooruit. Het moment om je werkwijze te herzien is nu, niet wanneer het model er al is.

Specificeer het doel, niet het proces

Kijk kritisch naar je vaste prompts en systeeminstructies. Vraag je bij elke instructie af: staat dit hier omdat het model het nodig heeft, of omdat ik dacht dat het model het nodig had?

Veel klantenservice-bots hebben een systeemprompt van 3000 tokens waarin staat: classificeer eerst de intentie, zoek dan de juiste artikelen, controleer op hallucinaties, formuleer dan een antwoord. Vergelijk dat met: “Los het probleem van deze klant op met behulp van onze kennisbank en retourbeleid. De klant moet tevreden weglopen.”

Die tweede versie werkt steeds beter naarmate modellen slimmer worden. Het specificeert het gewenste resultaat en de beschikbare bronnen, maar laat het model zelf bepalen hoe het daar komt. En dit geldt niet alleen voor technische systemen. Ook als je AI gebruikt voor je dagelijkse werk: beschrijf wat je wilt bereiken en waarom, niet hoe je daar stap voor stap moet komen.

Vertrouw het model meer met je informatie

We zijn gewend om precies te specificeren welke documenten het model moet raadplegen, in welke volgorde en met welke zoekstrategie. Met slimmere modellen kun je steeds meer van dat werk aan het model overlaten.

Je moet nog steeds bepalen welke bronnen beschikbaar zijn. Maar zodra je die keuze hebt gemaakt, kun je het model vertrouwen om zelf te vinden wat het nodig heeft. Zorg dat je informatie goed georganiseerd en doorzoekbaar is en laat het model zijn werk doen.

De vaardigheid verschuift: van “hoe zoek ik het juiste document op voor het model” naar “hoe organiseer ik mijn kennis zodat elk model het kan vinden.”

Stop met hardcoden wat het model kan afleiden

Vorige week zag ik een prompt bij een klant die de volledige huisstijl beschreef in vijftig regels. Welke woorden ze wel en niet gebruiken, hoe lang zinnen mogen zijn, welke toon ze nastreven. Ik vroeg: “Hebben jullie een voorbeeldrapport?” Ja, dat hadden ze.

Ik verving de vijftig regels door: “Schrijf in dezelfde stijl als dit rapport” en voegde het voorbeeld toe. Het resultaat was beter. Het model leidde de stijl betrouwbaarder af uit het voorbeeld dan uit de expliciete regels.

Tel je regels. Vraag je bij elke af: moet dit er echt in, of kan het model dit afleiden als ik de juiste context meegeef? De kans is groot dat je een flink deel kunt schrappen.

Bouw je vangnet: evaluaties

Hier wordt het spannend. Als je het model meer vrijheid geeft in hoe het werkt, heb je een robuustere manier nodig om te controleren of het resultaat goed is.

Evals meten niet hoe het model iets aanpakt, maar of het eindresultaat klopt. En ze zijn herbruikbaar: bij elke modelwissel draai je ze opnieuw en zie je direct waar het nieuwe model beter presteert en waar het achteruitgaat.

Als je nog geen evals hebt, is dat het eerste wat je moet opzetten. Niet een uitgebreide testsuite, maar een handvol representatieve scenario’s met het gewenste resultaat. Dat is genoeg om de impact van een nieuw model snel te beoordelen.

De verschuiving

Het grotere plaatje is dit: met elke generatie slimmere modellen verschuift onze rol. Minder compenseren voor wat het model niet kan. Meer richting geven aan wat het model wel kan.

Jouw waarde zit steeds minder in het uitschrijven van procedures en steeds meer in het helder formuleren van doelen, het organiseren van de juiste context en het beoordelen van resultaten. Dat klinkt als minder werk. In werkelijkheid is het ander werk. En voor veel mensen is dat lastiger, want het vraagt dat je loslaat wat je altijd deed en vertrouwt op een systeem dat slimmer is dan je gewend bent.

Maar wie die verschuiving nu maakt, bouwt een voorsprong die moeilijk in te halen is.

Wil je jouw AI-werkwijze klaarstomen voor de volgende generatie modellen? Neem contact op voor een gesprek over hoe we dat samen aanpakken.