Het Pilot-to-Production Runbook

Het volgende framework toont de vorm van het runbook voor executives: hoe de vier fasen, de discipline van Gate 2, het bewijs voor doorgang, de overdracht van eigenaarschap, gereedheidscontroles en operationele verplichtingen samen één gefaseerd traject vormen dat AI van concept naar beheerste productie brengt.

De ontwerpgids voor het AI operating model introduceert Gate 2 als een ontbrekende structurele laag. Het playbook voor het AI Centre of Excellence positioneert de CoE als het orgaan dat deze laag uitvoert. Deze beslishulp behandelt Gate 2 zelf in de volle diepte.

Het breekpunt ligt meestal niet tussen concept en pilot. De meeste organisaties kunnen een experiment financieren, een demo maken en over voortgang rapporteren. Het gaat mis wanneer de pilot een beheerst organisatorisch vermogen in productie moet worden.

Drie patronen van stilstand keren steeds terug. Het eerste is de onbegrensde pilot: vóór de start van de pilot zijn geen exitcriteria vastgelegd. Het tweede is de adoptie-illusie: het vermogen is live, maar de beoogde gebruikers gebruiken het niet echt. Het derde is de kostenschok bij opschaling: de economische uitgangspunten die tijdens de pilot acceptabel leken, vallen uiteen wanneer het gebruik groeit.

Een pilot hoort pas te beginnen nadat het leiderschap vijf besluiten heeft genomen.

Ten eerste, de sponsor. Wie is eigenaar van het probleem en bevoegd om namens het ontvangende bedrijfsonderdeel een toezegging te doen?

Ten tweede, de succescriteria. Welk bewijs leidt ertoe dat de organisatie doorgaat, pauzeert of stopt?

Ten derde, de operationele eigenaar. Wie wordt eigenaar van het vermogen nadat het pilotteam verdergaat?

Ten vierde, het bewijs voor doorgang. Welk bewijs is bij de gate nodig voor waarde, kwaliteit, risico, adoptie, kosten en gereedheid?

Ten vijfde, monitoring. Hoe wordt het vermogen na livegang bewaakt, teruggedraaid, verbeterd of beëindigd?

Het runbook gebruikt vier fasen. In elke fase veranderen de doelgroep, het team, het budget, de risicohouding en de beslisrechten.

Concept naar pilot bewijst dat het probleem werkelijk bestaat, de hypothese toetsbaar is en het de moeite waard is een pilotcharter te ondertekenen.

Pilot naar productie toetst de hypothese met echte gebruikers en een begrensde impact. Dit is Gate 2: de pilot moet bewijs tonen voordat de organisatie zich aan productie committeert.

Productie naar opschaling breidt een bewezen vermogen onder gecontroleerde omstandigheden uit. De vraag verandert van “werkt het?” naar “kan de organisatie dit op schaal betalen, ondersteunen en adopteren?”

Opschaling naar borging brengt het vermogen naar Run-modus. Er is een service-eigenaar, monitoring, een operationeel budget en een plek in het Run-book in plaats van het change book.

Een model in productie is een systeem met een hartslag. Productiegereedheid moet meer omvatten dan het antwoord van het model.

Het eerste mechanisme is bewijs van gereedheid: latency, beschikbaarheid, evaluatieresultaten, risicoclassificatie, audittrail en cost-to-serve.

Het tweede is overdracht van eigenaarschap: het vermogen moet overgaan van het team dat het heeft gebouwd naar het team dat het gaat beheren.

Het derde is monitoring en rollback: modelversies, wijzigingen in prompts, beperkte bedrijfsmodi, waarschuwingen en rollbackpaden moeten vóór opschaling zijn ontworpen.

Het vierde is bewijs van adoptie: organisatorisch vermogen zonder gebruikers is niet werkelijk in productie. Het is een artefact.

ArNa Discover is geen fictieve composietcasus. Het is de echte tool voor AI opportunity discovery die ik heb gebouwd en gelanceerd op arnafoundry.com/arna-discover.html. Dit is het uitgewerkte voorbeeld omdat het framework werkelijk is gebruikt om de tool van concept naar productie te brengen, niet omdat dit een composietverhaal netjes afrondt.

Het concept was eenvoudig: enterprise AI-teams verliezen tijd bij de intake van kansen, omdat scoring en het opstellen van pilotcharters voor elk nieuw idee handmatig worden herhaald. De hypothese was dat een AI-ondersteunde studio dit werk kon terugbrengen tot één gestructureerde sessie met output die een senior leider kan gebruiken.

De pilot draaide met een expliciete aanduiding dat de output conceptkwaliteit had en met een begrensd risico. Geen enkel klantbesluit hing af van niet-beoordeelde output. Voor de evaluatie werden representatieve intakes, het oordeel van beoordelaars en regressiecontroles gebruikt wanneer de prompt of het model veranderde.

Bij Gate 2 was de vraag niet of de tool interessant was. De vraag was of deze aan de vastgelegde bewijscriteria voldeed: bruikbare kansbeschrijvingen, bruikbare pilotcharters, een laag risicoprofiel, duidelijke menselijke beoordeling en een sponsor voor de volgende fase.

De tool ging in productie als onderdeel van het ArNaFoundry portfolio, met rate limits, tokenlimieten, observability, een audittrail en operationele regels. Toekomstige verbeteringen doorlopen een eigen Exploration-cyclus in plaats van zich in de oorspronkelijke pilot te verschuilen.

De eerste stap is exitcriteria te schrijven voor de pilot die nu vastzit. Gebruik drie tot vijf criteria op basis waarvan de organisatie doorgaat, pauzeert of de pilot beëindigt.

De tweede stap is vóór de Pilot-gate de sponsor voor de volgende fase te benoemen. Een pilot zonder ontvangende eigenaar is niet klaar voor productie, ook niet als het technische bewijs sterk is.

De volgende stap is niet nog een statusupdate. Leg het bewijs vast, benoem de eigenaar en handhaaf de gate.