Vastleggen is heel iets anders dan communiceren over vastleggingen en de juiste vraag van de opdrachtgever is allesbepalend voor de uit te voeren toets en het uiteindelijke toetsverslag. Dat werd de (lead) auditors van Rijkswaterstaat heel duidelijk toen ze aan de slag gingen met de kwaliteitsverbetering van hun toetsverslagen, een belangrijk onderdeel van de gehele toetsketen. Met behulp van een blended trainingsprogramma wisten ze de vinger op de zere plek te leggen en de juiste aanpassingen in hun verslagen te maken.

 

Focus op vaardigheden
Bij systeemgerichte contractbeheersing (SCB) is het vaktechnisch niveau van de auditor een eerste vereiste om verantwoorde toetsen uit te voeren bij de opdrachtnemers. In de praktijk wordt daar ook veel aandacht aan besteed. Auditors krijgen de nodige vaktechnische ondersteuning in opleidingen en coaching. Maar met een doorwrochte vaktechniek ben je er nog niet. Ook de juiste vaardigheden zijn essentieel om een toets op niveau uit te voeren en af te ronden. Twee belangrijke vaardigheden vallen daarbij op: interviewen en rapporteren. En daar valt nog veel te winnen. Rijkswaterstaat, een van de meest vooruitstrevende partijen op het gebied van SCB, besefte in 2014 dat de communicatiekracht van de opgeleverde toetsdocumenten nog onvoldoende was. In de toetsverslagen die na elke audit worden geschreven, ontbrak een duidelijke argumentatie die de lezer direct duidelijk maakt op welke toetsvraag het verslag antwoord geeft en wat de onderbouwing voor dat antwoord is. Die toetsvraag bleek ook nog eens niet altijd concreet genoeg te zijn. Ook de Audit Dienst Rijk gaf als belangrijk algemeen aandachtspunt om de kwaliteit van de toetsverslagen bij Rijkswaterstaat te verbeteren.

 

Rendement van veranderen
Rijkswaterstaat wilde met een training de auditors helpen om de toetsverslagen te verbeteren, maar besefte dat een generieke training schriftelijke vaardigheden niet de oplossing zou zijn. Daarvoor is het tekstgenre toetsverslagen te specifiek. Verder wilde ze daadwerkelijk rendement zien van de training in leercurve en in output. Vooral dat laatste is lastig, omdat bij de meeste vaardigheidstrainingen objectieve meting ontbreekt.
Via de Rijksacademie voor Financiën, Economie en Beleid kwam ze op het spoor van een blended training Schriftelijke Auditvaardigheden van Kriton Learning. Deze training werd uiteindelijk voor Rijkswaterstaat aangepast om deze gericht toe te spitsen op toetsverslagen.

 

Blended werken aan betere toetsverslagen
Blended learning is een manier van leren waarbij klassieke leermethodes zoals trainingen of lessen in een klaslokaal op een slimme manier gecombineerd worden met minder klassieke, modernere vormen van educatie, zoals in dit geval e-learning met behulp van online toetsen.
De voordelen van blended learning zijn groot. Deelnemers kunnen de lesstof eigen maken in een vertrouwde omgeving tegen lagere kosten, in een zelf te bepalen tempo en op zelf te bepalen tijdstippen. Ze hebben geen of veel minder reisbewegingen waardoor méér netto tijd overblijft voor daadwerkelijk leren. Ook is sprake van betaalbare tussentijdse toetsing en evaluatie via internet, de kans om bij te sturen met meer op het individu afgestemd (extra) lesmateriaal en het verwerven van praktische vaardigheden.

 

De training die de auditors zijn gaan volgen, bestaat uit vier onderdelen:

  • een online intake;
  • een online oefenprogramma;
  • een online eindtoets;
  • een praktijkbijeenkomst.

Online intake
De online intake bestaat uit een aantal opgaven over de verschillende kwaliteitskenmerken van een goed toetsverslag. De intake meet in hoeverre een deelnemer in staat is om een goed toetsverslag te schrijven. De meetmethode die hierbij wordt gehanteerd, is wetenschappelijk gevalideerd.(*) Op basis van deze intake krijgt een deelnemer een score en een leeradvies op alle kenmerken, waarbij concreet is aangeven in welke mate nog oefening nodig is. Met dit advies kan de deelnemer aan de slag met het oefenprogramma. Het advies is ook echt een leeradvies, Als de deelnemer er anders over denkt en accenten in het leren anders wil leggen, dan is hij daar volledig vrij in.

 

Online oefenprogramma
Het online oefenprogramma is een uitgebreide e-learning met honderden opgaven over de verschillende kwaliteitskenmerken met per opgave feedback op de gemaakte keuzes. Een deelnemer moet bijvoorbeeld aangeven of vraagstellingen correct zijn, of een conclusie voldoende wordt onderbouwd en of het taalgebruik helder genoeg is. Alle opgaven bevatten een casus aan de hand waarvan de deelnemer de opdracht maakt. De deelnemer kan tijdens het oefenen of los daarvan een syllabus raadplegen waarin alle leerstof staat uitgelegd. Met dit oefenprogramma leert een deelnemer betere toetsverslagen schrijven. Ook dit onderdeel van de training is wetenschappelijk gevalideerd.
Een deelnemer is gemiddeld behoorlijk wat tijd kwijt om te oefenen. Dat varieert van 10 uur voor de snelle deelnemer tot meer dan 20 uur voor de deelnemer die veel oefening nodig heeft. Dit is voortdurend een punt van aandacht, omdat professionals gewend zijn dat e-learning een voorlopertje op een bijeenkomst is. In deze training is dat juist niet het geval en het is erg belangrijk dat een deelnemer voldoende tijd reserveert, verspreid over meerdere weken. En dat vraagt weer om goed te plannen en je houden aan de planning. Deelnemers krijgen daarom meerdere keren e-mails vanuit de e-learning om ze te wijzen op de status van hun deelname.

 

Online eindtoets
Het derde onderdeel is de online eindtoets. Als een deelnemer zelf het idee heeft voldoende te hebben geoefend en/of te hebben gelezen in de syllabus, dan kan hij de eindtoets gaan maken. Deze is qua opzet identiek aan de intake en zo is het mogelijk om de voortgang van een deelnemer objectief te meten.

Deelnemers moeten de eindtoets met een voldoende resultaat afsluiten om deel te kunnen nemen aan de volgende stap: de bijeenkomst. De reden hiervoor is dat die bijeenkomst alleen maar effectief is als alle deelnemers over dezelfde inhoudelijke bagage beschikken en op hetzelfde niveau naar toetsverslagen kunnen kijken en er feedback op geven.

Bij leertrajecten is een leercurve van 10% gemiddeld. Bij deze blended training is de gemiddelde leercurve gemiddeld 15% en bij Rijkswaterstaat is ligt het cijfers zelfs nog hoger: bijna 20%.

 

De bijeenkomst
Alle voor de e-learning geslaagde auditors hebben laten zien dat ze over voldoende bagage beschikken om goede toetsverslagen te kunnen schrijven. Dat ze het daadwerkelijk kunnen, weten ze alleen zelf nog niet. Ze zijn nog onbewust bekwaam. Tijdens de bijeenkomst bespreken ze in subgroepen praktijkverslagen van elkaar en scoren deze aan de hand van checklists met daarin de belangrijkste eisen. Deze verslagen hebben ze vooraf al met elkaar uitgewisseld, zodat ze alle teksten al hebben kunnen lezen. Bij de bespreking worden ze zich bewust van hun bekwaamheid. Ze zijn namelijk heel goed in staat om de sterke punten en verbeterpunten erin aan te wijzen en waar nodig verbetervoorstellen te doen.

 

De belangrijkste leerpunten uit het blended traject
Natuurlijk zijn de leerresultaten per deelnemer op details verschillend, maar bij alle groepen die het traject inmiddels hebben doorlopen, blijkt dat drie onderwerpen een grote impact hebben. De eerste is het belang van de vraag die ten grondslag ligt aan het toetsverslag. Vaak blijkt dat een auditor een te brede, abstracte of algemene vraag aanneemt en daarop een toets gaat uitvoeren. Tijdens de toets zelf blijkt dan dat slechts een deel van de vraag wordt en kan worden getoetst. Deze mismatch leidt dan tot allerlei problemen in het toetsverslag. Het effect van deze vraag wordt duidelijk in onderstaand model dat de drie werelden van teksten schrijven weergeeft. In wereld 1 wordt de vraag helder die de opdrachtgever beantwoord wil hebben. Dit is bij toetsverslagen een toetsende vraag. Op een toetsende vraag zijn drie categorieën antwoorden mogelijk: `ja’, `nee’, of `tot op zekere hoogte’. Hoe concreter deze vraag, hoe makkelijker het is om naar wereld 2 over te stappen om de toets uit te voeren en vervolgens naar wereld 3 om de tekst te schrijven. De tekst moet het antwoord bevatten op de vraag die in wereld 1 is gesteld plus de argumenten die tot dat antwoord hebben geleid.

Het tweede onderwerp is het verschil tussen wereld 2 en 3. In wereld 2 voert een auditor de toets uit en verzamelt daarbij informatie die relevant is voor het vinden van het antwoord op de vraag. In een audit van Rijkswaterstaat komt die informatie grotendeels voort uit interviews met de opdrachtnemer. De meest gemaakte denkfout is dat wereld 3 hetzelfde is als wereld 2. Wereld 3 is dan een feitelijke weergave van wat er in wereld 2 is verzameld. Nee, wereld 3 moet het antwoord bevatten op de toetsende vraag en de argumenten die de schrijver heeft voor dat antwoord. Niet alles uit wereld 2 krijgt dus een plek in wereld 3. In de oorspronkelijke toetsverslagen bestond veel inhoud uit verslaglegging van interviews met antwoorden op vragen als: Hoe heeft u dit gedaan, welke maatregelen, wanneer wordt deze rapportage….? Dit zijn de vragen om aan informatie te komen in wereld 2, maar dit is niet wat een-op-een in een toetsverslag moet komen.

Dus niet

Maar wel

Het derde en laatste onderwerp met veel impact is de logische opbouw van het toetsverslag. Voor veel auditors was het lastig om een duidelijke relatie te leggen tussen de belangrijkste boodschap in het verslag en de rest van de informatie die erin staat. Tijdens de training werd duidelijk dat een toetsverslag een document is met als hoofdantwoord (boodschap) een conclusie. Die conclusie sluit aan bij de vraag die in wereld 1 is vastgesteld. Die conclusie moet gebaseerd zijn op argumenten die daarna moeten volgen. Dit is redeneren in een want-lijn: de conclusie is zo en zo, want…..De argumenten zijn de belangrijkste bevindingen die tot de conclusie hebben geleid.

Ervaringen en impact
Inmiddels hebben 94 (lead) auditors van Rijkswaterstaat de training toetsdocumenten schrijven met een positief resultaat – én een bijbehorend certificaat – afgesloten. De e-learning vinden veel deelnemers een behoorlijke klus, blood sweat and tears, maar tijdens de bijeenkomst beseffen ze heel goed wat die inspanning ze heeft opgeleverd. De totale training waarderen ze dan ook als positief. Er is een aantoonbare verbetering in schriftelijke vaardigheden geconstateerd en er wordt waardevolle en opbouwende feedback gegeven op elkaars toetsverslagen. Door periodiek toetsverslagen en casuïstiek onderling te bespreken, zal de kwalireit verder moeten toenemen.

De Audit Dienst Rijk en Algemene Rekenkamer hebben in hun controlewerkzaamheden over 2015 bij Rijkswaterstaat geen onvolkomenheden op het gebied van SCB meer geconstateerd. Specifiek schrijft de Audit Dienst Rijk over de extra opleidingsinspanning bij Rijkswaterstaat: “In 2015 heeft Rijkswaterstaat verder geïnvesteerd in HRM en opleidingstrajecten om SCB conform kader toe te passen. Deze inspanningen hebben vruchten afgeworpen, hetgeen blijkt uit een algehele verbetering in de werking van contractbeheersing. Wij adviseren om de HRM en opleidingsinspanningen te continueren.” De training toetsdocumenten schrijven wordt daarom ook in 2016 en 2017 bij Rijkswaterstaat gecontinueerd.

 

Auteurs

Drs. P. (Peter) van Loevezijn is partner bij Kriton Learning. Hij helpt internal auditors en accountants om de kwaliteit van hun communicatie te verbeteren, De focus ligt daarbij op auditrapporten en managementletters.
Drs. P.G.M.(Pascal) Gerits, is senior adviseur bij de afdeling Inkoop Centrum GWW van Rijkswaterstaat. Hij helpt (lead) auditors om zich verder te professionaliseren en is daarvoor werkzaam in coördinatieteam SCB. Dit team richt op efficiënte inzet, kwaliteitsborging en uniforme werkwijze van (lead) auditors bij Rijkswaterstaat.