ICT-monitor versus benchmark

Tijdens de saMBO-ICT-conferentie werden de resultaten van de eerste ICT-monitor gepresenteerd door saMBO-ICT en Kennisnet. Ik was daar erg nieuwsgierig naar al mag mij daarbij enig opportunisme worden aangerekend. M&I/Partners voert immers jaarlijks de ICT Benchmark BVE uit. Met onze ervaringen hebben we nog wat input geleverd aan de ICT Monitor.

Nu zijn er best wat verschillen tussen de monitor en de benchmark:

• De monitor is voor een groot deel een verlengstuk van de 4-in-balans monitor van Kennisnet met een een paar vragen over ICT-kosten en -investeringen. De benchmark gaat naast onderwerpen als inrichting van de ICT-afdeling en ICT-volwassenheid voor het overgrote deel over het Total Cost of Ownership (TCO) van de ICT. De benchmark ligt daarom logisch gezien in het verlengde van de monitor, vooral als de resultaten aanleiding geven nog eens dieper in te gaan op de kosten. 
• Er is een behoorlijk groot verschil in kwaliteit van de gegevens. De monitor kent geen validatie. Dat betekent dat organisaties wat vragen of begrippen anders definiëren, waardoor de uitkomsten toch voor een deel berust op het vergelijken van appels en peren. Voor een monitor die een impressie van de stand van zaken wil geven minder erg dan voor een benchmark, waar de onderlinge vergelijking heel belangrijk is. Daar moet je er als instelling zeker van kunnen zijn dat appels met appels worden vergeleken.
• De monitor is gratis en is in pakweg een halve dag in te vullen. Deelname aan de benchmark is niet gratis. Bovendien zal een instelling er vanwege de diepgang meer tijd in moeten steken om alle gegevens boven water te krijgen. 

Tijdens de presentatie van de ICT-monitor was duidelijk dat deelnemers vaak veel moeite hadden met de interpretatie van de vragen. Omdat er geen validatie plaatsvindt, is de betrouwbaarheid van de gegevens heel beperkt. De resultaten van de monitor worden binnenkort gepubliceerd op de website van saMBO-ICT. Voor instellingen waarbij de monitor vragen oproept, kan een nader onderzoek uitkomst bieden. In dat geval is een benchmark een goed instrument.

Bij de ICT Kostenbenchmark BVE gaat het 'verbeteren door te vergelijken'. Zo'n benchmark geeft inzicht in de eigen situatie, ook waar je staat ten opzichte van andere instellingen. De analyse levert een 'verhaal achter de cijfers', verklaringen voor verschillen of bepaalde vraagstukken. En het levert een aantal verbeterpunten op.

Martijn Broekhuizen vertelde het verhaal van het Noorderpoort in Groningen. Noorderpoort deed mee aan de benchmark in 2009. Daarna is een Masterplan ICT in gang gezet. De benchmark 2014 moet uitwijzen of het Masterplan heeft gebracht waarvoor het bedoeld was: meer functionaliteit voor minder geld.

Het is nooit eenvoudig om de batenkant in beeld te brengen. ICT kost veel, maar wat levert het op? Een nieuw onderdeel in de benchmark laat zien hoe de kosten verdeeld worden over het Triple A applicatielandschap. De praktijk zal nog moeten uitwijzen hoe dat het beste kan gebeuren en welke inzichten het oplevert.

Er is al nagedacht over een aantal manieren waarop die baten in beeld kunnen worden gebracht. Samen met de benchmarkdeelnemers worden de verschillende mogelijkheden onderzocht om dat te doen. En dat alles om de organisatie te overtuigen van het belang van ICT. Een variant van de beroemde uitspraak van John F. Kennedy maakt het duidelijk:
Vraag niet wat ICT kost, vraag wat het van je kan betekenen!