Goede start met Learning Analitics bij Noorderpoort

(bron: http://learntech.rwth-aachen.de/LA-EDM_1213)

Het Noorderpoort heeft in samenwerking met Sambo-ICT en Kennisnet de uitdaging opgepakt om aan de slag te gaan met het thema 'learning analitics'. Kort gezegd komt dat er op neer dat je als onderwijsinstelling probeert causale verbanden te ontdekken uit een enorme berg beschikbare gegevens (big data). Dat kan leiden tot inzicht in bepaalde relaties of trends. Het rapport kun je downloaden bij Kennisnet

In dit project ging het om ervaring op te doen met het learning analytics door te gaan zoeken naar de relatie tussen bepaalde gegevens, die beschikbaar zijn bij de aanmelding en het studiesucces van een student. Wanneer je zo'n relatie kunt aantonen, biedt dat veel mogelijkheden voor een gericht studieadvies of (extra) begeleiding tijdens het studietraject.

Het rapport gaat vooral over de aanpak en de ervaring, die dat heeft opgeleverd bij de casus Noorderpoort.

Nadat ik het rapport had gelezen, was ik bijzonder positief over een aantal aspecten, al heb ik wat kanttekeningen bij de opzet en sommige formuleringen. Tegelijkertijd ben ik ook wel een beetje teleurgesteld over de concrete resultaten. Nu zou het natuurlijk heel bijzonder zijn als er meteen heel duidelijke resultaten naar voren zouden komen. We hebben immers met zijn allen nog heel veel te leren over de aanpak van zo'n traject. Mijn teleurstelling heeft dan ook niet zozeer te maken met het beperkte resultaat maar met het oppoetsgehalte in de beschrijving van die resultaten. Sommige resultaten worden naar mijn idee wat mooier voorgesteld dan ze in werkelijkheid zijn. 

Eerst wat sterke punten:

• Al meteen in de inleiding maakt het rapport duidelijk, dat onderwijsinstellingen wat stappen overslaan bij veranderingen in processen. Zo worden stappen als een duidelijke probleemdefinitie en oplossingsdefinitie vaak overgeslagen. In de praktijk wordt een veranderingstraject dan ook vaak ingezet op basis van wat aannames. Heel herkenbaar. 
• De opbouw van het rapport, waarbij eerst de acht stappen duidelijk worden beschreven en met de casus Noorderpoort worden verhelderd. De stappen zijn achtereenvolgens:
• Relevante vraagstukken bepalen.
• Ethiek en professionaliteit van de docent bezien
• Onderzoeksteam inzetten
• Literatuuronderzoek uitvoeren
• Processen inventariseren
• Data analyseren
• Resultaten presenteren
• Procesaanpassingen ontwerpen.

(De eerste 3 stappen vormen de voorbereidingsfase, de overige stappen vallen onder de uitvoeringsfase.)

• Definitie van studiesucces. Het begrip studiesucces is voor de meeste mensen een duidelijk begrip. Totdat je moet aangeven, wat je er wel en niet onder verstaat. In dit project is gekozen voor eenvoudige maar duidelijk criteria: diploma, opleidingsduur en het switchen van opleiding. De verschillende factoren zijn getoetst op elk van deze criteria. 
• De verschillende schema's en modellen bieden een goed inzicht.

Maar ook een paar kanttekeningen:

Er zitten wat onvolkomenheden in een aantal beschrijvingen. Misschien geen zwaarwegende dingen, maar mij stoort het nu eenmaal als dingen niet goed worden neergezet. Neem nu het voorbeeld hiernaast. Het is de beschrijving van een probleem, een mogelijke oplossing en een onderzoeksvraag. Alleen, wat hier staat als mogelijke oplossing is helemaal geen mogelijke oplossing. Staat niet in zo'n rapport.
Een mogelijke oplossing zou kunnen zijn: een vroegtijdige signalering kan helpen bij het het verbeteren van het studiesucces.

Wat betreft de uitkomsten: daar staan zeker interessante dingen in. Bij een paar uitkomsten heb ik toch wel wat bedenkingen. Daar had ik op zijn minst wat extra toelichting bij verwacht. Zie onderstaand voorbeeld: Als het eindniveau 2 niveaus verschilt van het beginniveau kan het niet anders dan dat een leerling is geswitched. Om dan te concluderen dat die mensen 89% meer kans hebben op een switch, dat voegt niets toe. Dat vind ik een beetje jammer...

Alles bij elkaar toch een goede start van een veelbelovend en boeiend nieuw terrein!

ICT-monitor versus benchmark

Tijdens de saMBO-ICT-conferentie werden de resultaten van de eerste ICT-monitor gepresenteerd door saMBO-ICT en Kennisnet. Ik was daar erg nieuwsgierig naar al mag mij daarbij enig opportunisme worden aangerekend. M&I/Partners voert immers jaarlijks de ICT Benchmark BVE uit. Met onze ervaringen hebben we nog wat input geleverd aan de ICT Monitor.

Nu zijn er best wat verschillen tussen de monitor en de benchmark:

• De monitor is voor een groot deel een verlengstuk van de 4-in-balans monitor van Kennisnet met een een paar vragen over ICT-kosten en -investeringen. De benchmark gaat naast onderwerpen als inrichting van de ICT-afdeling en ICT-volwassenheid voor het overgrote deel over het Total Cost of Ownership (TCO) van de ICT. De benchmark ligt daarom logisch gezien in het verlengde van de monitor, vooral als de resultaten aanleiding geven nog eens dieper in te gaan op de kosten. 
• Er is een behoorlijk groot verschil in kwaliteit van de gegevens. De monitor kent geen validatie. Dat betekent dat organisaties wat vragen of begrippen anders definiëren, waardoor de uitkomsten toch voor een deel berust op het vergelijken van appels en peren. Voor een monitor die een impressie van de stand van zaken wil geven minder erg dan voor een benchmark, waar de onderlinge vergelijking heel belangrijk is. Daar moet je er als instelling zeker van kunnen zijn dat appels met appels worden vergeleken.
• De monitor is gratis en is in pakweg een halve dag in te vullen. Deelname aan de benchmark is niet gratis. Bovendien zal een instelling er vanwege de diepgang meer tijd in moeten steken om alle gegevens boven water te krijgen. 

Tijdens de presentatie van de ICT-monitor was duidelijk dat deelnemers vaak veel moeite hadden met de interpretatie van de vragen. Omdat er geen validatie plaatsvindt, is de betrouwbaarheid van de gegevens heel beperkt. De resultaten van de monitor worden binnenkort gepubliceerd op de website van saMBO-ICT. Voor instellingen waarbij de monitor vragen oproept, kan een nader onderzoek uitkomst bieden. In dat geval is een benchmark een goed instrument.

Bij de ICT Kostenbenchmark BVE gaat het 'verbeteren door te vergelijken'. Zo'n benchmark geeft inzicht in de eigen situatie, ook waar je staat ten opzichte van andere instellingen. De analyse levert een 'verhaal achter de cijfers', verklaringen voor verschillen of bepaalde vraagstukken. En het levert een aantal verbeterpunten op.

Martijn Broekhuizen vertelde het verhaal van het Noorderpoort in Groningen. Noorderpoort deed mee aan de benchmark in 2009. Daarna is een Masterplan ICT in gang gezet. De benchmark 2014 moet uitwijzen of het Masterplan heeft gebracht waarvoor het bedoeld was: meer functionaliteit voor minder geld.

Het is nooit eenvoudig om de batenkant in beeld te brengen. ICT kost veel, maar wat levert het op? Een nieuw onderdeel in de benchmark laat zien hoe de kosten verdeeld worden over het Triple A applicatielandschap. De praktijk zal nog moeten uitwijzen hoe dat het beste kan gebeuren en welke inzichten het oplevert.

Er is al nagedacht over een aantal manieren waarop die baten in beeld kunnen worden gebracht. Samen met de benchmarkdeelnemers worden de verschillende mogelijkheden onderzocht om dat te doen. En dat alles om de organisatie te overtuigen van het belang van ICT. Een variant van de beroemde uitspraak van John F. Kennedy maakt het duidelijk:
Vraag niet wat ICT kost, vraag wat het van je kan betekenen!

Verbeteringen onderwijslogistiek bij het Drenthe College (#sambo-ict)

(bron: Volkskrant)

Jaap de Mare en Jacco Heikoop geven op de saMBO-ICT-conferentie een toelichting over het veranderingstraject Onderwijslogistiek bij het Drenthe College.
Het Drenthe College is op een aantal punten wat anders dan anderen. Zo is het een van de weinige roc's met Magister als studentadministratiesysteem. Verder kent het DC ook de functie van planner naast die van roostermaker. Het functioneel beheer is (weer) ondergebracht bij ICT in plaats van, zoals min of meer gebruikelijk, bij de functionele eenheden.

De aanleiding voor het onderwijslogistiek project was Focus op Vakmanschap. Met het verkorten van opleidingen en een toename van het aantal lessen zal er een grote druk op het rooster komen te staan.

Jaap de Mare hanteert voor het Drenthe College een vereenvoudigde definitie van onderwijslogistiek:

1. Zo goed mogelijke roosters ...
   (Maar wat is een goed rooster? Dat is niet makkelijk in beeld te brengen.)
2. ... waarin het volledige onderwijsprogramma wordt gerealiseerd ...
   (Veel keuzes worden al in het curriculum gemaakt. Het is een gegeven dat er weinig overleg is over de afstemming tussen teams / opleidingen.)
3. ... voor alle studenten / groepen ...
   (Groepsgroottes zijn belangrijk. De norm is 1:22 (3.350 € / voltijdsstudent). Dat leidt tot een gemiddelde groepsgrootte van ongeveer 16 studenten.)
4. ... gegeven de beschikbare ruimtes (lokalen) ...
   (Er is een trend naar minder maar beter bruikbare ruimtes.)
5. ... en gegeven het beschikbare budget (docenten, instructeurs, materialen).
   (Hier zijn nog allerlei uitdagingen zoals een beperkt budget, uitstroom van docenten, noem maar op.)

Het project draait rond vijf thema's

• Organisatie
• Richt een functionele kolom onderwijslogistiek in met een coordinator aan het hoofd.
• Organiseer planning en roostering per locatie. Dat brengt de onderwijslogistiek dicht bij de vloer in tegenstelling tot centrale roosterafdelingen. 
• Perioderoosters worden door planners gemaakt. Week- en dagroosters worden gemaakt door administratieve medewerkers. 
• Praat met studenten, niet alleen over studenten, met name voor wat betreft de vraag 'wat is een goed rooster?'
• Proces
• Bedrijfsregels afspreken
• Afspraak is afspraak, geen vrijblijvende deadlines
• Rol teammanagers is cruciaal: standvasting en beslisvaardig
• Alle stakeholders betrekken
• Meten is weten: rapportages over
• inzet van docenten (gepland en gerealiseerd) 
• groepsgroottes
• uren onderwijs per docent / team
• gebruik van lokalen (per type lokaal, zowel in uren als in stoelen)
• aantal roosterwijzigingen
• kwaliteit van het rooster (op korte termijn moeilijk vast te stellen).
  Een roosterautomaat optimaliseert het rooster op kwaliteit. Dat gaat over afspraken (aantal tussenuren, niet te veel moeilijke vakken achter elkaar, zelfs looprichting van studenten bij leswisselingen)
• Applicaties
  Hierbij gaat het om input, processtappen en applicaties. Zo staan curricula in Word, de planning in Excel, roosters worden gemaakt in Untis, aan- en afwezigheid en formatief resultaatbeheer wordt bijgehouden in Magister.
  Op dit moment zijn er maar weining applicaties beschikbaar op markt voor de onderwijsplanning (plan van inzet)..
• Kennis en scholing
• Training onderwijslogistiek voor planners en roostermakers. 
• Training onderwijslostiek voor onderwijsmanagers
• Gluren bij de buren

Er volgde nog een discussie over de invloed van docenten persoonlijke met wensen op het rooster. Verschillende voorbeelden passeerden de revus:
Een docente wil niet werken op woensdagmiddag in verband met een kind op de basisschool. Na 12 jaar staat die afspraak er nog steeds. Een docent, die niet om half negen wil beginnen 'omdat het fietspad dan zo vol is'. Keuzevrijheid bij het invullen van de BAPO is ook een beruchte.
In de organisatie moet je er eigenlijk voor zorgen dat (alleen dringende) roosterwensen door een teammanager of directeur worden goedgekeurd. En verder geen rechtstreeks contact tussen docent en roostermaker.