CVI 2016 - epiloog #cviov

De afgelopen dagen heb ik rondgelopen op de CVI conferentie voor Onderwijsvernieuwing en ICT. Een korte reflectie.

Een conferentie is zoveel meer dan een reeks verhalen van enthousiaste onderwijsmensen over nieuwigheden, ervaringen, lessons learned en hun persoonlijke inspiratie. Juist de veelheid aan verhalen gecombineerd met de mogelijkheid daar met bekenden en (nog) onbekenden over van gedachten te wisselen geeft een zeker emergent effect aan het evenement. Nog los van de gezelligheid en de bijpraatgelegenheden die zo'n conferentie biedt.

Met een 'emergent effect' bedoel ik, dat het geheel meer is dan de som van de delen. Door meerdere verhalen met elkaar te combineren ontstaat een beeld van wat er gaande is in het onderwijs. Ik probeer daar door mijn oogharen een paar beelden van te schetsen:

• Gepersonaliseerd leren wordt een serieuze ambitie
  Niets nieuws onder de zon. Maar na de piek van verwachtingen een paar jaar terug (flexibel onderwijs) lijkt het nu het dal van desillusie voorbij te zijn. Veel, zo niet de meeste scholen schrijven deze ambitie in strategische of onderwijsplannen. Wellicht nog even te vroeg!
  Er liggen hier nog grote uitdagingen voor het onderwijs, zoals Michael van de Wetering van Kennis in zijn presentatie over het Trendrapport 2016-2017 liet zien in een Strategic Technology Map (STM) (zie pagina 75 van het rapport). De meeste benodigde technologieën zijn gewoonweg nog niet beschikbaar.
  Het rapport is overigens een absolute aanrader!
• Elektronische leeromgevingen zijn weer in.
  Veel instellingen beschikken wel over een elo al is de implementatie bij veel instellingen blijven hangen in goede bedoelingen.
  Tijdens de conferentie waren er meerdere verhalen over selectie- en implementatietrajecten binnen de onderwijsinstellingen. Vanuit de ambitie naar meer gepersonaliseerd leren biedt een elo blijkbaar houvast om daar handen en voeten aan te geven. Visie op de rol van een elo in het onderwijs, standaardiseren en beperkt beginnen en vooral niet teveel vrijheden bij docenten en teams leggen lijken randvoorwaarden voor een succesvolle invoering. 
• Big Data
  Gartner gaf het al aan: "It's not about Big Data, it's about Big Questions". Business Intelligence (BI), student analytics, learning analytics. Er wordt al lang van gedroomd maar het lijkt er op dat de eerste stappen in die richting nu daadwerkelijk worden gezet. Het zal nog wel een tijd duren voor op basis van slimme algoritmes het personaliseerde leerplan wordt ondersteund en bijgestuurd. Hier zullen we nog wel over de piek van de verwachtingen en het dal van desillusie door moeten. 
• Professionalisering
  Ook al zo'n langlopend thema. In verschillende presentaties komt steeds weer terug dat het zo moeilijk is om docenten te laten professionaliseren op gebied van ICT in het onderwijs. Een aanpak bij ROC de Leijgraaf vind ik dan een prachtig voorbeeld hoe je daar roc-breed vorm aan kunt geven. Ondersteund door het Ixperium Expertisecentrum Leren met ICT van Marijke Kral (HAN) is ook in Oss een Ixperium geopend en zijn designteams aan de slag gegaan om het gebruik van ICT in het onderwijs vorm te geven. Learning by doing, zowel voor de docenten in de designteams als voor de organisatie zelf. 

Als je deze thema's naast elkaar zet, zit daar ook weer een samenhang in. Mooi dat bijna 1000 mensen in vanuit die samenhang weer stappen kunnen zetten in hun eigen organisatie. 

Student Analytics bij het Albeda College op de #cviov

Veel instellingen zijn momenteel bezig om op basis van 'business intelligence' of 'big data' de kwaliteit van het onderwijs en de begeleiding te verbeteren. Wat zou het mooi zijn als je op basis van een intake al kunt voorspellen dat een student in het tweede jaar extra wiskunde nodig zal hebben om de kans op een diploma aanzienlijk te vergroten. Zo ver is het nog (lang) niet.

Het Albeda College is met dat doel in samenwerking met Deloitte een project gestart om op basis van bepaalde kenmerken van studenten het studiesucces te bepalen. Het gaat om kenmerken die bekend zijn bij de start van de opleiding. Daarbij worden geslacht, leeftijd, vooropleiding, taal die thuis gesproken wordt, beschikbaarheid van een computer thuis en dergelijke betrokken maar ook de resultaten van de intake inclusief een intaketoets. Dat levert een berg aan data op die je kunt analyseren. Daarbij kun je proberen een correlatie te vinden tussen bepaalde kenmerken of een combinatie aan kenmerken en het behalen van een diploma.
Op basis van historische data zijn studenten in categorieën onderverdeeld. Elke cel in de honingraat bevat een aantal studenten met dezelfde kenmerken.

Vervolgens is gekeken naar de correlatie tussen de categorie waar de studenten ingedeeld waren en bepaalde kenmerken, zoals studiesucces. In onderstaand schema is met retentie weergegeven welk deel van de studenten in de desbetreffende cel na één jaar nog bij het Albeda studeerden (0.8 = 80%). Op basis van dergelijke visualisaties zou je conclusies kunnen trekken over de mate waarin bepaalde bepaalde kenmerken bijdragen aan studiesucces.

Het verhaal laat zien, dat er voortgang wordt geboekt bij het analyseren van studentgegevens om de kwaliteit van het onderwijs en de begeleiding te verbeteren. Ik heb nog wel een paar kanttekeningen / aandachtspunten

• De ambities van het Albedacollege zijn erg hoog. Om vanuit een correlatie zoals weergegeven in bovenstaand schema te komen tot een gericht studieadvies aan een specifieke student is er nog wel een weg te gaan. Dat is een boeiend leertraject wat wel een lange termijn inspanning en daarmee commitment van de hele organisatie vraagt.
• Het onderzoek is gebaseerd op historische data. Dat is op zichzelf geen probleem. De gegevens kun je beschouwen als een 'trainingset'. Dat wil zeggen: een set gegevens die je gebruikt om het algoritme de correlatie tussen verschillende grootheden te laten bepalen. Nu is het niet zo moeilijk om het algoritme een perfecte correlatie te laten vinden. Als je de formule maar ingewikkeld genoeg maakt.
  Het algoritme moet je dus nog een keertje loslaten op een testset. Dat is een andere hoeveel bekende gegevens waarmee je kunt toetsen of het algoritme goed is afgestemd. Vaak zie je daar dan veel grotere afwijkingen dan bij de trainingset. Het is mij niet helemaal duidelijk hoe de validiteit hier is getoetst.
• Er zijn meer roc's bezig met vergelijkbare onderzoeken. Ik merk eigenlijk nog niets van een samenwerking of afstemming. Het wiel wordt dus weer op veel plekken uitgevonden!
  Die aparte initiatieven moeten niet gaan leiden tot een wedstrijdje, wie de hoogste nauwkeurigheid haalt (in dit onderzoek 72%, bij andere instellingen heb ik getallen boven de ruim boven de 80% gehoord). Een zekere nauwkeurig is nodig (anders heb je er niks aan), het nastreven van een te grote nauwkeurigheid is zonde van de moeite in het kader van de 80-20 regel. (80% van het resultaat haal je in 20% van de tijd, het een beetje verder opkrikken van de nauwkeurigheid levert geen beter onderwijs op maar kost wel veel extra tijd). 

Alles bij elkaar een boeiend initiatief om te volgen!

Big data voor duurzame visserij

Een tijd geleden organiseerden een aantal collega's een hackaton om een nieuwe app te maken, die het werken in projecten makkelijker maakt. Nieuwsgierig naar het fenomeen en hoe de ontwikkeling van een app in een scrum-ontwikkelproces verloopt, sloot ik me bij het illustere gezelschap aan. Ik heb er veel van geleerd. Onder andere dat ik nog heel wat moet leren om te kunnen programmeren op het niveau van mijn collega's!

Datathon
Inmiddels heb ik alweer een nieuwe ervaring opgedaan: een datathon. Hoewel een datathon vaak wordt aangekondigd als een hackathon is er genoeg reden om deze twee fenomenen van elkaar te onderscheiden. Je zou kunnen zeggen, dat het bij een hackaton vooral gaat om het maken van tools of apps terwijl het bij een datathon vooral gaat om het analyseren van gegevens. Vaak is de vraag bij een datathon nogal vaag: "Kun je uit deze berg gegevens iets zinvols halen?" Ga er maar aan staan. Op het laatste Gartner-symposium werd dan ook al gezegd: 'It's not about Big Data, it's about Big Questions'. Eigenlijk is een hackathon een logisch vervolg op een datathon. Eerst in een datathon maar eens aan de slag met gegevens die er al dan niet zijn. Vervolgens tools bedenken om nieuwe gegevens te kunnen genereren, te ordenen te bewerken of te verwerken.
In vergelijking met een hackathon is een datathon nu een nog onbekend verschijnsel. Vergelijk de twee termen maar eens met behulp van Google Trend. Dan lijkt het alsof een datathon nog helemaal niet bestaat.


Dat is maar schijn, als je de Google Trend alleen op 'datathon' loslaat, zie je dat er sinds 2005 een klein beetje belangstelling voor is.


Waarschijnlijk komt dat alleen maar doordat de naam en niet zozeer het event nieuw is. Veel hackatons zou je nu waarschijnlijk eerder een datathon noemen. What's in a name?

Duurzame visserij
Xomnia is een klein bedrijf, dat is gespecialiseerd in Big Data-vraagstukken. Het bedrijf is voortdurend op zoek is naar nieuw talent. Het organiseren van een datathon is een manier om naamsbekendheid te krijgen bij met name AI-studenten (AI: artificial intelligence), die snappen hoe je met dit soort dingen moet omgaan.
Ik kreeg een uitnodiging om een (kleine) rol te spelen in een datathon over duurzame visserij.
Vijf teams gingen 24 uur onafgebroken aan de slag met een groot aantal databestanden met als vraag of ze beleidsmakers aan inzichten konden helpen waarmee de visserij duurzamer gemaakt konden worden. Tegen het einde heb ik met een select gezelschap van deze brains een workshop 'pitching' gedaan: hoe breng je je resultaat in een paar minuten goed over het voetlicht?

Twee teams analyseerden bestanden met gegevens van de maaginhoud van vissen. Dan weet je wat ze eten en kun je een voedselketen samenstellen. Vergelijk dat met vangstgegevens en je kunt een advies geven over vangstquota. Een ander team bestudeerde een Filipijns rapport dat de effecten beschreef van het instellen van beschermde gebieden als kraamkamer voor de aanwas van populaties. Door de kenmerken van dat onderzoeksgebied te projecteren op andere delen van de wereld waren ze in staat om kansrijke gebieden aan te wijzen waar het instellen van dergelijke beschermingszones een goede kans maken. Weer een ander team benaderde het vraagstukken vanuit economische prikkels bij consumenten. Uit de gegevens bleek namelijk een afnemende vangst tonijn bij een hogere prijs. Jammer dat zij pas op het laatste moment doorkregen dat correlatie nog niet hetzelfde is als een causaliteit. De vangst nam waarschijnlijk niet af door een stijgende prijs, het is waarschijnlijker dat de prijs omhoog gaat doordat tonijn zeldzamer wordt...

Alles bij elkaar waren het geen wereldschokkende resultaten. Het zou teveel zijn om dat van een event als dit te verwachten. Maar elke stap is er weer één. Ook het inzicht, dat er op een bepaald gebied nog data ontbreken om verder te komen, kan leiden tot een stap waarbij die data verzameld en geregistreerd gaan worden.

Hackathons en datathons bieden veel kansen. Het is een combinatie van crowdsourcing en wisdom of the crowd. Het gebeurt tegenwoordig voor tal van thema's: MS, terrorismebeschrijding, gezondheid, milieu, klimaat, noem maar op. Misschien eens een hackdatathon organiseren over learning analytics!