Vijfenzeventig procent neventaken, deel 2 (van 10): ‘Epilepsie en De Wet van Amdahl’

Nou, je zou denken, daar gaan we weer met een stroom van kritiek op allerlei schoolbeleid, maar nee. Ik begin even op een onverwacht punt in de prehistorie van mijn onderwijspad, laat het 2010 zijn, buiten Saxion, namelijk bij mijn afstudeeropdracht bij de opleiding Applied Mathematics (AM) aan de Universiteit Twente. Geen zorgen, ik was toen inderdaad even ontspoord, het jaar daarna ben ik alsnog ook doorgegaan bij Applied Physics, dus het is allemaal goed gekomen met mij.

Maargoed, mijn opdracht bij AM ging over het modelleren van epilepsie. Epilepsie wordt veroorzaakt door verstoringen van de zenuwprikkels in de hersenen. Wanneer een grote regio aan hersencellen ritmisch en perfect synchroon elektrische signalen naar elkaar afvuurt, dan is dat hartstikke LEAN, lekker voorspelbaar, maar voor een complexe logge organisatie zoals je hersenen is dat niet gezond: dit heet een epileptische aanval.

Om epilepsie beter te begrijpen werkte ik aan een computermodel dat een heel klein stukje hersenen, circa 700 hersencellen, simuleerde; dat was een piepklein stukje muizen-neocortex van, als je het uit zou vouwen en plat op tafel zou leggen, ongeveer 80 micrometer bij 80 micrometer. Razend interessant. Mijn collega’s die dit lezen denken nu dat epilepsie de koppeling met Saxion gaat zijn (want bij onderwerpen als SOM begin ik inmiddels spontaan te hyperventileren), maar nee, ik wil een heel andere kant op… Die 700 neuronen waren bijna niets; de volledige neocortex bestaat uit circa 10¹¹, dus 100.000.000.000 neuronen, en de neocortex is op zijn beurt weer een heel klein stukje hersenen.

Die 700 neuronen en hun gedragingen in de tijd waren al ontzettend complex en tijdrovend om te simuleren met een computer. Het doel was om een veel groter stuk hersen te kunnen simuleren en daarom bestond een deel van mijn afstudeeropdracht uit het ‘parallelliseren’ van een uitgebreide computercode, dus de simulatie door meerdere computerprocessoren parallel te laten uitvoeren, in plaats van met maar één. Ik was en ben niet alleen geen cabaretier, maar ook geen informaticus, dus ik deed dat toen op de makkelijke manier: OpenMP – een beetje de ChatGPT onder de parallel-processing-methoden.

Twee keer zo snel

Het alternatief was een objectgeoriënteerde code van begin tot eind geheel herprogrammeren met MPI – dat zou weinig meer met wiskunde te maken hebben. Maargoed: ik liet dus een complexe taak door meerdere processoren (CPU’s) uitvoeren, opdat de simulatie (veel) sneller zou gaan, een opdracht die je ook voor andere computeralgoritmen zou kunnen uitvoeren. Wanneer je zoiets doet, dan loop je aan tegen iets dat ‘de Wet van Amdahl’ heet. Bij twee CPU’s in plaats van één ging de simulatie inderdaad ongeveer twee keer zo snel; wow, een winst van 50% van de tijd!

Bij vier CPU’s ging de snelheid nog steeds ongeveer een factor twee omhoog ten opzichte van de vorige stap. Zo probeerde ik natuurlijk verder: 8 CPU’s, 16, 32, 64… en toen kwam de klad erin. Wat bleek? Bij 128 CPU’s deed de code er nagenoeg even lang (!) over als bij 32 CPU’s; er was amper nog tijdswinst! Sterker nog, op een gegeven moment ging het proces zelfs weer iets langzamer bij toevoegen van CPU’s. Dus we konden meer en meer CPU’s reserveren op de supercomputer in Amsterdam, hartstikke duur, en niet duurzaam ook nog eens, maar het bracht eigenlijk niets meer op qua tijdswinst, pure geldverspilling!

Waar zat hem dat verval van de tijdswinst in? Nou, waarschijnlijk is wat ik nu zeg voor programmeurs een open deur: als je een code parallelliseert, dus door meerdere CPU’s laat runnen, is er feitelijk netto méér werk nodig, véél meer: naast dat dezelfde sommetjes uitgerekend moeten worden als wanneer het met maar één CPU gebeurt, moeten de CPU’s ook steeds met elkaar communiceren: de data moet onderling doorgespeeld worden en dat kan ook vergen dat CPU’s even op elkaar moeten wachten.

De taken moeten ook steeds herverdeeld worden, afhankelijk van de output, want je kunt van tevoren niet precies voorspellen hoelang een rekenkundige bewerking duurt op één CPU. Hoe meer CPU’s je hebt draaien, des te complexer het runnen van de computercode wordt. Die CPU’s waren eigenlijk net die hersencellen: ze deden allemaal iets, maar de verbindingen ertussen, de communicatiestappen, waren eigenlijk veel belangrijker voor de snelheid van de simulatie en voor wat er gebeurt bij epilepsie. Menig communicatiecoach zal dit al een fantastische metafoor vinden voor de werkvloer: ‘de verbindingen maken het werk’, het kan zo op een tegeltje in de nieuwe Saxion-Lobi.

Even heel simpel geformuleerd is het principe van ‘meer is niet persé beter’ natuurlijk vrij logisch: stel dat je vijftig computers inzet om het sommetje ‘1+1’ uit te rekenen, de meest eenvoudige relevante rekenkundige bewerking zonder 0 die ik zo even voor de geest kan halen. In dit voorbeeld gaat dit waarschijnlijk zelfs veel langzamer dan de som gewoon door één computer laten uitrekenen.

Vijftig keer 1+1 uitrekenen

Als ik als docent aan een klas van vijftig studenten vraag ‘reken even 1+1 uit’, dan ontstaat er chaos. Sommigen zullen, omdat ze toevallig extravert zijn ingesteld, meteen het antwoord roepen dat in ze opkomt (ik hoop altijd dat dat 2 is…), anderen wachten op nadere instructies (‘in welk getallenstelsel dan?’) en weer anderen raken in de war, want moet er eerst niet even overlegd worden wie dat gaat uitrekenen en wie vervolgens het antwoord terugkoppelt (ook een heel terechte vraag)?

Wat dat betreft zou dit een mooie introductieweek-opdracht zijn – dan leer je meteen je studenten en de groepsdynamiek kennen, en zij elkaar. Het laat wel precies zien wat er met die processoren gebeurt: naast dat er leiding (management, mastering) nodig is over de vijftig personen die samen 1+1 moeten uitrekenen, gaat er heel veel (onnodige!) tijd zitten in communicatie, in de volksmond noemen we het maar even ‘rompslomp’. Als ‘bureaucratie’ wordt het ook wel eens uitgelegd: veel tijd- en energieverlies bij een verder eenvoudige bewerking, het schijnt zelfs typisch Nederlands te zijn.

En nu vond mijn wiskunde-opdracht ook nog eens plaats in een tijd zonder ChatGPT, dus de processoren hadden niet eens emoties, laten we maar zeggen, laat staan menselijke diversiteit! Vooral interessant is dat de CPU’s zelf niets te verwijten viel in de traagheid van het algoritme: de CPU’s afzonderlijk functioneerden perfect! En toch ging het tempo van het geheel, laten we het ‘rendement’ noemen, relatief sterk omlaag.

Het probleem is de gebruiker, de ‘CPU-master’. Een kenmerk van een computer is dat een computer doet wat je zegt, en niet persé wat je wil, ik gebruik deze strekking vaak in mijn programmeervakken, en in tijden van AI wordt dit nog eens extra relevant: rubbish in is rubbish out. De supercomputer in Amsterdam mopperde nog net niet: ‘Ja sorry, dit gaat nu eenmaal niet zo snel, we zijn een log bedrijf…’.

De school in het klein

Nou, je voelt ‘m al aankomen, ik ga straks rollen en afdelingen vergelijken met computerprocessoren. Ik haal me nu een bekend plaatje (meme) voor de geest van één putjesschepper die het daadwerkelijke werk doet, met veertien mensen eromheen, die vooral kijken of de putjesschepper het goed doet – deze controleurs hebben vaak nog de hoogst betaalde functies ook, want ze zijn oh zo belangrijk.

Eéntje kijkt of de veiligheid wel gehanteerd wordt, ééntje kijkt of er wel snel genoeg geschept wordt (i.e. of het LEAN-rendement wel gehaald wordt), ééntje meet de diepte en breedte van het gat (Kwaliteitszorg), ééntje kijkt naar de kleur van het zand en bestelt daartoe de juiste schep, etc. Slechts één uitvoerende dus, die daadwerkelijk aan het scheppen is, en veertien observatoren die allemaal cruciale taken hebben, dat zullen al die observatoren verdedigen.

Het controlewerk kan trouwens ook mooi thuis gedaan worden, dan kunnen de controleurs via MS Teams met elkaar bellen en praten over de putjesschepper. Het putjesscheppen zelf kan uiteraard niet thuis, dus het ‘lijkt’ nog efficiënt en duurzaam ook wat die putjesschepper doet, aangezien 93 procent van het bedrijf immers thuiswerkt, en dat is volgens sommigen helemaal de toekomst. Alleen die putjesschepper zelf houdt het proces maar op, kijkende naar de efficiëntiestatistieken, de rendementen. De putjesschepper zelf maakt het proces toch maar moeilijk en ingewikkeld, misschien moet dit personeelslid dat maar eens te horen krijgen in een ontwikkelgesprek. De Wet van Amdahl in levenden lijve.

Okay, beetje extreem dit natuurlijk, tegen beeldspraak aan, maar je begrijpt inmiddels vast een beetje waar ik naartoe wil: ik kan wel wat voorstellen doen voor de nodige bezuinigingen in het onderwijs, laten we maar zeggen. Ga ik er nu in gooien dat ik onze school als zo erg ervaar als hierboven geschetst? Nee. Zó erg niet. Ik ben nu nog op het niveau ‘de maatschappij’, die is veel groter dan slechts Saxion. Hoewel je je soms wel kunt afvragen wat complexer is: de maatschappij beschrijven of Saxion beschrijven…