DI 1994, nr. 13

(Rubriek)

OMSLAGARTIKEL

 

(Streamer)

INTERVIEW MET PROF. WAGENAAR + BEPAALDE TECHNISCHE SYSTEMEN NODIGEN UIT TOT MAKEN VAN FOUTEN + ANALYSE VAN BEKENDE RAMPEN

 

(Bovenkop)

Techniek moet rekening houden met menselijke feilbaarheid

 

(Kop)

Helaas controleert de mens de machine

 

(Intro)

Een botsing tussen twee vliegtuigen als op het vliegveld van Tenerife in 1977 zal zich nog wel eens voordoen. Dat meent de bekende Leidse hoogleraar prof.dr. W.A. Wagenaar. Het communicatiesysteem in de luchtvaart is sindsdien namelijk niet veranderd. Voor cruciale beveiliging wordt te veel vertrouwd op feilbare mensen. ‘Vaak uit angst voor techniek’, aldus Wagenaar. – Erwin van den Brink –

 

(Credit auteur)

De auteur is redacteur van ‘De Ingenieur’.

 

 

Van de rampen die zich voltrekken in de indus­trie en het transport zijn de meeste volgens de officiële statistieken te wijten aan menselijke fouten. Volgens prof.dr. W.A. Wagenaar, spreker tijdens de aanstaande Dies van het KIvI op 10 september 1994 in Groningen, is echter niet de be­stuurder of bedie­ner van een machine de ‘schuldige’, maar ligt de oorzaak bij de ontwerpers van een systeem waarin de mens ramp­zalige fouten kan maken. Tegen beter weten in laten we de mens liever de machine controleren in plaats van anders­om. Mensen doen een specifie­ke handeling gemiddeld één op de duizend keer fout. Machines laten het doorgaans minder dan één op de mil­joen keer afweten. ‘Emoties spelen een belangrijker rol dan inzicht’, aldus Wagenaar, hoogleraar psychologische functie­leer aan de Rijks­universi­teit Leiden.

‘Het treinongeluk op 30 november 1992 bij Hoofd­dorp is een prachtig voor­beeld van hoe we onszelf tech­nisch tekort doen. Er was een omleiding ge­maakt vanwege werk­zaamhe­den. De trein kon die plaats alleen veilig passeren bij ver­minderde snelheid. Daarvoor zijn twee manieren. Eén: je be­denkt een tech­nisch middel om die trein vaart te laten minde­ren. Twee, en deze weg is gekozen: je zegt tegen de bestuur­der dat hij vaart moet minderen. Die man moet dat onthouden en hij moet het ook doen. Dat leidt tot fouten. Op het moment dat hij op dat bewuste punt komt, moet hij zich herinneren: oh, hier ben ik op dat punt en moet ik vaart minde­ren.’

‘Automatische Trein Beveiliging is een mooi voorbeeld van de angst voor techniek. De ATB stopt geen treinen bij rood licht, de ATB stopt de trein als hij geen vaart mindert bij oranje licht. Zolang hij dat wel doet, kan hij daarna gewoon door rood rijden. En waarom dat nou is… In feite is het angst voor techniek. Bij werkzaamheden zoals bij Hoofddorp heeft men niet eens de mogelijkheid om de trein vanzelf te laten stoppen als hij geen vaart mindert. Dat is daar helemaal aan de mens overgelaten.’

‘Waar ik bezwaar tegen heb is dat als mensen dan iets fout doen, ze de schuld krijgen, terwijl je van tevoren weet dat ze nu eenmaal één op de duizend keer een fout maken. Als daar alles van afhangt, weet je dus dat er een keer een groot ongeluk gebeurt. En de reden dat het gebeurt is niet dat die mens zo slecht is en dus gestraft moet worden, maar dat als je mensen als essen­tiële veiligheidscomponent in een systeem opneemt, je dat risico van een ramp hebt inge­bouwd. De planners, de ontwerpers van zulke systemen zijn de ‘oorzaak’ van de ongelukken.’

 

Kwetsbare logica

De grootste ramp uit de luchtvaart op 27 maart 1977 bevestigt de stelling van Wagenaar. Op die datum botste op het vliegveld Los Rodeos van het Spaanse eiland Tenerife in mistig weer een star­tende KLM-jumbo op een over de startbaan taxiënde PanAm-jumbo. Wage­naar: ‘Je mag in de luchtvaart­communica­tie één vraag tegelijk stel­len, zodat je weet dat het antwoord alleen op die vraag kan slaan.’ Daar ging het fout.

De eerste offi­cier (co-piloot) van het KLM-vliegtuig zei tegen de verkeers­leiding dat de KLM-jumbo klaar was om te starten en vroeg – tegen de regel in – tege­lijk om een uit­vliegprocedu­re. De verkeersleiding gaf de KLM clearance voor de uitvliegprocedure, maar niet voor het opstijgen zelf. De KLM-vlie­ger las even later de uitvliegprocedure ter bevesti­ging voor aan de verkeersleiding en sloot af met de mede­deling dat de start nu was begonnen. De ver­keers­leiding begint dan terug te spre­ken met ‘OK…’ maar de rest van die zin gaat verloren doordat PanAm er door­heen praat – hetgeen óók tegen de regels is.

Wagenaar wijst op wat hij noemt de ‘kwetsbaarheid van het logisch rede­ne­ren.’ De KLM-gezagvoerder wist welis­waar dat behalve zijn eigen vlieg­tuig ook een PanAm-jumbo over dezelf­de start­baan moest taxiën, maar de verkeers­lei­ding had al geruime tijd geleden aan PanAm opgedra­gen de startbaan via ‘de derde af­slag’ te verlaten. Onder normale omstandigheden zou dat ook allang zijn gebeurd­. Het PanAm-vliegtuig reed echter de bedoel­de afslag voorbij omdat de bocht te scherp was voor zo’n groot vlieg­tuig. De bemanning was bovendien pas gaan tellen bij de tweede afslag, omdat de eerste door gepar­keerde vliegtuigen was ge­blokkeerd. Door de mist was dat vanuit de ver­keerstoren niet te zien. Ook de PanAm-bemanning paste een ‘logische redene­ring’ toe die onjuist bleek te zijn.

Dat dit kon gebeuren heeft de KLM-gezagvoerder, al logisch rede­ne­rend, niet kunnen voorzien. In ‘iets niet kunnen voorzien’ schuilt de inherente kwetsbaar­heid van de logische rede­nering.

PanAm interrumpeerde de dialoog tussen de verkeerstoren en het KLM-vliegtuig, omdat het in de mist de afslag van de startbaan niet kon vinden. Wagenaar: ‘De KLM-gezag­voerder leidde uit het ‘OK’ ten onrechte af dat hij voor beide acties, de uitvliegprocedure en de start zelf, toe­stem­ming had. Dat is de kern van de zaak.’ Was die KLM-gezag­voerder dus slecht opgeleid? Nee. ‘Als het overtre­den van een communicatievoorschrift tot zo’n grote ramp kan lei­den, moet je naleving ervan niet van mensen laten afhan­gen, want je weet van tevoren dat het dan een keer fout gaat­. Je weet alleen niet door wie en wanneer.’

 

Bizar

Het communicatiesysteem in de luchtvaart is sindsdien niet in essentie veranderd. Cruciale informatie wordt nog steeds vocaal overgedragen. ‘Dus we krijgen wéér zoiets’, aldus Wagenaar. ‘Dat systeem is niet goed. Een trein gaat niet weg zonder dat er een sein op groen staat, maar een vliegtuig wél. Waarom? Je kunt het technisch onmogelijk maken dat een vliegtuig zonder startklaring weg­gaat.’

Een hek, een drempel zoals in parkeergarages? ‘Inderdaad, als het is om te voorkomen dat iemand verzuimt een rijksdaalder te betalen, dán kan het. Als het gaat om honder­den mensenlevens, dan kan het niet. Dat is volstrekt bizar.’

Waarom wel in een parkeergarage en niet aan de oprit van een startbaan? ‘Men veronderstelt dat mensen weggaan zonder te betalen, omdat daar een goede reden voor is: het spaart geld. Men veronder­stelt dat piloten niet zullen starten zonder startklaring, omdat er een voorschrift is. Daarmee ontkennen we dat er wel eens een goede reden kan zijn om een voorschrift niet op te volgen. Dat KLM-vliegtuig moest helemaal niet op Tenerife zijn; het was uitge­weken. Het mistte. Ze konden niet weg. Toen opeens weer wél. Er was haast. Dan stel je twee vragen tege­lijk, zo gaan die din­gen.’

‘Het gaat hier om de kwetsbaarheid van de logische redenering.’ Aangezien PanAm nog op de startbaan reed, had de captain logisch redenerend tot de conclusie moeten komen dat hij nog niet kon starten. Omdat hij een aspect (mist) niet in zijn redenering betrok, kwam hij tot de verkeerde conclusie. Kwetsbaarheid betekent hier bepaalde aspecten over het hoofd zien. ‘Je krijgt dus in veel gevallen een andere redene­ring, die heel anders verloopt en die tot ver­keerde conclu­sies leidt.’

 

Fatale veronderstellingen

Een dergelijke syste­matiek is ook te her­kennen in de Eper incestzaak waarin Wagenaar als getui­ge­deskundige is opgetreden. Wagenaar: ‘In veel rechtszaken gaat het mij om hetzelf­de. De rechter gaat redene­ren over oorzaak en gevolg in een situatie waarin hij niet alle gege­vens heeft, sommige gege­vens helemaal niet waar zijn en andere gegevens waarschijnlijk zijn. Hoe kan een rechter in zo’n situatie tot een conclusie komen? Logisch gezien kan dat niet, maar dat is niet aanvaardbaar voor een samenleving, want dan zouden we geen rechtspraak hebben.’

‘De rechter gebruikt dus een short cut, heuristiek, een denkwijze die niet strikt logisch is, maar meestal wel tot het goede resultaat leidt en af en toe tot het verkeerde. Naar mijn smaak zou je in de rechtspraak bewijsregels nodig hebben die vooral de kans minimaliseren dat zulke heuristieken tot verkeerde conclusies leiden. Het Nederlandse bewijsrecht gaat er vanuit dat de rechter logisch redeneert, maar dat is onzin want dat kan niet. De eenvoudige regel die de rechter ervan zou kunnen weerhou­den om tot onlogische conclusies te komen, is dat hij in het vonnis moet beredeneren hoe hij tot zijn conclusie komt. Als je iemand dwingt om het op te schrijven, vallen hem of haar vaak opeens de schellen van de ogen. De wet schrijft voor dat rechters een vonnis motiveren. In de praktijk is dat almaar verwa­terd. De rechter geeft wel aan wat de be­wijsmid­de­len zijn, maar legt niet uit hoe die dingen eigenlijk iets bewijzen.’

Vaak kun je aan de stand van een afsluiter niet zien of hij open of dicht staat. Dat leidt tot fatale veronderstel­lingen. Rechtspraak is echter geen technisch, maar een mense­lijk systeem. Wagenaar: ‘Ook dan kun je het denkproces van mensen sturen door ze de juiste informatie aan te bieden. Aan een afslui­ter moet je kunnen zien of hij open of dicht staat. Evenzo moet een rech­ter bewijs niet verkrijgen door twee verdachten tegen elkaar te laten getui­gen.’ Die informatie is onbetrouwbaar. En toch gebeurt het. Als de rechtbank vermoedt dat het enige bewijs is te verwachten van twee verdachten van hetzelfde misdrijf, kan ze er twee aparte zaken van maken en die ge­lijktijdig behan­delen. Dat is niet goed, meent Wagenaar, maar ‘je kunt het probleem niet oplossen door te zeggen: verkeers­vliegers, scheepskapi­teins, rechters moeten dit of moeten dat. Je moet uitgaan van wat ze doen. En dáárbij een systeemontwerp maken dat tot veiligheid en betrouw­baarheid leidt, of het nu in de indu­strie, het transport of in de rechtspraak is. Rechters redene­ren nu eenmaal zo. Met welke randvoorwaarden kun je zorgen dat die redeneringen niet tot fouten leiden? Ga uit van het feilba­re gedrag van mensen. Neem het gedrag maar als onveranderlijk, niet te beïnvloeden.’

 

Feed-back

Die gedachtengang past Wagenaar ook toe op milieugedrag.

‘Je kunt wel een bord ‘maximum toegestane snelheid’ langs de weg plaatsen, maar ten eerste is het duur en ten tweede is het een open-eindfinanciering. Want je moet mensen niet alleen iets leren en ze controleren, je moet dat ook blijven doen.’

Dat gedrag niet te veranderen is, klinkt bijna defaitis­tisch. Wagenaar: ‘Ik vind het prachtig. Ik vind mensen niet zo slecht. Je zou haast zeggen dat mensen van nature een enorme weerstand hebben tegen leren en er is misschien ook wel een goede reden voor dat mensen zich niet al te gemakkelijk laten beïnvloeden. Wij hebben een aantal gedragspatronen die waardevol zijn als het gaat om overleven en die je niet ineens moet veranderen omdat je een uitzondering tegenkomt.’

Mensen die 365 dagen per jaar autorijden, trappen om te overleven hard op de rem bij een noodstop. Het is ze niet af te leren om in zo’n noodsituatie zachtjes te remmen als het die ene dag vriest en spekglad is. Het anti­blokkeersysteem is een mooi voorbeeld van techniek die wél aan­sluit op onveranderlijk ‘feilbaar’ mense­lijk gedrag.

Een ander voorbeeld. ‘Ik herinner mij een ongeluk met een installatie die altijd onder druk gehouden moest worden. Er was een meter met een verticale schaalverdeling van laag naar hoog en daarnaast zat een hendel die daarmee correspondeerde, dus hendel omhoog betekende druk omhoog. Op een gegeven moment viel de druk weg en door de intercom kwam de mededeling: meer druk! De man die de instal­latie bediende schrok op en drukte instinc­tief de hendel naar bene­den want drukken doe je meestal naar beneden.’

‘De ontwerper van mijn telefoon heeft een functie bedacht, namelijk doorschake­len, en die onder een bepaalde knop gebracht. Vervolgens is hij een bijpassend symbool gaan bedenken en is hij uitgekomen op twee pijl­tjes achter elkaar. Die hebben zodoende voor hem een eigen van­zelf­sprekend­heid gekregen. Maar ik redeneer als gebruiker in omgekeer­de richting. Ik zie twee pijl­tjes en begin daar bij te associren. Ont­werpers kunnen in een ont­werpproces niet nagaan hoe iemand redeneert zonder hun voorkennis. De meeste mensen gebruiken de meeste functies van een apparaat daarom nooit.’

‘Dat iemand iets fout ont­werpt is niet zo erg, het is zelfs onver­mijdelijk. Maar die fouten moeten op den duur verdwijnen door feed-back met de gebruiker, en dat moet je organiseren. Als je bij alles wat je op die manier te weten komt zegt dat de gebruiker dom is, dan heb je het feed­-backsys­teem doorgesneden.’

 

 

 

 

(KADER)

Scenario van een ramp

 

Er moet doorgaans onwaarschijnlijk veel fout gaan voordat zich een ramp voltrekt. Dat het onwaarschijnlijke tóch ge­beurt, komt doordat alle fouten op zichzelf niet alarmerend zijn.

Wagenaar geeft de analyse van een ramp weer in een schema van gelijktijdige en opeenvolgende oorzaken. Twee of meer gelijktijdige oorzaken leiden tot een gevolg dat op zichzelf weer een van de oorzaken is van een gevolg dat uiteindelijk uitmondt in een ramp. Als alle gelijktij­dige oorzaken zich moeten voordoen om het gevolg teweeg te brengen, is sprake van een ‘en’-poort. Als slechts één van de mogelijke oorzaken zich hoeft voor te doen is sprake van een ‘of’-poort.

In geval van veel ‘en’-poorten is de ramp onwaarschijnlijker, omdat dan veel meer fout moet gaan. Dat gebeurde vooraf­gaand aan het kapseizen van de veerboot Herald of Free Enter­prise op 6 maart 1987 tijdens het verlaten van de haven van het Belgische Zeebrugge. Er kwamen 180 mensen om het leven.

Wat ging er allemaal fout? De boegdeuren waren niet gesloten. De matroos die daar voor had moeten zorgen, was in slaap geval­len. Op het instrumentenpaneel op de brug was geen alarmlicht voor tijdens de vaart geopende boegdeuren (techniek) want het was goedkoper dat door een (feilbare) officier te laten con­troleren. De betreffende functionaris had op dat moment nét even andere dringende bezigheden.

Het schip was ontworpen voor de kadehoogte in Calais. De kade in Zeebrugge was lager, zodat de auto’s niet naar binnen konden rijden. Daarom had men ballasttanks laten vollopen zodat de boeg van het schip lager kwam te liggen. Er was haast en geen tijd om voor de afvaart de ballasttanks leeg te pompen. Vanwe­ge de haast gaf de kapitein volle kracht vooruit. Er ontstond daardoor een hogere boeggolf die door de lager dan normaal gelegen geopende deuren naar binnen spoelde.

Op 14 december 1982 verdronken vier mannen in ruim 6 van het motor­schip Farmsum toen de scheidingswand met ruim 5 brak, dat vol water bleek te staan.

Hoe kon het dat niemand dat wist? Achteraf weten we dat ruim 5 vol water was gelopen doordat ballastwater vanuit ruim 4 lekte. De stuurman zag welis­waar het peil in ruim 4 dalen, maar hij nam een andere oorzaak aan. Hij was namelijk bezig met het wegpompen van spoelwater uit ruim 6, toen hij zag dat een afslui­ter in de verkeerde stand stond. In die stand zou de pomp niet ruim 6 ledigen maar ruim 4. Kennelijk was per abuis bal­lastwa­ter uit ruim 4 weggepompt in plaats van spoelwater uit ruim 6.

De afslui­ter ver­schafte de stuurman een hypothese en het weggelopen water bevestigde die. Mensen aanvaarden hypo­thesen op grond van bevestigende informatie zonder de hypothese aan een kritische test te onderwerpen. In de praktijk blijkt de meest waarschijnlijke hypothese immers het vaakst correct te zijn. Deze denkwijze wordt dus zelden afgestraft.

Het aanvaarden van een diagnose snijdt de weg af naar het vinden van andere mogelijke oorzaken. Op dezelfde manier waren de operators van de kerncentrale op Three Mile Island, toen zij eenmaal in de overtuiging verkeerden dat er een overmaat aan koelwa­ter was, niet meer in staat te ontdekken dat juist koelwater weglekte.

De praktijk leert dat we net als de stuurman het liefst van (veronderstelde) oorzaak naar (manifest) gevolg redeneren: dus voorwaarts in de tijd (zie schema met ‘en’-poorten). Er zijn in de nucleaire technologie nogal wat pogingen gedaan om voorwaartsdenkende systemen te ontwikkelen. Die voorspellen de gevolgen van storingen op grond van een geïdealiseerd technisch model. De operator kent echter de aard van de storing niet, maar alleen het effect. Hij wordt pas echt geholpen indien het systeem helpt om vanuit het effect terug te redene­ren naar alle moge­lijke oorzaken (zie schema met ‘of’-poor­ten). Daarna kan men vooruitden­kend, vanuit elke mogelijke oorzaak afzonderlijk, nagaan welke oorzaak leidt tot het gecon­stateerde ef­fect.

 

 

(BIJSCHRIFTEN BIJ SCHEMA’S HOREND BIJ KADERSTUK)

Oorzaak en gevolg met ‘en’-poorten

(alle mogelijke oorzaken moeten zich voordoen)

 

Oorzaak en gevolg met ‘of’-poorten

(slechts één oorzaak hoeft zich voor te doen)

 

Oorzaak en gevolg bij ramp Herald of Free Enterprise

 

 

 

(QUOTE BIJ DIA PROF. WAGENAAR)

‘Als je mensen als essen­tiële veiligheidscomponent in een systeem opneemt, bouw je het risico van een ramp in’, prof. Wagenaar

(Foto: Michel Wielick, Amsterdam)

 

 

(BIJSCHRIFTEN)

 

(BIJ DIA’S GEKAPSEISDE BOOT)

Een fatale keten van kleine voorvallen gaat vooraf aan het kapseizen van de Herald of Free Enterprise in 1987; 180 mensen komen om het leven.

(Foto: ANP Foto, Amsterdam)

 

 

(BIJ DIA’S WRAKSTUKKEN VLIEGTUIG)

Op 27 maart 1977 botsen twee vliegtuigen op de startbaan van Tenerife op elkaar wegens slechte communicatie en verkeerde gevolgtrekkingen.

(Foto: ANP Foto, Amsterdam)

 

 

(BIJ FOTO’S TREINRAMP)

Prof. Wagenaar over de treinramp bij Hoofddorp, december 1992: ‘Bij werkzaamheden zoals bij Hoofddorp heeft men niet eens de mogelijkheid om de trein vanzelf te laten stoppen als hij geen vaart mindert. Dat is daar helemaal aan de mens overgelaten.’ (Foto: ANP Foto, Amsterdam)