Software die essays beoordeelt?

Daar had ik nog nooit van gehoord. Het schijnt echter zo te zijn dat men in Engeland de werkstukken van leerlingen door software wil laten beoordelen. Is dat een goed idee?

Churchill heeft beroemde woorden gesproken, maar zijn speeches scoren onvoldoende wanneer deze software het voor het zeggen heeft. Ik citeer even: “The wartime leader had a style that was too repetitive, according to the computer being tested for the online marking of school qualifications. It rated Churchill as below average in the equivalent of an A level English exam”. Daar kun je het als Churchill dan mee doen. Het zou natuurlijk een uitschieter, een eenmalige misser kunnen zijn, maar: “Other authors, including Ernest Hemingway and William Golding, were also dismissed by the computer as not being up to standard in the American equivalent of an A-level English exam”.

Deze twee citaten zijn direct een antwoord op mijn eerdere vraag. Het lijkt dus geen goed idee. Als grote schrijvers en redenaars als zijnde beneden niveau worden weggezet dan lijkt het me niet erg verstandig om deze software te gaan gebruiken.

Wat is nu de reden van het falen van de computer? “The computer was limited in its scope. It couldn’t cope with metaphor and didn’t understand the purpose of the speech. We also tried a passage from Hemingway. It couldn’t understand the fact that he had a very spartan style and [it] said he should write with more care and detail. He was also rated less than average”. De computer heeft dus moeite met de context en met de bedoeling van schrijvers, voelt als het ware niet aan waar het een auteur om te doen is.

Toch worden computers meer en meer ingezet bij het beoordelen van voornamelijk multiple choice examens. Ook het beoordelen van essays vindt in Amerika bijvoorbeeld al plaats. Het zit er dus aan te komen. Daar zijn sommige leerlingen al weer zo aan gewend geraakt dat ze weten in welke stijl ze moeten schrijven om goede cijfers te krijgen van de computer: “….some children in America had “cracked the code” by learning to write in a style that the computer recognised. This was called “schmoozing the computer”, he said”. De omgekeerde wereld. Een uitgebreid artikel hierover leest u hier in de Times.