Testet KI-genererte begrunnelser

I et pilotprosjekt har sensorer ved Universitetet i Agder testet ut om KI kan gjøre arbeidet med begrunnelser mer effektivt. De har benyttet en språkmodell som har generert et førsteutkast til begrunnelse. 

– Hensikten med prosjektet var å utforske om kunstig intelligens kan effektivisere arbeidet for sensorene, slik at studentene kan få begrunnelser tidligere, skriver viserektor ved UiA Hilde Inntjore i en e-post til Journalen. 

Sensor er ansvarlig 

Inntjore påpeker at de genererte begrunnelsene ikke er sendt til studentene direkte, og at sensor er ansvarlig for innholdet i begrunnelsen.

– Forslagene til begrunnelse går til sensorene, som kvalitetssikrer og bearbeider dem før de sendes til studentene. 

Hun understreker at kvaliteten på begrunnelsene skal være minst like god som tidligere. 

Tilbakemeldingene varierer 

På spørsmål om hvordan tilbakemeldingene fra sensorene har vært, svarer Inntjore at tilbakemeldingene avhenger av emnet, formatet på eksamen og hvor detaljert sensorveiledningen er.

– Åtte emner var med i prosjektet. I noen emner kunne forslaget til begrunnelse brukes med bare mindre endringer, mens i andre måtte det gjøres større endringer, fortsetter hun. 

Ser både fordeler og ulemper

Niamh Ni Bhroin er førsteamanuensis ved UiA, og er en av de som har vært med på prosjektet.

Ni Bhroin forteller at det var et spennende og interessant prosjekt å være med på, og at hun ser både fordeler og ulemper ved en slik ordning.

En av utfordringene Ni Bhroin peker på, er at en KI-generert tekst bare er så god som teksten den har tilgjengelig. 

– Det viser hvor nøyaktig man må skrive en sensorveiledning, dersom man skal få ut noe som er helt vanntett på den andre siden.

Ni Bhroin trekker også frem en mulig fordel ved å bruke KI som hjelpemiddel. 

– Når man skriver en begrunnelse kan det være mye repetisjon. Man skal begrunne en karakter, og at besvarelsen møter de generelle kravene til karakteren. Jeg tenker det kan sette i gang en skriveprosess som ellers kan være krevende.

– Blir dobbeltarbeid

Men selv med en svært nøyaktig sensorveiledning, erfarte Ni Bhroin at man må tilbake og kontrollere. 

– Poenget er at KI har ikke det samme skjønn og den samme vurderingsevnen som sensorene har. Du må på en måte gi den alt, så det blir et slags dobbeltarbeid.

Studentene ikke informert

– Får studentene beskjed om at begrunnelsen er skrevet ved hjelp av KI? 

– Jeg vil igjen understreke at disse genererte begrunnelsene ikke er sendt til studentene direkte, og at sensor er ansvarlig for innholdet i begrunnelsen studentene får. Vi har ikke opplyst til studenter som har fått begrunnelse i de aktuelle emnene at kunstig intelligens er brukt som hjelpemiddel, men det er heller ingen grunn til å holde dette hemmelig, svarer viserektor Hilde Inntjore. 

– Er det rettferdig at sensorer får bruke KI til å skrive begrunnelser, når studentene ikke får lov?

– Det er viktig å huske at det er studentenes kunnskaper og ferdigheter som skal testes under eksamen, ikke sensorenes.

Inntjore opplyser videre at studenter på UiA kan bruke kunstig intelligens som hjelpemiddel ved eksamener der alle hjelpemidler er tillatt, forutsatt at de følger retningslinjene for hvordan dette skal dokumenteres i besvarelsen.

Vil ikke overlate arbeidet til KI

Førsteamanuensis Niamh Ni Bhroin sier hun ikke vil overlate arbeidet med begrunnelser til KI helt ennå. 

– Jeg tror det er mye entusiasme rundt det, men selv mener jeg vi bør tenke oss grundig om før en eventuell innføring, sier hun.

– Jeg tror ikke vi er der ennå. Det er min opplevelse og min mening, avslutter Ni Bhroin.

Universitetet i Agder er i gang med å evaluere prosjektet, og vil presentere resultatet av evalueringen når det er klart.