Dette går ut på å gi tilbakemelding basert på menneskelige vurderinger og bruke KI til å sammenfatte dette. Du kan gjennomføre dette ved å be studentene om å gi tilbakemelding til en elev på hans presentasjon, og deretter be KI om å sammenfatte det elevene har skrevet. Det gir en mulighet til å styre hvordan tilbakemeldingen skal se ut og kanskje filtrere ut unkonstruktive tilbakemeldinger. Under kan du lese et eksempel fra min undervisning.

Eksempel fra min undervisning

Jeg hadde en økt med studenter på Universitetet i Oslo hvor vi skulle jobbe med presentasjonsteknikk. Dette opplegget bygger på en artikkel av Estrada et al. (2005), hvor de går gjennom hva som gir en god presentasjon. Anbefaler den artikkelen.

I opplegget skulle alle studentene framføre en del av en presentasjon, 3 minutter, enten et helt opplegg eller bare introduksjonen. 3 minutter er veldig kort og ideelt skulle jeg gitt mer tid, men denne gangen hadde jeg bare denne ene økten med alle studentene og ville gi alle en sjanse.

En etter en gikk studentene opp og presenterte sitt. Deretter ba jeg de gi tilbakemelding i et nettskjema (innfyllingskjema på nett) som jeg hadde opprettet på hver student. Her ba jeg de om å skrive hva som var bra for hver enkelt student og hva hen kunne gjøre bedre. Deretter tok de samlede svarene fra studentene og fikk KI til å generer tilbakemelding.

Jeg skrev følgende ledetekst og lastet opp artikkelen av Estrada et al.

---

Du skal hjelpe meg å gi tilbakemelding til en rekke studenter som har hatt foredrag for hverandre. I forkant av presentasjonen har vi jobbet med en artikkel som jeg har lastet opp her av Estrada et al. (2005) hvor de kategoriserer tre aspekter ved en god muntlig presentasjon og hvordan man kan gjøre sin bedre. For å generere tilbakemeldingen til hver student, ønsker jeg at du gir en detaljert og utfyllende tilbakemelding på hver av områdene separat – først det som har med content å gjøre, deretter slides og til slutt presentation. Ha fokus på den positive tilbakemeldingen – hva som var bra, men trekk også frem hva tilhørerne mente at kunne bli bedre. Prøv å knytt tilbakemeldingen til det som Estrada et al. diskuterer i sin artikkel. Dersom det var uenighet i tilbakemeldingene, kommenter dette og illustrer gjerne med direkte sitater fra tilbakemeldingene. Ikke ta med useriøs tilbakemelding som går på person eller som er ukonstruktiv. Øverst i tilbakemeldingen skal du skrive «Tilbakemelding [NAVN]. Denne tilbakemeldingen lener seg på artikkelen The 10-Minute Oral Presentation: What Should I Focus on? av Estrada et al. (2005).» Dette er en preinstruks og jeg skal gi deg tilbakemeldingene fra studentene en etter en. Svar med «Takk for info, jeg er klar for å generere første tilbakemelding.»

---

Jeg brukte GPT UiO med modellen GPT-4 Omni.

Her er den «rå» tilbakemeldingen en av studentene fikk på sin presentasjon (jeg har fått tillatelse til å dele).

Innhold (content)

Lysbilder (slides)

Jeg matet så alt dette inn i GPT UiO, sammen med artikkelen og ledeteksten, og fikk følgende tilbake.

---

Denne tilbakemeldingen lener seg på artikkelen The 10-Minute Oral Presentation: What Should I Focus on? av Estrada et al. (2005).

Content – Positive tilbakemeldinger:

Studentene fremhever at presentasjonen inneholdt relevante bilder og informasjon som var lett å forstå. Dette går hånd i hånd med Estrada et al.’s anbefaling om å ha klare konsepter og relevans for publikum. De sa at informasjonen var tydelig og målrettet mot gruppa, noe som gjør det enkelt for de som ikke har bakgrunn i farmasi å følge med. Dette samsvarer med anbefalingen om å tydelig definere viktige konsepter og å gjøre dem relevante.

Content – Forbedringsområder:

Det er nevnt at det kunne vært en klarere forklaring på forskjellen mellom virkestoff og hjelpestoff. Selv om noen ikke har noe konkret å påpeke, er dette et punkt for potensielle forbedringer ved å sikre at essensielle konsepter er klart definert, slik Estrada et al. foreslår. Uenigheter i tilbakemeldingene er ikke tydelige, men den generelle oppfatningen synes å være positive.

Slides – Positive tilbakemeldinger:

Studentene roser klare og oversiktlige bilder, relevant tekst, og enkle diagrammer som ikke er overveldende. Dette er i tråd med Estrada et al.’s anbefaling om å bruke forståelige og klare slides med enkelt layout relevante bilder.

Slides – Forbedringsområder:

Det ble foreslått å inkludere flere bilder og redusere mengden tekst på noen slides. Estrada et al. anbefaler å bruke korte setninger og begrense antallet ord per slide, noe som kan implementeres for å forbedre slides ytterligere.

Presentation – Positive tilbakemeldinger:

Presentasjonen ble utført med fri form fra manus og med en klar og tydelig stemme. Studentene merker også at tempoet var godt, og det var opprettholdt god øyekontakt med publikum. Disse kvalitetene er lik Estrada et al.’s anbefalinger for å bruke en tydelig stemme, variere tonen, og opprettholde øyekontakt som viktige aspekter ved presentasjonsstilen.

Presentation – Forbedringsområder:

Det ble anbefalt å redusere fokus på skjermen og å minimer «um»-lyder. Å unngå å se for mye på slides kan forbedres ved å praktisere mer og være mer engasjerende med publikum, som foreslått i artikkelen. Kommentarer tyder også på at det var litt avhengighet av slides, hvilket kan håndteres med mer frihet fra manus.

Samlet sett viser tilbakemeldingene en positiv opplevelse av presentasjonen, med noen mindre forbedringsområder som tydelig kan adresseres for å sikre en enda mer effektiv muntlig fremføring.

---

Er dette nyttig?

Jeg tror dette kan være en nyttig måte å gi tilbakemelding på av flere grunner.

• KI som et filter som kan filtrere bort useriøse tilbakemeldinger
• Ved å skrive en god preinstruks kan du velge hva tilbakemeldingen skal fokusere på og forankre det i relevant litteratur slik jeg har gjort overfor.
• Du kan også velge hvordan KI skal gi tilbakemelding – fokusere på det positive osv. Det er mye forskning som viser at positiv tilbakemelding mer effektiv enn negativ.
• Du kan sørge for at tilbakemeldingen er på oppgave- og prosessnivå istedet for på personnivå. (Hattie, J., & Timperley, H., 2007).

Andre erfaringer

• Noen ganger klarte ikke KI å lese riktig kjønn basert på navnet alene, så dette måtte jeg klargjøre.
• Jeg ga også studentene de «rå» tilbakemeldingene siden alle var konstruktive med hverandre. Jeg kan se for meg at dersom det hadde vært flere (jeg hadde en 12-13 stykker) så hadde det tatt for lang tid å skumme gjennom alle.
• Jeg spurte studentene om de syntes det var interessant å få tilbakemelding fra KI, men de tilbakemeldingene jeg fikk sa at de syntes det var mer spennende å lese de «rå» tilbakemeldingene.

Forbedringer neste gang

Studentene hadde litt dårlig tid til å gi tilbakemelding og se hverandres presetnasjoner. 3 minutter er forlite. Dessuten vil jeg neste gang instruere dem om å ta notater for hånd underveis slik at de har noe å referere til når de skriver inn på PC etterpå. Det fungerer veldig godt å ha en konkret artikkel å lene seg på.

Referanser

Estrada, C. A., Patel, S. R., Talente, G., & Kraemer, S. (2005). The 10-Minute Oral Presentation: What Should I Focus on? The American Journal of the Medical Sciences, 329(6), 306–309. https://doi.org/10.1097/00000441-200506000-00010

Hattie, J., & Timperley, H. (2007). The Power of Feedback. Review of Educational Research, 77(1), 81–112. https://doi.org/10.3102/003465430298487