Dette går ut på å gi tilbakemelding basert på menneskelige vurderinger og bruke KI til å sammenfatte dette. Du kan gjennomføre dette ved å be studentene om å gi tilbakemelding til en elev på hans presentasjon, og deretter be KI om å sammenfatte det elevene har skrevet. Det gir en mulighet til å styre hvordan tilbakemeldingen skal se ut og kanskje filtrere ut unkonstruktive tilbakemeldinger. Under kan du lese et eksempel fra min undervisning.
Eksempel fra min undervisning
Jeg hadde en økt med studenter på Universitetet i Oslo hvor vi skulle jobbe med presentasjonsteknikk. Dette opplegget bygger på en artikkel av Estrada et al. (2005), hvor de går gjennom hva som gir en god presentasjon. Anbefaler den artikkelen.
I opplegget skulle alle studentene framføre en del av en presentasjon, 3 minutter, enten et helt opplegg eller bare introduksjonen. 3 minutter er veldig kort og ideelt skulle jeg gitt mer tid, men denne gangen hadde jeg bare denne ene økten med alle studentene og ville gi alle en sjanse.
En etter en gikk studentene opp og presenterte sitt. Deretter ba jeg de gi tilbakemelding i et nettskjema (innfyllingskjema på nett) som jeg hadde opprettet på hver student. Her ba jeg de om å skrive hva som var bra for hver enkelt student og hva hen kunne gjøre bedre. Deretter tok de samlede svarene fra studentene og fikk KI til å generer tilbakemelding.
Jeg skrev følgende ledetekst og lastet opp artikkelen av Estrada et al.
Ledetekst
Du skal hjelpe meg å gi tilbakemelding til en rekke studenter som har hatt foredrag for hverandre. I forkant av presentasjonen har vi jobbet med en artikkel som jeg har lastet opp her av Estrada et al. (2005) hvor de kategoriserer tre aspekter ved en god muntlig presentasjon og hvordan man kan gjøre sin bedre. For å generere tilbakemeldingen til hver student, ønsker jeg at du gir en detaljert og utfyllende tilbakemelding på hver av områdene separat - først det som har med content å gjøre, deretter slides og til slutt presentation. Ha fokus på den positive tilbakemeldingen - hva som var bra, men trekk også frem hva tilhørerne mente at kunne bli bedre. Prøv å knytt tilbakemeldingen til det som Estrada et al. diskuterer i sin artikkel. Dersom det var uenighet i tilbakemeldingene, kommenter dette og illustrer gjerne med direkte sitater fra tilbakemeldingene. Ikke ta med useriøs tilbakemelding som går på person eller som er ukonstruktiv. Øverst i tilbakemeldingen skal du skrive "Tilbakemelding [NAVN]. Denne tilbakemeldingen lener seg på artikkelen The 10-Minute Oral Presentation: What Should I Focus on? av Estrada et al. (2005)." Dette er en preinstruks og jeg skal gi deg tilbakemeldingene fra studentene en etter en. Svar med "Takk for info, jeg er klar for å generere første tilbakemelding."
Jeg brukte GPT UiO med modellen GPT-4 Omni.
Her er den "rå" tilbakemeldingen en av studentene fikk på sin presentasjon (jeg har fått tillatelse til å dele).
Innhold (content)
Lysbilder (slides)
Jeg matet så alt dette inn i GPT UiO, sammen med artikkelen og ledeteksten, og fikk følgende tilbake.
Denne tilbakemeldingen lener seg på artikkelen The 10-Minute Oral Presentation: What Should I Focus on? av Estrada et al. (2005).
Content - Positive tilbakemeldinger:
Studentene fremhever at presentasjonen inneholdt relevante bilder og informasjon som var lett å forstå. Dette går hånd i hånd med Estrada et al.'s anbefaling om å ha klare konsepter og relevans for publikum. De sa at informasjonen var tydelig og målrettet mot gruppa, noe som gjør det enkelt for de som ikke har bakgrunn i farmasi å følge med. Dette samsvarer med anbefalingen om å tydelig definere viktige konsepter og å gjøre dem relevante.
Content - Forbedringsområder:
Det er nevnt at det kunne vært en klarere forklaring på forskjellen mellom virkestoff og hjelpestoff. Selv om noen ikke har noe konkret å påpeke, er dette et punkt for potensielle forbedringer ved å sikre at essensielle konsepter er klart definert, slik Estrada et al. foreslår. Uenigheter i tilbakemeldingene er ikke tydelige, men den generelle oppfatningen synes å være positive.
Slides - Positive tilbakemeldinger:
Studentene roser klare og oversiktlige bilder, relevant tekst, og enkle diagrammer som ikke er overveldende. Dette er i tråd med Estrada et al.'s anbefaling om å bruke forståelige og klare slides med enkelt layout relevante bilder.
Slides - Forbedringsområder:
Det ble foreslått å inkludere flere bilder og redusere mengden tekst på noen slides. Estrada et al. anbefaler å bruke korte setninger og begrense antallet ord per slide, noe som kan implementeres for å forbedre slides ytterligere.
Presentation - Positive tilbakemeldinger:
Presentasjonen ble utført med fri form fra manus og med en klar og tydelig stemme. Studentene merker også at tempoet var godt, og det var opprettholdt god øyekontakt med publikum. Disse kvalitetene er lik Estrada et al.'s anbefalinger for å bruke en tydelig stemme, variere tonen, og opprettholde øyekontakt som viktige aspekter ved presentasjonsstilen.
Presentation - Forbedringsområder:
Det ble anbefalt å redusere fokus på skjermen og å minimer "um"-lyder. Å unngå å se for mye på slides kan forbedres ved å praktisere mer og være mer engasjerende med publikum, som foreslått i artikkelen. Kommentarer tyder også på at det var litt avhengighet av slides, hvilket kan håndteres med mer frihet fra manus.
Samlet sett viser tilbakemeldingene en positiv opplevelse av presentasjonen, med noen mindre forbedringsområder som tydelig kan adresseres for å sikre en enda mer effektiv muntlig fremføring.
Er dette nyttig?
Jeg tror dette kan være en nyttig måte å gi tilbakemelding på av flere grunner.
- KI som et filter som kan filtrere bort useriøse tilbakemeldinger
- Ved å skrive en god preinstruks kan du velge hva tilbakemeldingen skal fokusere på og forankre det i relevant litteratur slik jeg har gjort overfor.
- Du kan også velge hvordan KI skal gi tilbakemelding - fokusere på det positive osv. Det er mye forskning som viser at positiv tilbakemelding mer effektiv enn negativ.
- Du kan sørge for at tilbakemeldingen er på oppgave- og prosessnivå istedet for på personnivå. (Hattie, J., & Timperley, H., 2007).
Andre erfaringer
- Noen ganger klarte ikke KI å lese riktig kjønn basert på navnet alene, så dette måtte jeg klargjøre.
- Jeg ga også studentene de "rå" tilbakemeldingene siden alle var konstruktive med hverandre. Jeg kan se for meg at dersom det hadde vært flere (jeg hadde en 12-13 stykker) så hadde det tatt for lang tid å skumme gjennom alle.
- Jeg spurte studentene om de syntes det var interessant å få tilbakemelding fra KI, men de tilbakemeldingene jeg fikk sa at de syntes det var mer spennende å lese de "rå" tilbakemeldingene.
Forbedringer neste gang
Studentene hadde litt dårlig tid til å gi tilbakemelding og se hverandres presetnasjoner. 3 minutter er forlite. Dessuten vil jeg neste gang instruere dem om å ta notater for hånd underveis slik at de har noe å referere til når de skriver inn på PC etterpå. Det fungerer veldig godt å ha en konkret artikkel å lene seg på.
Referanser
Estrada, C. A., Patel, S. R., Talente, G., & Kraemer, S. (2005). The 10-Minute Oral Presentation: What Should I Focus on? The American Journal of the Medical Sciences, 329(6), 306–309. https://doi.org/10.1097/00000441-200506000-00010
Hattie, J., & Timperley, H. (2007). The Power of Feedback. Review of Educational Research, 77(1), 81–112. https://doi.org/10.3102/003465430298487
This is about giving feedback based on human judgments and using AI to summarize it. You can carry this out by asking students to give feedback to a fellow student on their presentation, and then asking AI to summarize what the students have written. This gives you a way to steer what the feedback looks like, and perhaps filter out unconstructive comments. Below you can read an example from my own teaching.
Example from my teaching
I ran a session with students at the University of Oslo where we were working on presentation technique. This activity builds on an article by Estrada et al. (2005), who go through what makes a good presentation. I recommend that article.
In the session, every student had to deliver part of a presentation, 3 minutes, either a full talk or just the introduction. 3 minutes is very short, and ideally I would have given more time, but this time I only had this one session with all the students and wanted to give everyone a chance.
One by one, the students went up and presented. I then asked them to give feedback in an online form I had created for each student. Here I asked them to write what was good about each individual student's presentation and what they could do better. I then took the combined responses from the students and had AI generate feedback.
I wrote the following prompt and uploaded the article by Estrada et al.
Prompt
You're going to help me give feedback to a number of students who have given presentations to each other. Ahead of the presentations we worked on an article I've uploaded here by Estrada et al. (2005), where they categorize three aspects of a good oral presentation and how to improve each one. To generate the feedback for each student, I want you to give detailed, thorough feedback on each of the areas separately - first content, then slides, and finally presentation. Focus on the positive feedback - what was good - but also bring out what the audience felt could be improved. Try to tie the feedback back to what Estrada et al. discuss in their article. If there was disagreement in the feedback, note this and feel free to illustrate it with direct quotes from the feedback. Don't include unserious feedback that targets the person or is unconstructive. At the top of the feedback, write "Feedback for [NAME]. This feedback draws on the article The 10-Minute Oral Presentation: What Should I Focus on? by Estrada et al. (2005)." This is a pre-instruction, and I'll give you the feedback from the students one at a time. Reply with "Thanks for the info, I'm ready to generate the first piece of feedback."
I used GPT UiO with the GPT-4 Omni model.
Here is the "raw" feedback one of the students got on their presentation (I've been given permission to share it).
Content
Slides
I fed all of this into GPT UiO, together with the article and the prompt, and got the following back.
This feedback draws on the article The 10-Minute Oral Presentation: What Should I Focus on? by Estrada et al. (2005).
Content - Positive feedback:
The students highlight that the presentation contained relevant images and information that was easy to understand. This goes hand in hand with Estrada et al.'s recommendation to have clear concepts and relevance for the audience. They said the information was clear and targeted at the group, making it easy for those without a pharmacy background to follow along. This matches the recommendation to clearly define key concepts and make them relevant.
Content - Areas for improvement:
It was mentioned that the difference between active ingredient and excipient could have been explained more clearly. Even though some had nothing concrete to point to, this is a point for potential improvement by ensuring essential concepts are clearly defined, as Estrada et al. suggest. Disagreements in the feedback aren't obvious, but the general impression seems to be positive.
Slides - Positive feedback:
The students praise clear and well-organized images, relevant text, and simple diagrams that aren't overwhelming. This is in line with Estrada et al.'s recommendation to use understandable, clear slides with a simple layout and relevant images.
Slides - Areas for improvement:
It was suggested that more images be included and the amount of text on some slides be reduced. Estrada et al. recommend using short sentences and limiting the number of words per slide, which could be implemented to further improve the slides.
Presentation - Positive feedback:
The presentation was delivered freely from the script, with a clear, confident voice. The students also note that the pace was good, and good eye contact with the audience was maintained. These qualities match Estrada et al.'s recommendations to use a clear voice, vary tone, and maintain eye contact as important aspects of presentation style.
Presentation - Areas for improvement:
It was recommended to reduce focus on the screen and minimize "um" sounds. Avoiding looking too much at the slides could be improved by practicing more and being more engaging with the audience, as suggested in the article. Comments also indicate some reliance on the slides, which could be addressed with more freedom from the script.
Overall, the feedback shows a positive experience of the presentation, with a few minor areas for improvement that can clearly be addressed to ensure an even more effective oral delivery.
Is this useful?
I think this can be a useful way of giving feedback for several reasons.
- AI acts as a filter that can filter out unserious feedback
- By writing a good pre-instruction, you can choose what the feedback should focus on and ground it in relevant literature, as I've done above.
- You can also choose how the AI should give feedback - focusing on the positive, etc. There's a lot of research showing positive feedback is more effective than negative feedback.
- You can make sure the feedback stays at the task and process level rather than the personal level. (Hattie, J., & Timperley, H., 2007).
Other experiences
- Sometimes the AI couldn't correctly infer gender from the name alone, so I had to clarify this.
- I also gave the students the "raw" feedback, since everyone had been constructive with each other. I can imagine that with a bigger group (I had 12-13 students) it would have taken too long to skim through all of it.
- I asked the students whether they found it interesting to get feedback from AI, but the feedback I got back said they found it more exciting to read the "raw" feedback.
Improvements for next time
The students had too little time to give feedback and watch each other's presentations. 3 minutes is too little. Also, next time I'll instruct them to take notes by hand as they go, so they have something to refer back to when typing it up on the computer afterwards. Having a concrete article to lean on works really well.
References
Estrada, C. A., Patel, S. R., Talente, G., & Kraemer, S. (2005). The 10-Minute Oral Presentation: What Should I Focus on? The American Journal of the Medical Sciences, 329(6), 306–309. https://doi.org/10.1097/00000441-200506000-00010
Hattie, J., & Timperley, H. (2007). The Power of Feedback. Review of Educational Research, 77(1), 81–112. https://doi.org/10.3102/003465430298487