Eleven regner på en mini-språkmodell for å forstå hvordan den fungerer. Arbeidsarket gir en innføring i både
- Hva et nevralt nettverk er og hvordan det fungerer
- Hva vi mener med et "meningsrom"
- Hvordan språkmodeller trenes og brukes til å forutsi "det neste ordet".
Dette arbeidsarket fanger essensen av et nevralt nettverk og hvordan en språkmodell fungerer. Men merk at dette er en veldig forenklet språkmodell. For eksempel er det ikke slik at ordene i seg selv innflettes i meningsrommet, men ordene brytes ned i såkalte "tokens" som er mindre biter av ord. For elever som vil ha den fulle oversikten anbefaler jeg serien om språkmodeller av 3Blue1Brown.
Oppgave 6
Geogebra-appleten under brukes i oppgave 6 hvor elevene skal forsøke å stille parameterne i språkmodellen.
Students work through a mini language model by hand to understand how it works. The worksheet gives an introduction to
- What a neural network is and how it works
- What we mean by a "meaning space"
- How language models are trained and used to predict "the next word".
This worksheet captures the essence of a neural network and how a language model works. Note, though, that this is a very simplified language model. For example, it's not actually the words themselves that get embedded in the meaning space — the words are broken down into so-called "tokens", which are smaller pieces of words. For students who want the full picture, I recommend 3Blue1Brown's series on language models.
Task 6
The GeoGebra applet below is used in task 6, where students try adjusting the parameters of the language model.