En serie med videoer som viser hvordan nevrale nettverk, læring og språkmodeller fungerer. Noe avansert matematikk, men utrolig flotte animasjoner. Under har jeg gitt hver video en egen tittel og en liten oppsummering av hva hver video i serien går gjennom.
Kapittel 1 – Hva er et nevralt nettverk?
Hva er et «nevralt nettverk», nevroner, lag (layers) og parametre, og hvordan kan dette brukes til å predikere identifisere hva et bilde består av.
Kapittel 2 – Hvordan lærer nevrale nettverk?
Magien i det nevrale nettverk kan gjøre ligger i tilpassingen av parametrene. Men hvordan finstiller man disse?
Kapittel 3 – En «læreteknikk«: backpropagation
Mennesker lærer ved repitisjon og øvelse. Backpropagation (tilbakeforplantning på norsk), er en effektiv måte å trene nevrale nettverk på.
Kapittel 4 – Matematikken bak backpropagation
Nevrale nettverk er i bunn og grunn en stor haug med lineær algebra.
Kapittel 5 – Hvordan transformermodeller fungerer
GPT står for Generative Pre-trained Transformer. En transformermodell er teknologien som ligger i bånn av språkmodeller som chatGPT.
Kapittel 6 – Hva gjør chatGPT så bra? Attention!
Grunnen til at vi hører så mye om KI i dag skyldes en banebrytende innovasjon fra 2017, et attention-lag i det nevrale nettverket.
Kapittel 7 – Hvordan kan chatGPT så mye?
Det er nesten magisk hvor mye ChatGPT kan. I dette siste kapittelet går 3blue1brown gjennom hvordan språkmodellene lagrer fakta i parameterne sine.
Legg igjen en kommentar