En serie med videoer som viser hvordan nevrale nettverk, læring og språkmodeller fungerer. Noe avansert matematikk, men utrolig flotte animasjoner. Under har jeg gitt hver video en egen tittel og en liten oppsummering av hva hver video i serien går gjennom.
Kapittel 1 - Hva er et nevralt nettverk?
Hva er et "nevralt nettverk", nevroner, lag (layers) og parametre, og hvordan kan dette brukes til å predikere identifisere hva et bilde består av.
Kapittel 2 - Hvordan lærer nevrale nettverk?
Magien i det nevrale nettverk kan gjøre ligger i tilpassingen av parametrene. Men hvordan finstiller man disse?
Kapittel 3 - En "læreteknikk": backpropagation
Mennesker lærer ved repitisjon og øvelse. Backpropagation (tilbakeforplantning på norsk), er en effektiv måte å trene nevrale nettverk på.
Kapittel 4 - Matematikken bak backpropagation
Nevrale nettverk er i bunn og grunn en stor haug med lineær algebra.
Kapittel 5 - Hvordan transformermodeller fungerer
GPT står for Generative Pre-trained Transformer. En transformermodell er teknologien som ligger i bånn av språkmodeller som chatGPT.
Kapittel 6 - Hva gjør chatGPT så bra? Attention!
Grunnen til at vi hører så mye om KI i dag skyldes en banebrytende innovasjon fra 2017, et attention-lag i det nevrale nettverket.
Kapittel 7 - Hvordan kan chatGPT så mye?
Det er nesten magisk hvor mye ChatGPT kan. I dette siste kapittelet går 3blue1brown gjennom hvordan språkmodellene lagrer fakta i parameterne sine.
A series of videos showing how neural networks, learning, and language models work. Some advanced mathematics, but incredibly beautiful animations. Below, I've given each video its own title and a short summary of what it covers.
Chapter 1 - What is a neural network?
What is a "neural network," neurons, layers, and parameters, and how this can be used to predict and identify what an image is of.
Chapter 2 - How do neural networks learn?
The magic a neural network can perform lies in the tuning of its parameters. But how do you fine-tune these?
Chapter 3 - A "learning technique": backpropagation
Humans learn through repetition and practice. Backpropagation is an effective way to train neural networks.
Chapter 4 - The mathematics behind backpropagation
Neural networks are, at their core, a big pile of linear algebra.
Chapter 5 - How transformer models work
GPT stands for Generative Pre-trained Transformer. A transformer model is the technology underlying language models like ChatGPT.
Chapter 6 - What makes ChatGPT so good? Attention!
The reason we hear so much about AI today comes down to a groundbreaking innovation from 2017: an attention layer in the neural network.
Chapter 7 - How does ChatGPT know so much?
It's almost magical how much ChatGPT knows. In this final chapter, 3blue1brown goes through how language models store facts in their parameters.