Mais comment CHATGPT fait pour comprendre ?
SANS PUBLICITES
Bienvenue dans cette série où je décortique le fonctionnement de ChatGPT… et où je le recode de zéro. Pas besoin d’être dev pour suivre, je t’explique tout simplement.
Dans cet épisode, on attaque la suite directe du précédent épisode : une fois qu'on a nos tokens, on fait quoi ?
On va explorer :
Pourquoi la tokenization ne suffit pas
Comment l'embedding est la clé pour comprendre et traiter du texte efficacement
Comment on entraîne un modèle pour produire des embeddings cohérents ?
Le code : https://github.com/ThePixelCrafted/chatgpt_de_zero
Visualiser les embeddings : https://projector.tensorflow.org
MES RESEAUX :
Insta : https://www.instagram.com/pixelcrafted.raphael
TikTok : https://www.tiktok.com/@pixelcrafted.raphael
Twitter/X : https://x.com/thepixelcrafted
CONTACT : raphael.pixelcrafted@gmail.com
TIMELINE :
00:00 Intro
00:15 Les tokens, ça suffit pas
01:43 Le one-hot encoding, une solution ?
03:27 C'est quoi un embedding ?
05:28 Visualisation et opérations avec les embeddings
07:50 Comment on obtient les embeddings ?
09:51 Détail du fonctionnement de CBOW
13:30 Et ChatGPT dans tout ça ?
14:19 L'encoding positionnel
14:50 Le mécanisme de l'attention
Dans cet épisode, on attaque la suite directe du précédent épisode : une fois qu'on a nos tokens, on fait quoi ?
On va explorer :
Pourquoi la tokenization ne suffit pas
Comment l'embedding est la clé pour comprendre et traiter du texte efficacement
Comment on entraîne un modèle pour produire des embeddings cohérents ?
Le code : https://github.com/ThePixelCrafted/chatgpt_de_zero
Visualiser les embeddings : https://projector.tensorflow.org
MES RESEAUX :
Insta : https://www.instagram.com/pixelcrafted.raphael
TikTok : https://www.tiktok.com/@pixelcrafted.raphael
Twitter/X : https://x.com/thepixelcrafted
CONTACT : raphael.pixelcrafted@gmail.com
TIMELINE :
00:00 Intro
00:15 Les tokens, ça suffit pas
01:43 Le one-hot encoding, une solution ?
03:27 C'est quoi un embedding ?
05:28 Visualisation et opérations avec les embeddings
07:50 Comment on obtient les embeddings ?
09:51 Détail du fonctionnement de CBOW
13:30 Et ChatGPT dans tout ça ?
14:19 L'encoding positionnel
14:50 Le mécanisme de l'attention
Aucun commentaire:
Enregistrer un commentaire