Microgpt-ts – visas GPT įgyvendintas 500 TypeScript eilučių, be priklausomybių

Santrauka lietuviškai

Šis projektas yra Andrej Karpathy microgpt Python įgyvendinimo perkėlimas į TypeScript. Jame įgyvendinta visa GPT-2 architektūra (autograd, tokenizer, multi-head attention, RMSNorm ir Adam optimizer) maždaug 500 eilučių kodo be jokių priklausomybių. Modelis veikia tiesiogiai naršyklėje, nereikia Python ar serverio. Kodo struktūra yra skaidresnė nei originalo – naudojami pavadinti pagalbiniai metodai ir tipai, kas palengvina skaitomumą. Kiekvienas raidos etapas yra atskiras GitHub įrašas, leidžiantis sekti progresą nuo paprasčiausio bigram modelio iki pilno GPT.