Fizikos pagrįstas imituoklis paskirstytam LLM mokymui ir išvadoms

Santrauka lietuviškai

Sukurta analitinė imituoklio sistema, skirta įvertinti MFU, mokymo laiką, atminties naudojimą, pralaidumą ir išlaidas paskirstytam LLM mokymui ir išvadoms. Sistema palaiko daugiau nei 70 modelių, 25 GPU tipus ir visus pagrindinius paralelizmo metodus, įskaitant FSDP, TP, PP, EP, CP ir ZeRO. Visi skaičiavimai atliekami kliento pusėje – nereikia serverio ar duomenų rinkimo.