PureBee – programiškai apibrėžtas GPU, veikiantis Llama 3.2 1B 3.6 tok/sek greičiu

Santrauka lietuviškai

PureBee yra programiškai apibrėžtas GPU, kuris veikia kaip programinės įrangos specifikacija, apimanti atmintį, variklį, instrukcijų rinkinį ir vykdymo aplinką. Jis gali vykdyti Llama 3.2 1B modelio išvadas 3.6 ženklų per sekundę greičiu naudojant vieną CPU branduolį. Skirtingai nuo kitų sprendimų, WASM skaičiavimo branduolys yra sukurtas baitas po baito JavaScript kalba vykdymo metu, be kompiliatorių ar statybos etapų. Visa sistemos architektūra – įskaitant matematinių operacijų vykdytoją – yra patikrinamo pradinio kodo forma, o licencija FSL-1.1 leidžia nemokamą asmeninį ir vidinį naudojimą.