Show HN: Llama 3.1 70B modelis ant vienos RTX 3090 per NVMe į GPU apeinant procesorių
xaskasdf·▲ 381·21.02.2026 22:57
Santrauka lietuviškai
Šis projektas atsiranda iš klausimo, ar galima paleisti transformer modelius apeinant procesorių ir RAM, tiesiogiai sujungiant vaizdo plokštę su NVMe atmintimi. Eksperimentinis sprendimas leidžia veikti net ir vartotojiškoms vaizdo plokštėms, nors profesionalios turėtų pasiekti geresnius rezultatus. Įgyvendinta technika atveria naujas galimybes efektyviai naudoti didelius AI modelius įprastoje aparatinėje įrangoje.
Originalus pavadinimas
Show HN: Llama 3.1 70B on a single RTX 3090 via NVMe-to-GPU bypassing the CPU
Susijusios naujienos