Show HN: L88 – Vietinė RAG sistema 8GB VRAM (Reikalingas architektūros atsiliepimas)

Santrauka lietuviškai

Autorius pristato L88 projektą – vietinę RAG (Retrieval-Augmented Generation) sistemą, kuri veikia su 8GB vaizdo atminties ir galingu procesoriumi. Sistema naudoja CPU įterpimams ir išankstiniam apdorojimui, o pagrindinis modelis veikia GPU. Viena iš esminių problemų yra ta, kad vertinimo ir generavimo vaidmenys tenka tam pačiam modeliui dėl skaičiavimo resursų apribojimų. Autorius, būdamas 18 metų, prašo atsiliepimų dėl architektūros patobulinimų, efektyvesnio vaidmenų skirstymo, LangGraph vamzdyno optimizavimo ir vietinės aparatinės įrangos pritaikymo.