„Show HN: Tokio-prompt-orchestrator – LLM vamzdynų orchestracija Rust kalba“

Santrauka lietuviškai

Tokio-prompt-orchestrator yra Rust kalba parašytas įrankis, skirtas didelių kalbos modelių (LLM) vamzdynų orchestracijai. Jis skiria LLM inferenciją į penkis fizinius etapus, kurie veikia atskiruose Tokio užduočių gijose su ribotais kanalais tarp jų. Įrankis įgyvendina grandinės pertraukiklius kiekvienam teikėjui, užklausų deduplikaciją, sutaupiusią iki 80% išlaidų, bei realaus laiko stebėjimo priemones. Projektas yra atviro kodo, MIT licencija, ir jau kelis mėnesius naudojamas gamyboje.