LLMWise – Palyginkite, sujunkite ir įvertinkite LLM išvestis per vieną API

Santrauka lietuviškai

LLMWise yra platforma, leidžianti per vieną API intelektualiai derinti įvairius didelius kalbos modelius (LLM). Sistema siūlo Mixture-of-Agents (MoA) metodą, kai 2-6 modeliai lygiagrečiai apdoroja užklausą, o tada tobulina atsakymus, remdamiesi kitų modelių rezultatais. Platforma taip pat turi automatinį maršrutizavimą, kuris pagal užklausos tipą pasirenka tinkamiausią modelį, ir grandinės pertraukiklius, kad apsaugotų nuo neveikiančių paslaugų teikėjų. Visa sistema veikia asinchroniniu Python pagrindu su FastAPI ir Next.js frontendu, supakuota į vieną Docker atvaizdą.