Nebark – Paprastas A/B testavimas sisteminiams užklausų šablonams naudojant steganografiją

Santrauka lietuviškai

Nebark yra nauja A/B testavimo platforma, skirta didelių kalbos modelių (LLM) sisteminiams užklausų šablonams. Ji sprendžia specifinę problemą – leidžia sekti užklausų šablonų efektyvumą be poreikio integruoti sekimo ID per visą sistemos architektūrą. Platforma naudoja unikalų 'konteksto maišos' metodą, kuris leidžia sinchronizuoti duomenis tarp serverio ir kliento pusės asinchroniškai. Šis sprendimas išvengia telemetrijos duomenų įterpimo į API atsakymus ir apsaugo nuo iškraipytų A/B testo rezultatų dėl talpyklos naudojimo.