Omni-Glass – Rust programa, kuri ekrano pikselius paverčia MCP įrankių iškvietimais

Santrauka lietuviškai

Omni-Glass yra atviro kodo macOS programa, sukurta Rust/Tauri, kuri veikia meniu juostoje. Ji leidžia nubrėžti stačiakampį aplink bet ką ekrane – terminalo klaidą, duomenų lentelę, užsienio kalbos dokumentą – ir per mažiau nei sekundę atlieka vietinį OCR, siunčia tekstą į LLM bei pateikia vykdomų veiksmų meniu. Programa veikia visiškai neprisijungus, naudodama vietinius LLM modelius, ir paremta MCP (Model Context Protocol), leidžiančiu kurti papildinius Node.js ar Python. Kiekvienas papildinys veikia macOS smėlio dėžės aplinkoje, užtikrinančioje saugumą.