OmniGlass – atviro kodo, izoliuota vizualių veiksmų sistema

Santrauka lietuviškai

OmniGlass yra atviro kodo, vietinė sistema, skirta kūrėjams paversti bet kurį MCP įrankį į vieno paspaudimo vizualų veiksmą operacinės sistemos lygmenyje. Sistema veikia keturiais etapais: vartotojas nukirpia ekrano sritį, vietinė OCR išskaito tekstą, LLM susieja tekstą su MCP įrankio JSON schema, o tada ekrane atsiranda mygtukas, kurį paspaudus įvykdomas veiksmas be jokio dialoginio sąsajos naudojimo. Tai ypač naudinga verslo procesams, pavyzdžiui, automobilių remonto dirbtuvėse, kur mechanikai gali greitai rasti detales tiesiog nukirpdami pranešimą iš WhatsApp ir paspaudę mygtuką, o ne naudodami sudėtingus AI pokalbių interfeisus. Sistema veikia saugioje izoliacijoje, kiekvienas MCP įskiepis yra užrakintas macOS sandbox-exec aplinkoje, kad būtų užtikrintas saugumas.