OmniParser

OmniParser's Visão geral

Ei, galera! OmniParser V2 é uma ferramenta da Microsoft Research que transforma qualquer modelo de linguagem grande (LLM) em um agente de uso de computador, focado em automação de GUI. Ela converte screenshots de interfaces em elementos estruturados, o que permite que o LLM entenda a tela e preveja e execute ações com precisão. Comparada à versão anterior, a V2 traz mais precisão na detecção de elementos interativos menores e inferência mais rápida, com redução de latência de 60%. O modelo foi treinado com muitos dados de detecção de elementos interativos e de legendas funcionais de ícones, alcançando acurácia de ponta no benchmark ScreenSpot Pro. Ela se integra ao OmniTool, um sistema Windows em Docker, e é compatível com LLMs como OpenAI, DeepSeek, Qwen e Anthropic. Tudo isso segue os princípios de IA da Microsoft, com práticas de IA responsável e estratégias de mitigação de riscos.

OmniParser's Características

• Transforma LLMs em agentes de GUI

• Alta precisão na detecção de elementos pequenos

• Inferência rápida com 60% menos latência

• Integração com múltiplos LLMs

• Segue práticas de IA responsável

• Disponível como código open-source

• Suporta automação de GUI

• Treinado com dados extensivos

OmniParser's PERGUNTAS E RESPOSTAS

OmniParser's Preços

Gratuito. O OmniParser V2 está disponível como código open-source no GitHub, com acesso livre aos seus recursos e funcionalidades.