computer-use

Uruchom i kontroluj aplikacje graficzne na headless serwerach VPS bez fizycznego monitora. Skill tworzy wirtualny pulpit XFCE z Xvfb, umożliwiając wykonanie 17 standardowych akcji: zrzuty ekranu, kliknięcia, wpisywanie tekstu, przewijanie, przeciąganie. Działa na poziomie X11, więc strony internetowe nie wykryją automatyzacji. Zawiera VNC do zdalnego podglądu na żywo. Kompatybilny z dowolnym LLM.

1. Uruchom skrypt konfiguracyjny ./scripts/setup-vnc.sh, który zainstaluje Xvfb (wirtualny wyświetlacz na :99), minimalny pulpit XFCE4, x11vnc oraz noVNC do dostępu przez przeglądarkę. Wszystkie usługi uruchomią się automatycznie przy starcie systemu.

2. Zweryfikuj, że wirtualny wyświetlacz działa, wykonując zrzut ekranu za pomocą akcji screenshot — powinna zwrócić obraz w formacie base64 PNG rozdzielczości 1024x768.

3. Aby kontrolować mysz, użyj akcji left_click z współrzędnymi (x, y) — na przykład left_click 512 384 kliknie w środek ekranu. Dla bardziej złożonych interakcji dostępne są right_click, double_click, triple_click oraz left_click_drag do przeciągania.

4. Do wpisywania tekstu użyj akcji type — skill automatycznie dzieli tekst na porcje 50 znaków z opóźnieniem 12ms między nimi, co zapobiega utracie danych. Dla klawiszy specjalnych (Enter, Tab, Ctrl+C) użyj akcji key z odpowiednią kombinacją.

5. Aby zobaczyć na żywo, co robi LLM, otwórz noVNC w przeglądarce na porcie wskazanym przez skrypt — możesz obserwować i ręcznie interweniować w sesję.

6. Integruj skill z dowolnym LLM, przekazując mu dostępne akcje (screenshot, cursor_position, mouse_move, click, drag, type, key, scroll) — model będzie samodzielnie decydować, które akcje wykonać, aby osiągnąć cel.