mac-use

Umiejętność do automatycznego sterowania interfejsem graficznym aplikacji na macOS. Robisz zrzut ekranu, system wykrywa wszystkie elementy tekstowe za pomocą OCR, numeruje je na obrazie, a Ty klikasz w wybrany element. Idealny, gdy chcesz zautomatyzować interakcje z dowolną aplikacją desktopową na Macu — od przeglądarki po edytor tekstu. Wymaga Python 3 i wbudowanych narzędzi macOS.

1. Zainstaluj Python 3 za pomocą Homebrew, jeśli jeszcze go nie masz: brew install python. 2. Przejdź do katalogu umiejętności i zainstaluj wymagane pakiety Pythona poleceniem pip3 install --break-system-packages -r requirements.txt. 3. Uruchom zrzut ekranu wybranej aplikacji poleceniem python3 scripts/mac_use.py screenshot [nazwa_aplikacji]. System automatycznie wykryje wszystkie tekstowe elementy interfejsu, narysuje zielone ramki z numerami i zwróci listę JSON z pozycjami każdego elementu. 4. Otrzymasz dwa pliki: obraz z adnotacjami (zapisany w /tmp/mac_use.png) oraz listę numerowanych elementów w formacie JSON. Porównaj numery na obrazie z listą, aby znaleźć element, w który chcesz kliknąć. 5. Kliknij wybrany element poleceniem python3 scripts/mac_use.py clicknum [numer], gdzie numer to numer elementu z poprzedniego kroku. 6. Powtarzaj kroki 3-5, aż wykonasz wszystkie potrzebne działania w aplikacji — każdy zrzut ekranu pokaże aktualny stan interfejsu i dostępne elementy do interakcji.