modal-serverless-gpu
GPU na żądanie bez zarządzania infrastrukturą — uruchamiaj modele ML w chmurze serverless
Instalacja
Wybierz klienta i sklonuj repozytorium do odpowiedniego katalogu skilli.
Instalacja
O skillu
Modal to platforma obliczeniowa do uruchamiania obciążeń ML na procesorach graficznych bez konieczności administrowania serwerami. Wybierz spośród dostępnych GPU (T4, L4, A10G, L40S, A100, H100 i inne), definiuj infrastrukturę w Pythonie, a platforma automatycznie skaluje zasoby od zera do setek procesorów. Idealna do wdrażania modeli jako API, przetwarzania wsadowego, prototypowania aplikacji ML oraz zadań zaplanowanych. Płacisz tylko za rzeczywisty czas obliczeń — bez kosztów bezczynności.
Jak używać
Zainstaluj Modal za pomocą pip install modal, a następnie uruchom modal setup, aby otworzyć przeglądarkę i uwierzytelnić się na koncie Modal.
Utwórz plik Pythona i zdefiniuj aplikację Modal, importując bibliotekę modal oraz tworząc instancję app = modal.App("nazwa-aplikacji").
Oznacz funkcje, które mają działać na GPU, dekoratorem @app.function(gpu="typ"), gdzie typ to nazwa procesora (np. "T4", "A100"). Wewnątrz funkcji napisz kod Pythona, który będzie wykonywany na wybranym GPU.
Dodaj punkt wejścia @app.local_entrypoint() z funkcją main(), która wywoła zdalne funkcje za pomocą .remote() — to uruchomi obliczeń w chmurze Modal.
Uruchom skrypt lokalnie (python nazwa_pliku.py) — Modal automatycznie przesyła kod do chmury, przydziela GPU i zwraca wynik.
Aby wdrożyć funkcję jako API REST, użyj dekoratora @app.web_endpoint() zamiast @app.function(), a Modal udostępni publiczny URL do wywoływania modelu bez czasów przestojów.