coreml

CoreML to umiejętność do wdrażania niestandardowych modeli ML na urządzeniach Apple — od konwersji modeli PyTorch, przez kompresję i optymalizację, aż po implementację dużych modeli językowych. Wykorzystuje procesor, GPU i Neural Engine Apple Silicon do szybkiego, prywatnego przetwarzania bez wysyłania danych do chmury. Obsługuje konwersję modeli, kompresję, modele stanowe, cache KV i wielofunkcyjne modele.

1. Przygotuj model PyTorch — upewnij się, że model jest w trybie ewaluacji (model.eval()) i masz przykładowe dane wejściowe o prawidłowym kształcie, które będą użyte do śledzenia modelu.

2. Zainstaluj coremltools — biblioteka coremltools jest wymagana do konwersji; załaduj ją w swoim projekcie Python.

3. Śledzenie modelu — użyj torch.jit.trace() z przykładowymi danymi wejściowymi, aby utworzyć wersję modelu gotową do konwersji. To pozwala CoreML zrozumieć strukturę i przepływy danych.

4. Konwertuj do formatu CoreML — użyj ct.convert() z parametrem minimum_deployment_target ustawionym na najnowszą dostępną wersję iOS (np. iOS18), aby włączyć najnowsze optymalizacje i możliwości sprzętu.

5. Zapisz model — zapisz przekonwertowany model jako plik .mlpackage, który możesz zintegrować z aplikacją iOS.

6. Profiluj wydajność — zanim zaczniesz optymalizować kompresję lub cache, zmierz rzeczywisty czas wnioskowania na docelowym urządzeniu; optymalizuj tylko tam, gdzie dane pokazują wąskie gardła.