aoti-debug

Umiejętność do diagnozowania i naprawy problemów AOTInductor (AOTI) w PyTorch. Pomaga rozwiązać segfaulty, błędy niezgodności urządzeń, problemy z ładowaniem stałych wartości oraz błędy runtime'u z funkcji aot_compile, aot_load, aoti_compile_and_package i aoti_load_package. Zawiera przewodniki dla konkretnych typów błędów, w tym błędów indeksu Triton, oraz systematyczne sprawdzenie zgodności urządzenia i kształtu tensora.

1. Uruchom tę umiejętność, gdy napotkasz błąd AOTInductor — segfault, wyjątek, awarię lub nieprawidłowy wynik. 2. Sprawdź komunikat błędu: jeśli zawiera wzorzec "Assertion `index out of bounds", postępuj zgodnie z przewodnikiem dla błędu indeksu Triton. W pozostałych przypadkach przejdź do kroku 3. 3. Zawsze najpierw zweryfikuj trzy warunki: (a) urządzenie kompilacji musi być tego samego typu co urządzenie ładowania (CPU lub CUDA), (b) urządzenia wejść runtime'u muszą zgadzać się z urządzeniem skompilowanego modelu, (c) kształty wejść runtime'u muszą odpowiadać kształtom użytym podczas kompilacji. 4. Sprawdź swój kod kompilacji — zanotuj typ urządzenia (CPU czy cuda()) i kształty tensorów wejściowych przekazanych do aot_compile. 5. Sprawdź kod ładowania — upewnij się, że aot_load używa tego samego typu urządzenia co kompilacja, indeks urządzenia może się różnić. 6. Sprawdź kod wnioskowania — przekaż wejścia na to samo urządzenie i z tymi samymi kształtami co podczas kompilacji. Jeśli którykolwiek z tych warunków nie jest spełniony, otrzymasz błędy od segfaultów po wyjątki i nieprawidłowe wyniki.