add-workflow

Skill do tworzenia i integracji nowych RolloutWorkflow w frameworku AReaL. Zawiera kompletny przewodnik od przygotowania pliku Python, przez zdefiniowanie funkcji nagrody, aż do uruchomienia pierwszego epizodu. Przeznaczony dla deweloperów, którzy chcą rozszerzyć system o własne strategie rollout'u. Obejmuje szablony kodu, wymagane importy i strukturę asynchroniczną.

1. Przygotuj wymagania — zanim zaczniesz, jasno zdefiniuj cel przepływu pracy, format danych wejściowych i wyjściowych oraz funkcję nagrody, którą będziesz używać.

2. Utwórz plik workflow — stwórz nowy plik Python w katalogu areal/workflow/ o nazwie odpowiadającej Twojemu przepływowi (np. areal/workflow/moj_workflow.py).

3. Zaimplementuj klasę RolloutWorkflow — utwórz klasę dziedziczącą po RolloutWorkflow z metodą __init__ przyjmującą GenerationHyperparameters, tokenizer i funkcję nagrody. Zapisz konfigurację, tokenizer i opakuj funkcję nagrody w AsyncRewardWrapper.

4. Zdefiniuj metodę arun_episode — implementuj asynchroniczną metodę arun_episode przyjmującą InferenceEngine i słownik danych. Metoda musi być nieblokująca i zwracać słownik tensorów PyTorch.

5. Przygotuj dane wejściowe — wewnątrz arun_episode przekształć dane z parametru data na input_ids używając tokenizer.apply_chat_template() z flagą add_generation_prompt=True.

6. Zbuduj i wyślij żądanie — utwórz obiekt ModelRequest z unikalnym identyfikatorem, przygotowanymi input_ids i konfiguracją generacji, następnie wyślij go do silnika inferencji i obsłuż odpowiedź.