llava

LLaVA to otwartoźródłowy model łączący widzenie komputerowe z przetwarzaniem języka naturalnego. Pozwala na wieloturowe rozmowy o obrazach, odpowiadanie na pytania dotyczące zdjęć i wykonywanie instrukcji wizyjnych. Wykorzystuje koder CLIP do analizy obrazów i modele LLaMA do generowania odpowiedzi. Idealny do budowania chatbotów opartych na obrazach, automatycznego opisywania zdjęć i zrozumienia dokumentów zawierających grafiki.

1. Sklonuj repozytorium LLaVA z GitHuba i przejdź do katalogu projektu za pomocą git clone.

2. Zainstaluj pakiet wraz z zależnościami (transformers, torch, pillow) uruchamiając pip install -e . w głównym katalogu.

3. Wczytaj wstępnie wytrenowany model, na przykład llava-v1.5-7b, używając funkcji load_pretrained_model z modułu llava.model.builder — podaj ścieżkę do modelu jako parametr model_path.

4. Przygotuj obraz do analizy — załaduj go za pomocą biblioteki PIL (Image.open) i przetwórz za pomocą funkcji process_images z llava.mm_utils.

5. Sformułuj pytanie lub instrukcję dotyczącą obrazu, a następnie przekaż obraz i tekst do modelu — model zwróci odpowiedź opisującą zawartość zdjęcia lub odpowiadającą na Twoje pytanie.

6. Możesz prowadzić wieloturową rozmowę, zadając kolejne pytania o ten sam obraz — model zachowuje kontekst poprzednich odpowiedzi.