Instalacja
Wybierz klienta i sklonuj repozytorium do odpowiedniego katalogu skilli.
Instalacja
O skillu
Vaex to biblioteka Pythona do pracy z ogromnym zbiorami danych, które nie mieszczą się w pamięci. Zamiast ładować całe pliki do RAM-u, Vaex używa leniwej ewaluacji i operacji out-of-core, pozwalając Ci przetwarzać miliardy wierszy w sekundach. Idealna do szybkich agregacji statystycznych, wizualizacji dużych zbiorów danych i budowania pipeline'ów uczenia maszynowego na danych, które przekraczają dostępną pamięć. Obsługuje pliki CSV, HDF5, Arrow i Parquet.
Jak używać
Zainstaluj Vaex za pomocą pip:
pip install vaex. Biblioteka wymaga Pythona 3.7 lub nowszego.Wczytaj duży plik danych — zamiast tradycyjnego ładowania do pamięci, użyj Vaex do otwarcia pliku HDF5, CSV, Arrow lub Parquet. Vaex automatycznie mapuje plik na dysku, nie ładując go całego do RAM-u.
Twórz wirtualne kolumny do transformacji danych bez duplikowania pamięci. Vaex oblicza wartości na żądanie, co pozwala na szybkie operacje na miliardach wierszy.
Wykonuj agregacje i statystyki — policz, zsumuj, oblicz średnią lub inne metryki na całym zbiorze danych. Vaex optymalizuje te operacje do pracy z danymi spoza pamięci.
Wizualizuj wyniki za pomocą wbudowanych funkcji Vaex do tworzenia histogramów, heatmap'ów i innych wykresów dużych zbiorów danych.
Jeśli potrzebujesz uczenia maszynowego, zbuduj pipeline z wykorzystaniem Vaex DataFrames — biblioteka integruje się z popularnymi frameworkami ML do pracy na danych, które nie mieszczą się w pamięci.