write-script-duckdb
Pisz zapytania DuckDB z parametrami i połączeniami do baz danych oraz magazynów S3
Instalacja
Wybierz klienta i sklonuj repozytorium do odpowiedniego katalogu skilli.
Instalacja
O skillu
Umiejętność do tworzenia skryptów DuckDB w Windmill. Definiujesz parametry za pomocą komentarzy, łączysz się z bazami danych PostgreSQL, Ducklake lub magazynami S3, a następnie uruchamiasz zapytania SQL. Obsługuje odczyt plików CSV, Parquet i JSON bezpośrednio z chmury. Idealna dla analityków danych i inżynierów, którzy chcą zautomatyzować przetwarzanie danych bez pisania kodu w Pythonie czy Node.js.
Jak używać
Utwórz plik skryptu DuckDB w swoim projekcie Windmill, np. query.sql. Umieść go w folderze dedykowanym skryptom.
Zdefiniuj parametry wejściowe za pomocą komentarzy SQL na początku pliku. Każdy parametr ma format -- $nazwa (typ) = wartość_domyślna. Na przykład -- $name (text) = 'John' lub -- $age (integer). W zapytaniu odwołuj się do parametrów za pomocą składni $nazwa.
Jeśli potrzebujesz dostępu do Ducklake, dodaj linię ATTACH 'ducklake' AS dl; lub ATTACH 'ducklake://nazwa_jeziora' AS dl; na początku zapytania, a następnie odwołuj się do tabel jako dl.schema.tabela.
Aby połączyć się z zewnętrzną bazą danych, użyj zasobu Windmill: ATTACH '$res:ścieżka/do/zasobu' AS db (TYPE postgres);. Zastąp postgres typem swojej bazy (np. mysql, sqlite).
Dla operacji na plikach S3 użyj funkcji read_csv(), read_parquet() lub read_json() z ścieżkami s3:///ścieżka/do/pliku lub s3://nazwa_magazynu/ścieżka/do/pliku.
Po napisaniu skryptu uruchom wmill script generate-metadata w folderze, aby wygenerować pliki .script.yaml i .lock, a następnie wmill sync push, aby wdrożyć skrypt do Windmill.