Dla jednego z naszych Klientów (firma konsultingowo-finansowa), poszukujemy specjalisty na stanowisko Senior Databricks Data Engineer.
Forma współpracy : kontrakt B2B.
Stawka : 200-240 PLN / h.
Tryb pracy : 100% zdalnie.
Proces rekrutacyjny : 3 etapy (screening + rozmowa wewnętrzna z Klientem + rozmowa w jęz. angielskim z Klientem końcowym).
Projekt międzynarodowy (klient Końcowy z USA) dotyczy środowiska Databricks i może obejmować zarówno nowe wdrożenie, jak i modernizację istniejących rozwiązań.
Twoje obowiązki :
- Unity Catalog - zarządzanie dostępem, konfiguracja, lineage tracking).
- projektowanie i optymalizacja pipeline’ów w PySpark i Delta Lake.
- wdrażanie Spark tuning (AQE, broadcast joins, partition pruning).
- integracja z narzędziami CI / CD (np. Azure DevOps).
- projektowanie i wdrażanie skalowalnej architektury danych typu lakehouse , z naciskiem na : przetwarzanie danych w czasie rzeczywistym i wsadowym & automatyzacja i standaryzacja procesów ETL / ELT.
- współpraca z zespołami biznesowymi i technicznymi, przekładanie wymagania na rozwiązania techniczne.
- prowadzenie dokumentacji technicznej i architektonicznej.
- wsparcie zespołów w analizie danych i optymalizacji procesów.
Wymagania :
minimum 8 lat doświadczenia w pracy z danymi.bardzo dobra znajomość Azure Databricks .praktyczna znajomość PySpark , Delta Lake i architektury Lakehouse.doświadczenie z konfiguracją i zarządzaniem Unity Catalog .znajomość zagadnień optymalizacji Spark.doświadczenie z procesami ETL / ELT.doświadczenie w pracy z narzędziami CI / CD (Azure DevOps, Git).Mile widziane : Certyfikaty :
Microsoft Certified : Azure Data Engineer Associate.Databricks Certified (np. Data Engineer, ML Professional).Znajomość Microsoft Fabric .Mile widziane : Certyfikaty :
znajomość Microsoft Fabric .doświadczenie w projektach międzynarodowych (np. USA).umiejętność prowadzenia rozmów technicznych z klientem.Jesteś zainteresowany / a? Dołącz do nas!