Senior Data Engineer (Python / Azure) @ DCG
Oferujemy:
- Prywatną opiekę medyczną
- Dofinansowanie karty sportowej
- Stałe wsparcie konsultanta
- Program rekomendacji pracowników
- Minimum 5 lat komercyjnego doświadczenia w data engineeringu
- Doświadczenie w zaprojektowaniu i zbudowaniu od podstaw hurtowni danych lub lakehouse
- Praktyczna znajomość modelowania wymiarowego, star schema oraz architektury medallion
- Umiejętność przełożenia taksonomii biznesowej na struktury danych i oceny jej kompletności oraz spójności
- Bardzo dobra znajomość Pythona w zastosowaniach produkcyjnych ETL/ELT oraz dobra znajomość SQL
- Doświadczenie w integracjach REST API: autoryzacja, paginacja, limity zapytań, ponawianie połączeń i parsowanie JSON/XML
- Praktyczna znajomość mechanizmów zapewniania jakości danych, obsługi schema drift i ponownego przetwarzania danych
- Doświadczenie z wybranymi usługami: Azure Data Lake Storage, Azure Data Factory, Azure Functions, Azure SQL, Azure Databricks lub Microsoft Fabric
- Znajomość Git i procesów CI/CD w Azure DevOps lub GitHub Actions
- Doświadczenie w dokumentowaniu rozwiązań i przekazywaniu ich do utrzymania innemu zespołowi
- Angielski na poziomie minimum B2+ oraz samodzielność w bezpośredniej współpracy z klientem
Oferujemy:
- Prywatną opiekę medyczną
- Dofinansowanie karty sportowej
- Stałe wsparcie konsultanta
- Program rekomendacji pracowników
,[Zaprojektowanie od podstaw hurtowni danych lub lakehouse, z uwzględnieniem środowiska i wymagań klienta, Zaprojektowanie i wdrożenie warstw bronze, silver i gold w architekturze medallion, Opracowanie modelu wymiarowego: tabel faktów, wymiarów i relacji w schemacie gwiazdy, Analiza taksonomii biznesowej klienta, ocena jej dojrzałości oraz identyfikacja obszarów wymagających doprecyzowania, Przełożenie taksonomii na słownik danych, strukturę klasyfikacji i model danych, Budowa produkcyjnych pipeline'ów ETL/ELT w Pythonie oraz integracji ze źródłami regulacyjnymi i parlamentarnymi, Zaprojektowanie i wdrożenie mechanizmów walidacji, obsługi zmian schematów, logowania, obsługi błędów i ponownego przetwarzania danych, Współpraca z klientem przy doprecyzowaniu wymagań i podejmowaniu decyzji technicznych, Przygotowanie dokumentacji architektury, modelu danych i pipeline'ów oraz przekazanie rozwiązania zespołowi klienta] Requirements: Python, Azure, SQL, REST API, Terraform, Bicep Additionally: Sport subscription, Private healthcare, International projects.