Senior Data Engineer z AWS i Snowflake

Poszukujemy Data Engineer'a z doświadczeniem w Snowflake, AWS i procesach ETL, który będzie ściśle współpracował z naukowcami AI i analitykami danych w celu projektowania, rozwijania i utrzymywania potoków danych i systemów, które wspierają przypadki użycia danych klinicznych i operacyjnych.

Twoje zadania

Projektowanie i rozwijanie architektury danych z uwzględnieniem Snowflake, Immuta, Collibra i bezpieczeństwa w chmurze

Wdrażanie i optymalizacja procesów ETL / ELT, zarządzanie surowymi danymi, automatyzacja przepływów pracy oraz zapewnianie wysokiej wydajności i niezawodności systemów przetwarzania danych.

Zarządzanie jakością i bezpieczeństwem danych, monitorowanie jakości i wdrażanie strategii zarządzania metadanymi

Współpraca z zespołami analitycznymi i biznesowymi w celu identyfikacji potrzeb użytkowników i dostarczania kompleksowych rozwiązań wspierających analitykę i raportowanie

Optymalizacja i migracja systemów danych poprzez konwersję danych i procesów z istniejących systemów do Data Vault

Definiowanie i egzekwowanie standardów kodowania, modelowania danych i architektury ETL / ELT, zapewnianie zgodności z Data Mesh i innymi nowoczesnymi podejściami

Trenowanie i mentorowanie zespołu inżynierów danych, przeprowadzanie przeglądów kodu, uczestniczenie w dyskusjach architektonicznych i inicjowanie innowacyjnych rozwiązań technologicznych

Wymagania

Duże doświadczenie w technologiach chmurowych i ekosystemie Snowflake, w szczególności AWS, Data One Platform, Immuta, Collibra i aspektach bezpieczeństwa chmury.

Minimum 5 lat doświadczenia w programowaniu w języku Python do budowania i utrzymywania pipeline'ów danych

Zaawansowana znajomość baz danych, w tym optymalizacji zapytań, projektowania schematów relacyjnych i MPP przy użyciu SQL

Znajomość technologii przechowywania danych, w tym plików, relacyjnych baz danych, MPP, NoSQL i różnych typów danych (ustrukturyzowanych, nieustrukturyzowanych, metryk, dzienników)

Dogłębna znajomość Data Vault, Data Mesh, modelowania wymiarowego i zarządzania metadanymi

Zrozumienie procesów biznesowych i analitycznych, a także integracja z systemami analitycznymi i raportującymi

Doświadczenie w pracy w środowiskach Agile, coaching zespołów programistycznych z biegłą znajomością języka angielskiego i polskiego

Wymagane miejsce zamieszkania w Polsce

Mile widziane

Znajomość formatów danych farmaceutycznych jest dużym plusem