Senior Data Engineer (stałe zatrudnienie - sektor bankowy) @ DEVTALENTS Sp. z o.o.

Senior Data Engineer | Tworzenie skalowalnych rozwiązań chmurowych

O DEVTALENTS oraz model zatrudnienia

W DEVTALENTS łączymy wybitnych specjalistów IT z ambitnymi projektami, stosując nasz unikalny model współpracy „Build-Operate-Transfer”. Jako członek zespołu DEVTALENTS będziesz pracować nad innowacyjnymi rozwiązaniami dla naszych klientów, mając jasno określoną ścieżkę prowadzącą do bezpośredniego zatrudnienia u klienta.

• Duża biegłość w SQL, PySpark i Pythonie w zakresie transformacji danych oraz tworzenia skalowalnych potoków danych (minimum 6 lat doświadczenia komercyjnego).
• Praktyczne doświadczenie w pracy z Apache Airflow, AWS Glue, Kafka i Redshift. Znajomość pracy z dużymi wolumenami danych strukturalnych i częściowo strukturalnych. Mile widziane doświadczenie z DBT.
• Biegłość w korzystaniu z Gita do kontroli wersji. Airflow jest kluczowy do orkiestracji procesów.
• Solidne doświadczenie w pracy z AWS (Lambda, S3, CloudWatch, SNS / SQS, Kinesis) oraz znajomość architektur serverless.
• Doświadczenie w automatyzacji i zarządzaniu infrastrukturą za pomocą Terraform i Ansible.
• Umiejętności w zakresie monitorowania potoków ETL, rozwiązywania problemów z wydajnością oraz utrzymywania wysokiej niezawodności operacyjnej.
• Znajomość procesów CI / CD w celu automatyzacji testów, wdrożeń i wersjonowania potoków danych.
• Umiejętność projektowania rozproszonych systemów, które skalują się horyzontalnie dla dużych wolumenów danych. Wiedza o architekturach przetwarzania w czasie rzeczywistym (Lambda) i wsadowym (Kappa) będzie dodatkowym atutem.
• Doświadczenie w tworzeniu API (REST, GraphQL, OpenAPI, FastAPI) do wymiany danych.
• Znajomość zasad Data Mesh i narzędzi self-service do danych będzie dużym plusem. Wcześniejsze doświadczenie w budowaniu skalowalnych platform danych i przetwarzaniu dużych zbiorów danych jest wysoko cenione.
• Wyższe wykształcenie w zakresie informatyki lub kierunków pokrewnych.
• Znajomość języka angielskiego na poziomie co najmniej B2.

Senior Data Engineer | Tworzenie skalowalnych rozwiązań chmurowych

O DEVTALENTS oraz model zatrudnienia

W DEVTALENTS łączymy wybitnych specjalistów IT z ambitnymi projektami, stosując nasz unikalny model współpracy „Build-Operate-Transfer”. Jako członek zespołu DEVTALENTS będziesz pracować nad innowacyjnymi rozwiązaniami dla naszych klientów, mając jasno określoną ścieżkę prowadzącą do bezpośredniego zatrudnienia u klienta.

,[Prowadzenie projektowania, rozwoju i utrzymania potoków danych oraz procesów ETL / ELT obsługujących duże, zróżnicowane zbiory danych., Optymalizacja procesów pobierania, transformacji i dostarczania danych z wykorzystaniem SQL, PySpark i Pythona., Wykorzystywanie frameworków takich jak Apache Airflow, AWS Glue, Kafka i Redshift w celu zapewnienia wydajnej orkiestracji danych, przetwarzania wsadowego / strumieniowego i wysokiej wydajności analiz., Wdrażanie najlepszych praktyk w zakresie kontroli wersji (Git), infrastruktury jako kodu (Terraform, Ansible) oraz pipeline’ów CI / CD, aby zapewnić solidne, powtarzalne i skalowalne wdrożenia., Ścisła współpraca z zespołami Data Science, Analityki i Product Management przy projektowaniu modeli danych i architektur wspierających cele biznesowe., Monitorowanie, debugowanie i optymalizacja potoków ETL, zapewnianie wysokiej niezawodności, niskich opóźnień i efektywności kosztowej., Mentoring inżynierów na poziomie średnim i juniorskim oraz budowanie kultury dzielenia się wiedzą, ciągłego doskonalenia i innowacji.] Requirements : Python, AWS, PySpark, SQL, Redshift, Kafka, Apache Airflow