Data EngineerRANDLAB SOFTWARE sp. z o.o. • Warszawa, mazowieckie, Polska

Data Engineer

RANDLAB SOFTWARE sp. z o.o. • Warszawa, mazowieckie, Polska

Ponad 30 dni temu

Opis pracy

technologies-expected :

Python
Scala
SQL
Hadoop
Hive
Apache Spark
PySpark
Docker
Kubernetes
AWS
Git

technologies-optional :

Apache Airflow

Apache Kafka

Azure

GCP

MongoDB

Cassandra

Elasticsearch

Terraform

Prometheus

Grafana

Tableau

Microsoft Power BI

about-project :

Projekt realizowany jest dla międzynarodowej organizacji budującej nowoczesną platformę Big Data do gromadzenia i przetwarzania danych biznesowych w dużej skali (setki milionów rekordów dziennie).

Zakres współpracy obejmuje projektowanie i wdrażanie infrastruktury danych – od pipeline’ów strumieniowych po hurtownie danych wspierające analizy i modele Machine Learning.

Środowisko oparte jest na chmurze AWS oraz narzędziach open-source, z dużym naciskiem na automatyzację procesów (Infrastructure as Code, CI / CD) i dobre praktyki inżynierii danych.

responsibilities :

Tworzenie i utrzymanie wydajnych pipeline’ów danych – procesów ETL / ELT do ekstrakcji, przekształcania i ładowania dużych wolumenów danych z różnych źródeł.

Projektowanie i implementacja hurtowni danych / data lake – budowa architektury przechowywania danych (HDFS / S3, bazy kolumnowe) zapewniającej skalowalność i bezpieczeństwo.

Programowanie rozproszonych zadań przetwarzania danych z użyciem Apache Spark oraz optymalizacja ich działania (tuning jobów, zarządzanie zasobami w klastrze).

Integracja danych strumieniowych i czasu rzeczywistego (konfiguracja i obsługa platform typu Kafka oraz przetwarzanie streamów w Spark Streaming lub Flink).

Automatyzacja harmonogramu zadań przetwarzania (workflow) za pomocą narzędzi Apache Airflow – definiowanie DAG, monitorowanie wykonania, obsługa błędów.

Wdrażanie najlepszych praktyk DataOps : kontrola wersji dla kodu transformacji danych (Git), code review, testy integracyjne pipeline’ów, ciągła integracja i deployment procesów danych.

Współpraca z analitykami danych, data scientistami oraz developerami – dostarczanie im odpowiednio przygotowanych i świeżych danych, rozwiązywanie problemów związanych z dostępnością i jakością danych.

Dokumentowanie architektury platformy danych, procesów ETL oraz schematów przetwarzania w celu utrzymania wiedzy w zespole.

requirements-expected :

Co najmniej 3 lata doświadczenia na stanowisku Data Engineer lub pokrewnym (Big Data Developer, ETL Developer).

Biegła znajomość Python (w kontekście przetwarzania danych – skrypty ETL, biblioteki Pandas, PySpark) oraz dobra znajomość SQL (złożone zapytania, optymalizacja).

Doświadczenie w pracy z technologiami Big Data : praktyczna znajomość ekosystemu Hadoop (HDFS, Hive) i frameworka Spark do obliczeń rozproszonych na dużą skalę.

Umiejętność projektowania architektury hurtowni danych i data lake – rozumienie zasad modelowania danych (np. model gwiazdy, partycjonowanie, formaty kolumnowe Parquet / ORC).

Znajomość narzędzi orkiestracji procesów i automatyzacji workflow (preferowany Apache Airflow lub podobne).

Dobra orientacja w środowisku chmurowym (np. AWS lub Azure) – potrafisz wykorzystać usługi chmurowe do budowy pipeline’ów danych (przechowywanie, przetwarzanie, analityka).

Doświadczenie w konteneryzacji i orkiestracji – umiejętność uruchamiania zadań w Dockerze, podstawy Kubernetes (deploy, zarządzanie jobami w klastrze).

Znajomość zagadnień optymalizacji zapytań i procesów ETL (analiza planów zapytań, rozpoznawanie wąskich gardeł, skalowanie horyzontalne vs. pionowe).

Praktyka w pracy z systemem kontroli wersji Git oraz w tworzeniu współdzielonych repozytoriów kodu (pull requesty, code review w projektach data).

Wykształcenie wyższe (informatyka, matematyka, inżynieria danych lub pokrewne).

Zdolności analityczne, dokładność i sumienność w pracy z danymi – dbałość o ich jakość i spójność.

Umiejętność rozwiązywania złożonych problemów technicznych oraz optymalizacyjnych, kreatywność w znajdowaniu usprawnień.

Komunikatywność i umiejętność pracy w zespole – współpraca z innymi inżynierami i interesariuszami biznesowymi.

Znajomość języka angielskiego na poziomie umożliwiającym swobodną pracę z dokumentacją techniczną i komunikację (min. B2).

Utwórz powiadomienie o ofertach pracy dla tego wyszukiwania

Data Engineer • Warszawa, mazowieckie, Polska

Powiązane stanowiska

Data Engineer @ Godel Technologies Europe

Godel Technologies Europe • Warszawa, Poland

At Godel Technologies, we are passionate about building innovative software solutions that empower businesses around the world. As we continue to grow, we’re looking for a Data Engineer who is excit...Pokaż więcej

Ostatnia aktualizacja: 19 dni temu • Promowane

Data Engineer Snowflake

Square One • Warszawa, PL

Join a dynamic Agile team and play a key role in shaping data solutions that support high-impact business decisions.If you thrive in a collaborative, fast-paced environment and have experience with...Pokaż więcej

Ostatnia aktualizacja: 26 dni temu • Promowane

Data Engineer (Databricks)

Addepto • Warszawa, Masovian, Poland

As a Data Engineer, you will have the exciting opportunity to work with a team of technology experts on challenging projects across various industries, leveraging cutting-edge technologies.Here are...Pokaż więcej

Ostatnia aktualizacja: ponad 30 dni temu • Promowane

Data Engineer @ Bayer

Bayer • Warszawa, Poland

At Bayer we’re visionaries, driven to solve the world’s toughest challenges and striving for a world where ,Health for all, Hunger for none’ is no longer a dream, but a real possibility.We’re doing...Pokaż więcej

Ostatnia aktualizacja: ponad 30 dni temu • Promowane

Data Engineer Databricks

Addepto • Warszawa, Warszawa, Polska

ROI-focused AI solutions for some of the world’s largest enterprises and pioneering startups, including Rolls Royce, Continental, Porsche, ABB, and WGU. With our exclusive focus on Artificial Intell...Pokaż więcej

Ostatnia aktualizacja: ponad 30 dni temu • Promowane

Data Engineer

SIX • Warszawa, Warszawa, Polska

Warsaw | working from home up to 40% | Reference 7217.Are you curious about the stock market and passionate about data engineering? Would you like to work on cutting-edge technology at one of the m...Pokaż więcej

Ostatnia aktualizacja: ponad 30 dni temu • Promowane

Data Engineer

Datumo • Warszawa, Warszawa, Polska

Datumo specializes in providing Data Engineering and Cloud Computing consulting services to clients from all over the world, primarily in Western Europe, Poland and the USA.Core industries we suppo...Pokaż więcej

Ostatnia aktualizacja: ponad 30 dni temu • Promowane

Data Engineer

PRETIUS SOFTWARE SP. Z O.O. • Warszawa, Masovian, Poland

At Pretius, we are looking for Data Engineer to an international project within the fuel industry.Collaborate with a team of Data Engineers and Business Analysts to successfully deliver the data mi...Pokaż więcej

Ostatnia aktualizacja: 25 dni temu • Promowane

Data Engineer

Keyloop • Warszawa, PL

Keyloop bridges the gap between dealers, manufacturers, technology suppliers and car buyers.We empower car dealers and manufacturers to fully embrace digital transformation.How? By creating innovat...Pokaż więcej

Ostatnia aktualizacja: 18 dni temu • Promowane

Data Engineer Databricks

ERGO Technology & Services • Warszawa, Warszawa, Polska

January 2021 following the integration of ERGO Digital IT and Atena into one entity, leveraging both companies’ strengths and best practices. As a part of ERGO Technology & Services Management AG, t...Pokaż więcej

Ostatnia aktualizacja: ponad 30 dni temu • Promowane

Data Engineer

HAYS Poland • Warszawa, Warszawa, Polska

Our client is a Scandinavian company building its SSC structures in Warsaw.This exciting development offers a unique opportunity to be part of a dynamic team during a pivotal phase of growth and tr...Pokaż więcej

Ostatnia aktualizacja: ponad 30 dni temu • Promowane

Data Engineer

CLOUDFIDE SPÓŁKA Z OGRANICZONĄ ODPOWIEDZIALNOŚCIĄ • Warszawa, Masovian, Poland

Passionate about Cloud and data analytics.Curious and eager to learn new technologies.One that would like to work with a team of like-minded people. You will work on a project involving modern cloud...Pokaż więcej

Ostatnia aktualizacja: ponad 30 dni temu • Promowane

Data engineer

Keyloop • Warszawa, Mazowieckie, Polska

Ostatnia aktualizacja: ponad 30 dni temu • Promowane

Data Engineer Databricks

Procter & Gamble • Warszawa, Warszawa, Polska

We are seeking for a Data Engineer (Databricks) to join our CE backend engineering team, responsible for design, development and implementing data and analytics cloud-based analytics platforms (DAP...Pokaż więcej

Ostatnia aktualizacja: 19 dni temu • Promowane

Data Engineer

Kyotu Technology • Warszawa, Warszawa, Polska

Kyotu Technology is a boutique software house based in Wrocław and Warsaw, working fully remotely or in hybrid mode from anywhere in Poland. We partner with companies from Germany, Switzerland, West...Pokaż więcej

Ostatnia aktualizacja: 16 godziny temu • Promowane • Nowe!

Data engineer @ deepsense.ai sp. z o.o.

Deepsense.ai Sp. Z O.o. • Warsaw, Masovian Voivodeship, Polska

We are looking for a Data Engineer to join our team.A specialist responsible for designing, developing, and maintaining scalable data pipelines and infrastructure to support AI- and data-driven so...Pokaż więcej

Ostatnia aktualizacja: 21 dni temu • Promowane

Data Engineer (Databricks) @ Addepto

Addepto • Warsaw, Poland

Addepto is a leading AI consulting and data engineering company that builds scalable, ROI-focused AI solutions for some of the world’s largest enterprises and pioneering startups, including Rolls R...Pokaż więcej

Ostatnia aktualizacja: ponad 30 dni temu • Promowane

Data Engineer @ deepsense.ai Sp. z o.o.

deepsense.ai Sp. z o.o. • Warsaw, Poland

A specialist responsible for designing, developing, and maintaining scalable data pipelines and infrastructure to support AI- and data-driven solutions. Experience with any of the major.Terraform / Cl...Pokaż więcej

Ostatnia aktualizacja: 25 dni temu • Promowane