Talent.com
Data Engineer
Data EngineerRANDLAB SOFTWARE sp. z o.o. • Warszawa, mazowieckie, Polska
Data Engineer

Data Engineer

RANDLAB SOFTWARE sp. z o.o. • Warszawa, mazowieckie, Polska
Ponad 30 dni temu
Opis pracy

technologies-expected :

  • Python
  • Scala
  • SQL
  • Hadoop
  • Hive
  • Apache Spark
  • PySpark
  • Docker
  • Kubernetes
  • AWS
  • Git

technologies-optional :

  • Apache Airflow
  • Apache Kafka
  • Azure
  • GCP
  • MongoDB
  • Cassandra
  • Elasticsearch
  • Terraform
  • Prometheus
  • Grafana
  • Tableau
  • Microsoft Power BI
  • about-project :

  • Projekt realizowany jest dla międzynarodowej organizacji budującej nowoczesną platformę Big Data do gromadzenia i przetwarzania danych biznesowych w dużej skali (setki milionów rekordów dziennie).
  • Zakres współpracy obejmuje projektowanie i wdrażanie infrastruktury danych – od pipeline’ów strumieniowych po hurtownie danych wspierające analizy i modele Machine Learning.
  • Środowisko oparte jest na chmurze AWS oraz narzędziach open-source, z dużym naciskiem na automatyzację procesów (Infrastructure as Code, CI / CD) i dobre praktyki inżynierii danych.
  • responsibilities :

  • Tworzenie i utrzymanie wydajnych pipeline’ów danych – procesów ETL / ELT do ekstrakcji, przekształcania i ładowania dużych wolumenów danych z różnych źródeł.
  • Projektowanie i implementacja hurtowni danych / data lake – budowa architektury przechowywania danych (HDFS / S3, bazy kolumnowe) zapewniającej skalowalność i bezpieczeństwo.
  • Programowanie rozproszonych zadań przetwarzania danych z użyciem Apache Spark oraz optymalizacja ich działania (tuning jobów, zarządzanie zasobami w klastrze).
  • Integracja danych strumieniowych i czasu rzeczywistego (konfiguracja i obsługa platform typu Kafka oraz przetwarzanie streamów w Spark Streaming lub Flink).
  • Automatyzacja harmonogramu zadań przetwarzania (workflow) za pomocą narzędzi Apache Airflow – definiowanie DAG, monitorowanie wykonania, obsługa błędów.
  • Wdrażanie najlepszych praktyk DataOps : kontrola wersji dla kodu transformacji danych (Git), code review, testy integracyjne pipeline’ów, ciągła integracja i deployment procesów danych.
  • Współpraca z analitykami danych, data scientistami oraz developerami – dostarczanie im odpowiednio przygotowanych i świeżych danych, rozwiązywanie problemów związanych z dostępnością i jakością danych.
  • Dokumentowanie architektury platformy danych, procesów ETL oraz schematów przetwarzania w celu utrzymania wiedzy w zespole.
  • requirements-expected :

  • Co najmniej 3 lata doświadczenia na stanowisku Data Engineer lub pokrewnym (Big Data Developer, ETL Developer).
  • Biegła znajomość Python (w kontekście przetwarzania danych – skrypty ETL, biblioteki Pandas, PySpark) oraz dobra znajomość SQL (złożone zapytania, optymalizacja).
  • Doświadczenie w pracy z technologiami Big Data : praktyczna znajomość ekosystemu Hadoop (HDFS, Hive) i frameworka Spark do obliczeń rozproszonych na dużą skalę.
  • Umiejętność projektowania architektury hurtowni danych i data lake – rozumienie zasad modelowania danych (np. model gwiazdy, partycjonowanie, formaty kolumnowe Parquet / ORC).
  • Znajomość narzędzi orkiestracji procesów i automatyzacji workflow (preferowany Apache Airflow lub podobne).
  • Dobra orientacja w środowisku chmurowym (np. AWS lub Azure) – potrafisz wykorzystać usługi chmurowe do budowy pipeline’ów danych (przechowywanie, przetwarzanie, analityka).
  • Doświadczenie w konteneryzacji i orkiestracji – umiejętność uruchamiania zadań w Dockerze, podstawy Kubernetes (deploy, zarządzanie jobami w klastrze).
  • Znajomość zagadnień optymalizacji zapytań i procesów ETL (analiza planów zapytań, rozpoznawanie wąskich gardeł, skalowanie horyzontalne vs. pionowe).
  • Praktyka w pracy z systemem kontroli wersji Git oraz w tworzeniu współdzielonych repozytoriów kodu (pull requesty, code review w projektach data).
  • Wykształcenie wyższe (informatyka, matematyka, inżynieria danych lub pokrewne).
  • Zdolności analityczne, dokładność i sumienność w pracy z danymi – dbałość o ich jakość i spójność.
  • Umiejętność rozwiązywania złożonych problemów technicznych oraz optymalizacyjnych, kreatywność w znajdowaniu usprawnień.
  • Komunikatywność i umiejętność pracy w zespole – współpraca z innymi inżynierami i interesariuszami biznesowymi.
  • Znajomość języka angielskiego na poziomie umożliwiającym swobodną pracę z dokumentacją techniczną i komunikację (min. B2).
  • Utwórz powiadomienie o ofertach pracy dla tego wyszukiwania

    Data Engineer • Warszawa, mazowieckie, Polska

    Powiązane stanowiska
    Data Engineer @ Godel Technologies Europe

    Data Engineer @ Godel Technologies Europe

    Godel Technologies Europe • Warszawa, Poland
    At Godel Technologies, we are passionate about building innovative software solutions that empower businesses around the world. As we continue to grow, we’re looking for a Data Engineer who is excit...Pokaż więcej
    Ostatnia aktualizacja: 19 dni temu • Promowane
    Data Engineer Snowflake

    Data Engineer Snowflake

    Square One • Warszawa, PL
    Join a dynamic Agile team and play a key role in shaping data solutions that support high-impact business decisions.If you thrive in a collaborative, fast-paced environment and have experience with...Pokaż więcej
    Ostatnia aktualizacja: 26 dni temu • Promowane
    Data Engineer (Databricks)

    Data Engineer (Databricks)

    Addepto • Warszawa, Masovian, Poland
    As a Data Engineer, you will have the exciting opportunity to work with a team of technology experts on challenging projects across various industries, leveraging cutting-edge technologies.Here are...Pokaż więcej
    Ostatnia aktualizacja: ponad 30 dni temu • Promowane
    Data Engineer @ Bayer

    Data Engineer @ Bayer

    Bayer • Warszawa, Poland
    At Bayer we’re visionaries, driven to solve the world’s toughest challenges and striving for a world where ,Health for all, Hunger for none’ is no longer a dream, but a real possibility.We’re doing...Pokaż więcej
    Ostatnia aktualizacja: ponad 30 dni temu • Promowane
    Data Engineer Databricks

    Data Engineer Databricks

    Addepto • Warszawa, Warszawa, Polska
    ROI-focused AI solutions for some of the world’s largest enterprises and pioneering startups, including Rolls Royce, Continental, Porsche, ABB, and WGU. With our exclusive focus on Artificial Intell...Pokaż więcej
    Ostatnia aktualizacja: ponad 30 dni temu • Promowane
    Data Engineer

    Data Engineer

    SIX • Warszawa, Warszawa, Polska
    Warsaw | working from home up to 40% | Reference 7217.Are you curious about the stock market and passionate about data engineering? Would you like to work on cutting-edge technology at one of the m...Pokaż więcej
    Ostatnia aktualizacja: ponad 30 dni temu • Promowane
    Data Engineer

    Data Engineer

    Datumo • Warszawa, Warszawa, Polska
    Datumo specializes in providing Data Engineering and Cloud Computing consulting services to clients from all over the world, primarily in Western Europe, Poland and the USA.Core industries we suppo...Pokaż więcej
    Ostatnia aktualizacja: ponad 30 dni temu • Promowane
    Data Engineer

    Data Engineer

    PRETIUS SOFTWARE SP. Z O.O. • Warszawa, Masovian, Poland
    At Pretius, we are looking for Data Engineer to an international project within the fuel industry.Collaborate with a team of Data Engineers and Business Analysts to successfully deliver the data mi...Pokaż więcej
    Ostatnia aktualizacja: 25 dni temu • Promowane
    Data Engineer

    Data Engineer

    Keyloop • Warszawa, PL
    Keyloop bridges the gap between dealers, manufacturers, technology suppliers and car buyers.We empower car dealers and manufacturers to fully embrace digital transformation.How? By creating innovat...Pokaż więcej
    Ostatnia aktualizacja: 18 dni temu • Promowane
    Data Engineer Databricks

    Data Engineer Databricks

    ERGO Technology & Services • Warszawa, Warszawa, Polska
    January 2021 following the integration of ERGO Digital IT and Atena into one entity, leveraging both companies’ strengths and best practices. As a part of ERGO Technology & Services Management AG, t...Pokaż więcej
    Ostatnia aktualizacja: ponad 30 dni temu • Promowane
    Data Engineer

    Data Engineer

    HAYS Poland • Warszawa, Warszawa, Polska
    Our client is a Scandinavian company building its SSC structures in Warsaw.This exciting development offers a unique opportunity to be part of a dynamic team during a pivotal phase of growth and tr...Pokaż więcej
    Ostatnia aktualizacja: ponad 30 dni temu • Promowane
    Data Engineer

    Data Engineer

    CLOUDFIDE SPÓŁKA Z OGRANICZONĄ ODPOWIEDZIALNOŚCIĄ • Warszawa, Masovian, Poland
    Passionate about Cloud and data analytics.Curious and eager to learn new technologies.One that would like to work with a team of like-minded people. You will work on a project involving modern cloud...Pokaż więcej
    Ostatnia aktualizacja: ponad 30 dni temu • Promowane
    Data engineer

    Data engineer

    Keyloop • Warszawa, Mazowieckie, Polska
    Keyloop bridges the gap between dealers, manufacturers, technology suppliers and car buyers.We empower car dealers and manufacturers to fully embrace digital transformation.How? By creating innovat...Pokaż więcej
    Ostatnia aktualizacja: ponad 30 dni temu • Promowane
    Data Engineer Databricks

    Data Engineer Databricks

    Procter & Gamble • Warszawa, Warszawa, Polska
    We are seeking for a Data Engineer (Databricks) to join our CE backend engineering team, responsible for design, development and implementing data and analytics cloud-based analytics platforms (DAP...Pokaż więcej
    Ostatnia aktualizacja: 19 dni temu • Promowane
    Data Engineer

    Data Engineer

    Kyotu Technology • Warszawa, Warszawa, Polska
    Kyotu Technology is a boutique software house based in Wrocław and Warsaw, working fully remotely or in hybrid mode from anywhere in Poland. We partner with companies from Germany, Switzerland, West...Pokaż więcej
    Ostatnia aktualizacja: 16 godziny temu • Promowane • Nowe!
    Data engineer @ deepsense.ai sp. z o.o.

    Data engineer @ deepsense.ai sp. z o.o.

    Deepsense.ai Sp. Z O.o. • Warsaw, Masovian Voivodeship, Polska
    We are looking for a Data Engineer to join our team.A specialist responsible for designing, developing, and maintaining scalable data pipelines and infrastructure to support AI- and data-driven so...Pokaż więcej
    Ostatnia aktualizacja: 21 dni temu • Promowane
    Data Engineer (Databricks) @ Addepto

    Data Engineer (Databricks) @ Addepto

    Addepto • Warsaw, Poland
    Addepto is a leading AI consulting and data engineering company that builds scalable, ROI-focused AI solutions for some of the world’s largest enterprises and pioneering startups, including Rolls R...Pokaż więcej
    Ostatnia aktualizacja: ponad 30 dni temu • Promowane
    Data Engineer @ deepsense.ai Sp. z o.o.

    Data Engineer @ deepsense.ai Sp. z o.o.

    deepsense.ai Sp. z o.o. • Warsaw, Poland
    A specialist responsible for designing, developing, and maintaining scalable data pipelines and infrastructure to support AI- and data-driven solutions. Experience with any of the major.Terraform / Cl...Pokaż więcej
    Ostatnia aktualizacja: 25 dni temu • Promowane