Data EngineerRANDLAB SOFTWARE sp. z o.o. • Warszawa, mazowieckie, Polska
Data Engineer
RANDLAB SOFTWARE sp. z o.o. • Warszawa, mazowieckie, Polska
30+ days ago
Job descriptionApache Airflow Apache Kafka Azure GCP MongoDB Cassandra Elasticsearch Terraform Prometheus Grafana Tableau Microsoft Power BI Projekt realizowany jest dla międzynarodowej organizacji budującej nowoczesną platformę Big Data do gromadzenia i przetwarzania danych biznesowych w dużej skali (setki milionów rekordów dziennie). Zakres współpracy obejmuje projektowanie i wdrażanie infrastruktury danych – od pipeline’ów strumieniowych po hurtownie danych wspierające analizy i modele Machine Learning. Środowisko oparte jest na chmurze AWS oraz narzędziach open-source, z dużym naciskiem na automatyzację procesów (Infrastructure as Code, CI / CD) i dobre praktyki inżynierii danych. Tworzenie i utrzymanie wydajnych pipeline’ów danych – procesów ETL / ELT do ekstrakcji, przekształcania i ładowania dużych wolumenów danych z różnych źródeł. Projektowanie i implementacja hurtowni danych / data lake – budowa architektury przechowywania danych (HDFS / S3, bazy kolumnowe) zapewniającej skalowalność i bezpieczeństwo. Programowanie rozproszonych zadań przetwarzania danych z użyciem Apache Spark oraz optymalizacja ich działania (tuning jobów, zarządzanie zasobami w klastrze). Integracja danych strumieniowych i czasu rzeczywistego (konfiguracja i obsługa platform typu Kafka oraz przetwarzanie streamów w Spark Streaming lub Flink). Automatyzacja harmonogramu zadań przetwarzania (workflow) za pomocą narzędzi Apache Airflow – definiowanie DAG, monitorowanie wykonania, obsługa błędów. Wdrażanie najlepszych praktyk DataOps : kontrola wersji dla kodu transformacji danych (Git), code review, testy integracyjne pipeline’ów, ciągła integracja i deployment procesów danych. Współpraca z analitykami danych, data scientistami oraz developerami – dostarczanie im odpowiednio przygotowanych i świeżych danych, rozwiązywanie problemów związanych z dostępnością i jakością danych. Dokumentowanie architektury platformy danych, procesów ETL oraz schematów przetwarzania w celu utrzymania wiedzy w zespole. Co najmniej 3 lata doświadczenia na stanowisku Data Engineer lub pokrewnym (Big Data Developer, ETL Developer). Biegła znajomość Python (w kontekście przetwarzania danych – skrypty ETL, biblioteki Pandas, PySpark) oraz dobra znajomość SQL (złożone zapytania, optymalizacja). Doświadczenie w pracy z technologiami Big Data : praktyczna znajomość ekosystemu Hadoop (HDFS, Hive) i frameworka Spark do obliczeń rozproszonych na dużą skalę. Umiejętność projektowania architektury hurtowni danych i data lake – rozumienie zasad modelowania danych (np. model gwiazdy, partycjonowanie, formaty kolumnowe Parquet / ORC). Znajomość narzędzi orkiestracji procesów i automatyzacji workflow (preferowany Apache Airflow lub podobne). Dobra orientacja w środowisku chmurowym (np. AWS lub Azure) – potrafisz wykorzystać usługi chmurowe do budowy pipeline’ów danych (przechowywanie, przetwarzanie, analityka). Doświadczenie w konteneryzacji i orkiestracji – umiejętność uruchamiania zadań w Dockerze, podstawy Kubernetes (deploy, zarządzanie jobami w klastrze). Znajomość zagadnień optymalizacji zapytań i procesów ETL (analiza planów zapytań, rozpoznawanie wąskich gardeł, skalowanie horyzontalne vs. pionowe). Praktyka w pracy z systemem kontroli wersji Git oraz w tworzeniu współdzielonych repozytoriów kodu (pull requesty, code review w projektach data). Wykształcenie wyższe (informatyka, matematyka, inżynieria danych lub pokrewne). Zdolności analityczne, dokładność i sumienność w pracy z danymi – dbałość o ich jakość i spójność. Umiejętność rozwiązywania złożonych problemów technicznych oraz optymalizacyjnych, kreatywność w znajdowaniu usprawnień. Komunikatywność i umiejętność pracy w zespole – współpraca z innymi inżynierami i interesariuszami biznesowymi. Znajomość języka angielskiego na poziomie umożliwiającym swobodną pracę z dokumentacją techniczną i komunikację (min. B2).
technologies-expected :
- Python
- Scala
- SQL
- Hadoop
- Hive
- Apache Spark
- PySpark
- Docker
- Kubernetes
- AWS
- Git
technologies-optional :
about-project :
responsibilities :
requirements-expected :
Create a job alert for this search
Data Engineer • Warszawa, mazowieckie, Polska
Related jobs
Data Engineer (Databricks) @ Addepto
Addepto • Warsaw, Poland
Addepto is a leading AI consulting and data engineering company that builds scalable, ROI-focused AI solutions for some of the world’s largest enterprises and pioneering startups, including Rolls R...Show more
Last updated: 30+ days ago • Promoted
Data Engineer @ Bayer
Bayer • Warszawa, Poland
At Bayer we’re visionaries, driven to solve the world’s toughest challenges and striving for a world where ,Health for all, Hunger for none’ is no longer a dream, but a real possibility.We’re doing...Show more
Last updated: 30+ days ago • Promoted
Data Engineer Snowflake
Square One • Warszawa, PL
Join a dynamic Agile team and play a key role in shaping data solutions that support high-impact business decisions.If you thrive in a collaborative, fast-paced environment and have experience with...Show more
Last updated: 29 days ago • Promoted
Data Engineer
Unit8 • Warszawa, Warszawa, Polska
Founded in 2017, Unit8 is a fast-growing Swiss AI and data analytics consulting and services company dedicated to solving complex problems of traditional industries like automotive, chemical, finan...Show more
Last updated: 30+ days ago • Promoted
Data Engineer (Databricks)
Addepto • Warszawa, Masovian, Poland
As a Data Engineer, you will have the exciting opportunity to work with a team of technology experts on challenging projects across various industries, leveraging cutting-edge technologies.Here are...Show more
Last updated: 30+ days ago • Promoted
Data Engineer Databricks
Addepto • Warszawa, Warszawa, Polska
ROI-focused AI solutions for some of the world’s largest enterprises and pioneering startups, including Rolls Royce, Continental, Porsche, ABB, and WGU.
With our exclusive focus on Artificial Intell...Show more
Last updated: 30+ days ago • Promoted
Data Engineer
PRETIUS SOFTWARE SP. Z O.O. • Warszawa, Masovian, Poland
At Pretius, we are looking for Data Engineer to an international project within the fuel industry.Collaborate with a team of Data Engineers and Business Analysts to successfully deliver the data mi...Show more
Last updated: 28 days ago • Promoted
Data Engineer
Keyloop • Warszawa, PL
Keyloop bridges the gap between dealers, manufacturers, technology suppliers and car buyers.We empower car dealers and manufacturers to fully embrace digital transformation.How? By creating innovat...Show more
Last updated: 20 days ago • Promoted
Data Engineer @ Godel Technologies Europe
Godel Technologies Europe • Warszawa, Poland
At Godel Technologies, we are passionate about building innovative software solutions that empower businesses around the world.
As we continue to grow, we’re looking for a Data Engineer who is excit...Show more
Last updated: 21 days ago • Promoted
Data Engineer
Hays Poland • Warszawa, PL
Our client is a Scandinavian company building its SSC structures in Warsaw.This exciting development offers a unique opportunity to be part of a dynamic team during a pivotal phase of growth and tr...Show more
Last updated: 1 day ago • Promoted
Data Engineer with Snowflake Databricks
Sollers Consulting Sp. z.o.o • Warszawa, Warszawa, Polska
Sollers Consulting is more than a consultancy and software integrator.As a company founded in 2000, our mission has been to transform the financial & insurance industries by helping them adapt to n...Show more
Last updated: 1 hour ago • Promoted • New!
Data Engineer
Hirexa • Warszawa, Warszawa, Polska
Hirexa Solutions is a leading player in the recruitment ecosystem across the United States, United Kingdom, Europe, and India.
As the fastest-growing next-generation provider of technology talent, w...Show more
Last updated: 30+ days ago • Promoted
Data Engineer
CLOUDFIDE SPÓŁKA Z OGRANICZONĄ ODPOWIEDZIALNOŚCIĄ • Warszawa, Masovian, Poland
Passionate about Cloud and data analytics.Curious and eager to learn new technologies.One that would like to work with a team of like-minded people.
You will work on a project involving modern cloud...Show more
Last updated: 30+ days ago • Promoted
Lead Data Engineer Databricks
N-iX • Warszawa, Warszawa, Polska
Join our team to work on enhancing a robust data pipeline that powers our.Engage with domain experts to analyze real-world engineering data and build data quality solutions that inspire customer co...Show more
Last updated: 22 days ago • Promoted
Data engineer
Keyloop • Warsaw, Masovian Voivodeship, Polska
Keyloop bridges the gap between dealers, manufacturers, technology suppliers and car buyers.We empower car dealers and manufacturers to fully embrace digital transformation.How? By creating innovat...Show more
Last updated: 30+ days ago • Promoted
Mid Data Engineer @ Idego Group Sp. z o.o.
Idego Group Sp. z o.o. • Warszawa, Poland
At Idego Group, you’ll work with people who find pleasure in programming and have deep knowledge about a variety of technologies.
You’ll work for our clients worldwide and provide support in great s...Show more
Last updated: 15 days ago • Promoted
Data Engineer @ deepsense.ai Sp. z o.o.
deepsense.ai Sp. z o.o. • Warsaw, Poland
A specialist responsible for designing, developing, and maintaining scalable data pipelines and infrastructure to support AI- and data-driven solutions.
Experience with any of the major.Terraform / Cl...Show more
Last updated: 28 days ago • Promoted
Data Engineer
PAYBACK • Warszawa, PL
As an international player, we operate in German, Italian, Mexican, and Austrian markets.More than 10 million active customers already use the German PAYBACK app and mobile PAYBACK services via the...Show more
Last updated: 15 days ago • Promoted