This job offer is not available in your country.

Data Engineer

speedappWarszawa, mazowieckie, Polska

5 days ago

Job description

technologies-expected :

Microsoft Azure
Python
Spark
Databricks
Azure Data Factory

technologies-optional :

Hadoop

Kafka

Flink

about-project :

Osoba na tym stanowisku będzie współpracować z zespołami projektowymi przy tworzeniu nowoczesnej platformy danych w środowisku chmurowym dla globalnych marek. Praca odbywa się w międzynarodowym środowisku, ze specjalizacją w architekturze chmurowej BI i Big Data oraz z wykorzystaniem najnowszych technologii z tego obszaru.

responsibilities :

Projektowanie, budowa i optymalizacja skalowalnych potoków danych na platformie Databricks z wykorzystaniem SQL / Python / Spark.

Rozwijanie istniejących projektów w środowisku Microsoft Azure w celu pozyskania wartościowych informacji biznesowych.

Zapewnienie, że dane są modelowane i przetwarzane zgodnie z architekturą oraz wymaganiami funkcjonalnymi i niefunkcjonalnymi.

Planowanie i wdrażanie potoków przetwarzania danych strukturalnych i niestrukturalnych (np. wideo i obrazy).

Automatyzacja i optymalizacja procesów wewnętrznych w środowisku Azure.

Współpraca z zespołami międzyfunkcyjnymi i międzynarodowymi – zarówno wewnętrznymi, jak i zewnętrznymi.

requirements-expected :

Minimum 5 lat doświadczenia w pracy z platformą Databricks (Delta Lake, Workflows / Jobs, DLT, Unity Catalog)

Bardzo dobre umiejętności programowania w języku Python

Dobra znajomość SQL oraz relacyjnych baz danych

Wiedza z zakresu hurtowni danych (Data Warehouse), Business Intelligence oraz przetwarzania danych ETL / ELT

Znajomość architektury Medallion

Proaktywne podejście do zadań, umiejętność rozwiązywania problemów i myślenia krytycznego

Elastyczność, samodzielność i odpowiedzialność za powierzone zadania

Chęć ciągłego rozwoju i poznawania nowych technologii

Znajomość komponentów chmurowych Azure do przechowywania i przetwarzania danych : Azure Data Lake Storage, Azure Event Hubs, Azure Data Factory, SQL Database, Synapse, Fabric

offered :

Zatrudnienie bezpośrednio

Współpracę w oparciu o kontrakt B2B lub UoP

Pracę w 100% zdalną

Create a job alert for this search

Data Engineer • Warszawa, mazowieckie, Polska