This job offer is not available in your country.

Data Engineer (Azure / Databricks / Spark)

UPVANTA SPÓŁKA Z OGRANICZONĄ ODPOWIEDZIALNOŚCIĄWrocław, dolnośląskie, Polska

21 days ago

Job description

technologies-expected :

Microsoft Azure
Apache Spark
Python
Terraform
YAML
Parquet
PowerShell
Azure CLI

about-project :

Poszukujemy doświadczonego Data Engineera, który zasili zespół w projekcie opartym na platformie Microsoft Azure. Zespół pracuje nad zaawansowanym systemem przetwarzania i analizy danych klientów, z wykorzystaniem najnowszych technologii, takich jak Azure Databricks, Apache Spark czy Machine Learning.

responsibilities :

Projektowanie, budowa i utrzymanie rozwiązań do przetwarzania danych w chmurze Microsoft Azure

Przetwarzanie danych z użyciem Apache Spark w Azure Databricks

Tworzenie i zarządzanie pipeline’ami danych w Azure Data Factory

Automatyzacja wdrożeń z wykorzystaniem Azure DevOps, Terraform, YAML i Azure CLI

Testowanie rozwiązań i walidacja danych we współpracy z zespołami biznesowymi

Praca z danymi w czasie rzeczywistym (real-time streaming)

requirements-expected :

Minimum 5 lat doświadczenia na stanowisku Data Engineer

Bardzo dobra znajomość środowiska Microsoft Azure, w szczególności :

Azure Databricks (Apache Spark)

Azure Data Factory

Azure Data Storage / Delta Lake

Azure DevOps (CI / CD, zarządzanie dostępem, automatyzacja)

Umiejętność projektowania i wdrażania rozwiązań chmurowych dla zaawansowanych analiz

Znajomość i doświadczenie w obszarze Machine Learning, MLOps, MLflow

Znajomość technologii i narzędzi : Python, Terraform, YAML, Parquet, Git, PowerShell, Azure CLI

Zorientowanie na jakość kodu i wydajność pipeline’ów

Umiejętność pracy zespołowej oraz dobre zdolności komunikacyjne

Create a job alert for this search

Data Engineer • Wrocław, dolnośląskie, Polska