Talent.com
This job offer is not available in your country.
Data Engineer (Azure / Databricks / Spark)

Data Engineer (Azure / Databricks / Spark)

UPVANTA SPÓŁKA Z OGRANICZONĄ ODPOWIEDZIALNOŚCIĄWrocław, dolnośląskie, Polska
21 days ago
Job description

technologies-expected :

  • Microsoft Azure
  • Apache Spark
  • Python
  • Terraform
  • YAML
  • Parquet
  • PowerShell
  • Azure CLI

about-project :

  • Poszukujemy doświadczonego Data Engineera, który zasili zespół w projekcie opartym na platformie Microsoft Azure. Zespół pracuje nad zaawansowanym systemem przetwarzania i analizy danych klientów, z wykorzystaniem najnowszych technologii, takich jak Azure Databricks, Apache Spark czy Machine Learning.
  • responsibilities :

  • Projektowanie, budowa i utrzymanie rozwiązań do przetwarzania danych w chmurze Microsoft Azure
  • Przetwarzanie danych z użyciem Apache Spark w Azure Databricks
  • Tworzenie i zarządzanie pipeline’ami danych w Azure Data Factory
  • Automatyzacja wdrożeń z wykorzystaniem Azure DevOps, Terraform, YAML i Azure CLI
  • Testowanie rozwiązań i walidacja danych we współpracy z zespołami biznesowymi
  • Praca z danymi w czasie rzeczywistym (real-time streaming)
  • requirements-expected :

  • Minimum 5 lat doświadczenia na stanowisku Data Engineer
  • Bardzo dobra znajomość środowiska Microsoft Azure, w szczególności :
  • Azure Databricks (Apache Spark)
  • Azure Data Factory
  • Azure Data Storage / Delta Lake
  • Azure DevOps (CI / CD, zarządzanie dostępem, automatyzacja)
  • Umiejętność projektowania i wdrażania rozwiązań chmurowych dla zaawansowanych analiz
  • Znajomość i doświadczenie w obszarze Machine Learning, MLOps, MLflow
  • Znajomość technologii i narzędzi : Python, Terraform, YAML, Parquet, Git, PowerShell, Azure CLI
  • Zorientowanie na jakość kodu i wydajność pipeline’ów
  • Umiejętność pracy zespołowej oraz dobre zdolności komunikacyjne
  • Create a job alert for this search

    Data Engineer • Wrocław, dolnośląskie, Polska