Data Engineer (Azure / Databricks / Spark)
Miejsce pracy : Wrocław
Technologie, których używamy
Wymagane
- Microsoft Azure
- Apache Spark
- Python
- Terraform
- YAML
- Parquet
- PowerShell
- Azure CLI
O projekcie
Poszukujemy doświadczonego Data Engineera, który zasili zespół w projekcie opartym na platformie Microsoft Azure. Zespół pracuje nad zaawansowanym systemem przetwarzania i analizy danych klientów, z wykorzystaniem najnowszych technologii, takich jak Azure Databricks, Apache Spark czy Machine Learning.
Twój zakres obowiązków
Projektowanie, budowa i utrzymanie rozwiązań do przetwarzania danych w chmurze Microsoft AzurePrzetwarzanie danych z użyciem Apache Spark w Azure DatabricksTworzenie i zarządzanie pipeline’ami danych w Azure Data FactoryAutomatyzacja wdrożeń z wykorzystaniem Azure DevOps, Terraform, YAML i Azure CLITestowanie rozwiązań i walidacja danych we współpracy z zespołami biznesowymiPraca z danymi w czasie rzeczywistym (real-time streaming)Nasze wymagania
Minimum 5 lat doświadczenia na stanowisku Data EngineerBardzo dobra znajomość środowiska Microsoft Azure, w szczególności :Azure Databricks (Apache Spark)Azure Data FactoryAzure Data Storage / Delta LakeAzure DevOps (CI / CD, zarządzanie dostępem, automatyzacja)Umiejętność projektowania i wdrażania rozwiązań chmurowych dla zaawansowanych analizZnajomość i doświadczenie w obszarze Machine Learning, MLOps, MLflowZnajomość technologii i narzędzi : Python, Terraform, YAML, Parquet, Git, PowerShell, Azure CLIZorientowanie na jakość kodu i wydajność pipeline’ówUmiejętność pracy zespołowej oraz dobre zdolności komunikacyjneTak organizujemy naszą pracę
Tak pracujemy
agileJeśli ta rola brzmi jak coś dla Ciebie – prześlij nam swoje CV.
Skontaktujemy się z wybranymi kandydatami, aby omówić dalsze kroki.
Wszystkie informacje o przetwarzaniu danych osobowych w tej rekrutacji znajdziesz w formularzu aplikacyjnym, po kliknięciu w przycisk "Aplikuj Teraz".