Solution Architect (AWS, Spark) @ Crestt

Profil kandydata

Szukamy osoby z doświadczeniem technicznym i biznesowym, która dobrze odnajdzie się w bezpośrednim kontakcie z klientem. Kluczowa jest samodzielność, inicjatywa i gotowość do zaangażowania w działania zarówno projektowe, jak i wewnętrzne / organizacyjne.

Lokalizacja : Warszawa lub zdalnie (na początku współpracy wymagane 2 dni onboardingu w biurze, w późniejszym etapie oczekujemy wizyt w biurze raz na miesiąc / dwa miesiące)

Rozwiązania core'owe dla roli :

• AWS S3 – znajomość różnych klas przechowywania, versioning, struktura bucketów i prefixów
• Apache Spark (w szczególności PySpark ), np. w usługach : Glue, EMR, Databricks, Synapse
• Git – zarządzanie branchami, rozwiązywanie konfliktów, code review
• Format Parquet – wiedza o strukturze kolumnowej, ewolucji schematu, partycjonowaniu danych
• Python – doświadczenie programistyczne
• SQL – zaawansowane zapytania (CTE, funkcje okienkowe, procedury składowane)
• Hive Metastore (np. Glue Catalog, Databricks, Nifi, Presto itd.)
• Airflow

Istotne rozwiązania / technologie :

Dodatkowe atuty :

Profil kandydata

Szukamy osoby z doświadczeniem technicznym i biznesowym, która dobrze odnajdzie się w bezpośrednim kontakcie z klientem. Kluczowa jest samodzielność, inicjatywa i gotowość do zaangażowania w działania zarówno projektowe, jak i wewnętrzne / organizacyjne.

Lokalizacja : Warszawa lub zdalnie (na początku współpracy wymagane 2 dni onboardingu w biurze, w późniejszym etapie oczekujemy wizyt w biurze raz na miesiąc / dwa miesiące)

Projektowanie rozwiązań opartych o usługi chmurowe (AWS) z uwzględnieniem wymagań klienta i najlepszych praktyk architektonicznych, Współtworzenie i rozwój nowoczesnych procesów przetwarzania danych (ETL / ELT) z wykorzystaniem Apache Spark (głównie PySpark), Udział w spotkaniach z klientem – prezentowanie rozwiązań, zbieranie wymagań, doradztwo techniczne, Wspieranie zespołów developerskich w implementacji rozwiązań (code review, konsultacje, rozwiązywanie problemów), Tworzenie i utrzymywanie dokumentacji architektonicznej, Wdrażanie rozwiązań CI / CD oraz zarządzanie infrastrukturą jako kodem (IaC), Zapewnienie jakości i spójności danych poprzez dobór odpowiednich narzędzi i mechanizmów kontrolnych, Inicjowanie i udział w działaniach usprawniających procesy wewnętrzne oraz dzielenie się wiedzą w zespole] Requirements : AWS, AWS S3, Apache Spark, PySpark, Glue, Databricks, Synapse, Git, Parquet, Python, SQL, Airflow, Hive Metastone, IaC, CloudFormation, Terraform, Ansible, GitHub, GitLab, Jenkins, TeamCity, AWS Glue, AWS Lambda, Redshift, dbt, HDFS, Scala, Data Lake, Vault, Data management, Big Data, Cloud, Data warehouse Additionally : Remote work.