Solution Architect (AWS, Spark) (Remote)

Czym będziesz się zajmować?

Szukamy osoby z doświadczeniem technicznym i biznesowym, która dobrze odnajdzie się w bezpośrednim kontakcie z klientem. Kluczowa jest samodzielność, inicjatywa i gotowość do zaangażowania w działania zarówno projektowe, jak i wewnętrzne / organizacyjne.

• Lokalizacja : Warszawa lub zdalnie (na początku współpracy wymagane 2 dni onboardingu w biurze, w późniejszym etapie oczekujemy wizyt w biurze raz na miesiąc / dwa miesiące)

Twój zakres obowiązków :

Projektowanie rozwiązań opartych o usługi chmurowe (AWS) z uwzględnieniem wymagań klienta i najlepszych praktyk architektonicznych

Współtworzenie i rozwój nowoczesnych procesów przetwarzania danych (ETL / ELT) z wykorzystaniem Apache Spark (głównie PySpark)

Udział w spotkaniach z klientem – prezentowanie rozwiązań, zbieranie wymagań, doradztwo techniczne

Wspieranie zespołów developerskich w implementacji rozwiązań (code review, konsultacje, rozwiązywanie problemów)

Tworzenie i utrzymywanie dokumentacji architektonicznej

Wdrażanie rozwiązań CI / CD oraz zarządzanie infrastrukturą jako kodem (IaC)

Zapewnienie jakości i spójności danych poprzez dobór odpowiednich narzędzi i mechanizmów kontrolnych

Inicjowanie i udział w działaniach usprawniających procesy wewnętrzne oraz dzielenie się wiedzą w zespole

Kogo poszukujemy?

Nasze wymagania :

AWS S3 – znajomość różnych klas przechowywania, versioning, struktura bucketów i prefixów

Apache Spark (w szczególności PySpark), np. w usługach : Glue, EMR, Databricks, Synapse

Git – zarządzanie branchami, rozwiązywanie konfliktów, code review

Format Parquet – wiedza o strukturze kolumnowej, ewolucji schematu, partycjonowaniu danych

Python – doświadczenie programistyczne

SQL – zaawansowane zapytania (CTE, funkcje okienkowe, procedury składowane)

Hive Metastore (np. Glue Catalog, Databricks, Nifi, Presto itd.)

Airflow

Mile widziane :

Infrastructure-as-Code (IaC) – np. CloudFormation, Terraform, Ansible, ARM, Chef

CI / CD – np. CodePipeline, GitHub Actions, GitLab, Jenkins, TeamCity

AWS Glue, AWS Lambda (lub ich odpowiedniki na Azure / GCP)

AWS Redshift – w tym Redshift Spectrum, procedury, materializowane widoki, tymczasowe tabele

AWS Step Functions

Formaty plików typu Delta Lake, Apache Iceberg, Hudi

HDFS

Scala

Doświadczenie z koncepcjami : Data Lakehouse, Data Quality, Data Lineage, Data Governance

Praca z danymi strumieniowymi / w czasie rzeczywistym

Znajomość modelowania danych : Star Schema, Kimball, Data Vault, Common Data Model

Obszary : Master Data Management

Czego wymagamy?

Znajomości :

AWS S3

Spark

PySpark

Databricks

Python

Mile widziane :

Terraform

GitHub

Języki :

Polski

Angielski

Jakie warunki i benefity otrzymasz?

31900-35300 PLN miesięcznie

B2B - Elastyczne godziny pracy (100%)

Praca zdalna : Możliwa w całości

Pakiet medyczny, Ubezpieczenie, Pakiet sportowy

Kim jesteśmy?

Crestt powstał w odpowiedzi na rosnące zapotrzebowanie ze strony biznesu na zastosowanie nowoczesnych technologii w codziennych działaniach. Naszym celem jest dostarczenie rozwiązań IT opartych o najnowsze rozwiązania technologiczne o niepodważalnej wartości biznesowej. We współpracy z naszymi Partnerami, stworzyliśmy najwyższej klasy rozwiązania IT. Nasze produkty optymalizują procesy biznesowe w największych polskich firmach, a jednoczesnie są dopasowane do indywidualnych potrzeb każdej z nich. Jesteśmy stali w jakości, a elastyczni w podejściu.