Programista-Analityk Data Platform | Kafka | B2B
ALGOTEQUE is an IT consultancy firm that helps startups, mid-sized and large corporations to create and deliver innovative technologies. Our team has a successful track record in designing, developing, implementing, and integrating software solutions (AI, ML, BI, Web, Automation) for Telecom, Energy, Bank, Insurance, Pharma, Automotive, Industry, e-commerce. We deliver our services both in fixed-price and time-and-materials models, helping our customers achieve their business and IT strategies.
Job Description :
Do zespołu Data Platform poszukujemy osoby łączącej kompetencje programistyczne i analityczne. Rola obejmuje zarówno tworzenie nowoczesnych rozwiązań opartych na Apache Kafka, Spring Boot, MongoDB, GraphQL i Apache Iceberg, jak również analizę wymagań, modelowanie danych oraz współpracę z interesariuszami i zespołami IT.Celem jest rozwój platformy streamingowej oraz rozwiązań wspierających sprawny przepływ i udostępnianie danych pomiędzy systemami źródłowymi, platformą streamingową i warstwą ODS. Zakres projektu - Analiza potrzeb biznesowych i technicznych we współpracy z analitykami oraz zespołami IT. - Przekładanie wymagań na specyfikacje funkcjonalne i techniczne oraz konkretne rozwiązania. - Projektowanie przepływów i modeli danych pomiędzy systemami źródłowymi, Apache Kafka oraz warstwą ODS. - Tworzenie dokumentacji, w tym use case'ów, user stories, diagramów danych oraz mapowania pól. - Projektowanie topików Kafka, w tym zasad nazewnictwa, partycjonowania i schematów Avro. - Projektowanie struktur danych w MongoDB, modeli GraphQL oraz tabel Apache Iceberg. - Rozwijanie mikroserwisów w Java / Spring Boot, obejmujących m.in. producentów, konsumentów i przetwarzanie strumieniowe. - Budowa oraz rozwój warstwy GraphQL udostępniającej dane z MongoDB. - Konfiguracja i rozwój integracji z wykorzystaniem Kafka Connect. - Tworzenie własnych Single Message Transforms (SMT) oraz konwerterów danych. - Implementacja mechanizmów monitoringu i observability z wykorzystaniem Prometheus, Grafana, OpenTelemetry, Vector, ELK oraz Dynatrace. - Analiza i rozwiązywanie problemów związanych z replikacją, opóźnieniami oraz jakością i spójnością danych. - Optymalizacja środowiska Kafka, MongoDB i Iceberg pod kątem wydajności oraz kosztów. - Udział w code review, warsztatach technicznych i dzieleniu się wiedzą. - Współpraca z Data Engineerami, DevOpsami, analitykami oraz testerami w środowisku Agile. - Udział w spotkaniach projektowych raz w miesiącu we Wrocławiu.
Profile / Requirements :
- Minimum 3 lata doświadczenia w środowiskach produkcyjnych. - Bardzo dobra znajomość Apache Kafka, w szczególności brokerów, topiców, partycjonowania, replikacji i schematów. - Biegłość w Kafka Streams oraz kSQL. - Doświadczenie w konfiguracji i rozwoju Kafka Connect, zarówno z wykorzystaniem gotowych konektorów, jak i własnych rozszerzeń. - Bardzo dobra znajomość Javy oraz Spring / Spring Boot, mile widziane doświadczenie z Spring Cloud, Spring Security i Spring Data. - Doświadczenie w projektowaniu oraz optymalizacji baz MongoDB, w tym schematów dokumentowych, indeksów i zapytań. - Znajomość GraphQL – projektowanie schematów i implementacja resolverów. - Podstawowa znajomość Apache Iceberg, w szczególności struktury tabel i zarządzania metadanymi. - Znajomość Java i Python. - Doświadczenie z narzędziami observability, w szczególności Prometheus, Grafana i OpenTelemetry. - Znajomość mechanizmów bezpieczeństwa w środowiskach streamingowych: TLS, SASL, ACL oraz szyfrowanie danych w tranzycie i spoczynku. - Znajomość Scrum lub Kanban oraz narzędzi takich jak Jira i Confluence. - Umiejętność swobodnego poruszania się pomiędzy obszarem analizy, projektowania rozwiązania i jego implementacji. - Komunikatywność i umiejętność współpracy z osobami o profilu biznesowym oraz technicznym.