Talent.com
Ta oferta pracy nie jest dostępna w Twoim kraju.
Programista BigData

Programista BigData

IT Leasing Team Sp. z o.o.Warszawa, Polska
Ponad 30 dni temu
Opis pracy

W ITLT pomagamy naszym zaprzyjaźnionym firmom przekształcać ambitne pomysły w cyfrową rzeczywistość.

Z nastawieniem na wyzwania, ciekawość technologii i zwinność - współtworzymy wyjątkowe rozwiązania IT i zapewniamy najlepszych specjalistów - którzy pomagają przyspieszyć cyfrową transformację.

Aktualnie poszukujemy kandydatów na stanowisko : Programista BigData

Konkrety :

  • Stawka : 135 - 155 PLN / h na FV
  • Miejsce pracy / praca zdalna : Zapewniamy dużą swobodę pracy zdalnej, przy czym 1-2 razy w miesiącu zapraszamy do warszawskiego biura
  • Wymiar pracy : Fulltime
  • Sektor : Money Services
  • Projekt : Projektowanie przetwarzania streaming, batch w środowisku Hadoop i współpraca z zespołem Data Science przy wdrażaniu modeli ML
  • Zespół : 8-10 osobowy
  • Proces rekrutacji : 1-etapowy (techniczne spotkanie zdalne), sporadycznie może się zdarzyć krótkie dodatkowe spotkanie z Managerem połączone z decyzją
  • Szacowany czas trwania projektu : Długoterminowo / bezterminowo
  • Czas pracy / Strefa czasowa : Standardowe polskie godziny pracy
  • Technologie na projekcie : Hadoop Cloudera / Hortonworks, JSON, Parquet, Orc, Avro, Hive, Kudu, HBase, Kubeflow

Do Twoich głównych obowiązków na tym stanowisku należeć będzie :

  • Projektowanie i implementacja procesów przetwarzania danych (batch i streaming) w ekosystemie Hadoop (Cloudera / Hortonworks)
  • Tworzenie i optymalizacja procesów Spark w Pythonie lub Scali
  • Opracowywanie i wdrażanie zapytań SQL do analizy i przetwarzania dużych zbiorów danych
  • Przetwarzanie i integracja danych z różnych źródeł w formatach JSON, PARQUET, ORC, AVRO
  • Współpraca z zespołem Data Science przy wdrażaniu modeli Machine Learning w środowisku Big Data
  • Optymalizacja zapytań i procesów ETL pod kątem wydajności i kosztów
  • Zarządzanie i obsługa baz danych (Hive, Kudu, HBase) w środowisku Hadoop
  • Dbanie o jakość kodu i zgodność z najlepszymi praktykami w zakresie testowania, dokumentowania i wdrażania
  • Monitorowanie, debugowanie i rozwiązywanie problemów związanych z przetwarzaniem danych

    • Nice to have :

  • Automatyzacja procesów CI / CD w ramach wdrażania kodu i pipeline'ów danych
  • Znajomość Kubeflow i integracja procesów ML w Big Data
  • Tworzenie skalowalnych i niezawodnych pipeline'ów przetwarzania danych

    • Ta oferta będzie idealna dla Ciebie, jeśli posiadasz :

  • Przynajmniej 2 lata doświadczenia w pracy na podobnym stanowisku
  • Znajomość koncepcji Big Data, Hurtowni Danych i Zarządzania Danymi
  • Znajomość platformy Hadoop Cloudera / Hortonworks
  • Przynajmniej rok doświadczenia w programowaniu procesów Spark w Python (lub Scala)
  • Dobrą znajomość SQL
  • Doświadczenie z różnymi formatami danych (np. JSON, PARQUET, ORC, AVRO)
  • Wiedzę o typach baz danych i scenariuszach użycia, np. hive, kudu, hbase itp.
  • Doświadczenie w integracji danych z wielu źródeł danych

    • Warto do nas dołączyć, ponieważ oferujemy :

  • Dużą swobodę pracy zdalnej
  • Długofalowe stabilne zatrudnienie
  • Szansę na uczestniczenie w kluczowych projektach dla dużej firmy działającej w bardzo stabilnym sektorze
  • Atrakcyjne wynagrodzenie (adekwatne do umiejętności i doświadczenia)
  • Benefity (Lux Med, MultiSport...)

    • W razie pytań pisz śmiało na Linkedin'ie do Kuby ;)

    Utwórz powiadomienie o ofertach pracy dla tego wyszukiwania

    Programista • Warszawa, Polska