Talent.com
This job offer is not available in your country.
Inżynier Big Data (Java / Spark / Python)

Inżynier Big Data (Java / Spark / Python)

ALGOTEQUE SERVICES sp. z o.o.Warszawa, mazowieckie, Polska
1 day ago
Job description

technologies-expected :

  • Maven
  • Gradle
  • Python
  • Apache Spark
  • Apache Airflow
  • Linux
  • IntelliJ
  • VSCode
  • PyCharm
  • Jira
  • Confluence

technologies-optional :

  • Ansible
  • Docker
  • Podman
  • about-project :

  • Budujemy nowoczesną platformę Big Data w oparciu o otwarte i nielicencjonowane technologie open-source, takie jak Apache Hadoop, Spark, Hive, Ranger oraz Airflow. W skład zespołu wchodzą doświadczeni inżynierowie danych, specjaliści DevOps oraz programiści, wspierani przez dwóch doświadczonych architektów rozwiązań.
  • Twoim zadaniem będzie ścisła współpraca z całym zespołem : wspieranie procesu migracji, testowanie nowych komponentów oraz dokumentowanie wdrożonych rozwiązań.
  • responsibilities :

  • Współpraca z architektami, inżynierami danych i DevOps przy budowie i utrzymaniu platformy Big Data.
  • Tworzenie i optymalizacja zadań Apache Spark w języku Java oraz ich orkiestracja w Apache Airflow.
  • Pisanie skryptów migracyjnych i automatyzujących procesy w Pythonie.
  • Kompilacja i rozwój modułów Hadoop / Spark bezpośrednio ze źródeł.
  • Tworzenie dokumentacji technicznej i dzielenie się wiedzą w zespole.
  • requirements-expected :

  • Minimum 3 lata doświadczenia w projektach Big Data.
  • Bardzo dobra znajomość Java, w tym kompilacja ze źródeł przy użyciu Maven / Gradle.
  • Biegłość w Pythonie 3.x – automatyzacja, skrypty migracyjne.
  • Praktyczne doświadczenie z Apache Spark oraz Apache Airflow.
  • Swoboda pracy w środowisku Linux, znajomość pip, virtualenv.
  • Znajomość narzędzi : Git, IntelliJ / VSCode / PyCharm, Jira, Confluence.
  • Umiejętność czytania dokumentacji technicznej w języku angielskim.
  • benefits :

  • możliwość pracy zdalnej
  • elastyczny czas pracy
  • spotkania integracyjne
  • program rekomendacji pracowników
  • Create a job alert for this search

    Data • Warszawa, mazowieckie, Polska