This job offer is not available in your country.

Inżynier Big Data (Java / Spark / Python)

ALGOTEQUE SERVICES sp. z o.o.Warszawa, mazowieckie, Polska

1 day ago

Job description

technologies-expected :

Maven
Gradle
Python
Apache Spark
Apache Airflow
Linux
IntelliJ
VSCode
PyCharm
Jira
Confluence

technologies-optional :

Ansible

Docker

Podman

about-project :

Budujemy nowoczesną platformę Big Data w oparciu o otwarte i nielicencjonowane technologie open-source, takie jak Apache Hadoop, Spark, Hive, Ranger oraz Airflow. W skład zespołu wchodzą doświadczeni inżynierowie danych, specjaliści DevOps oraz programiści, wspierani przez dwóch doświadczonych architektów rozwiązań.

Twoim zadaniem będzie ścisła współpraca z całym zespołem : wspieranie procesu migracji, testowanie nowych komponentów oraz dokumentowanie wdrożonych rozwiązań.

responsibilities :

Współpraca z architektami, inżynierami danych i DevOps przy budowie i utrzymaniu platformy Big Data.

Tworzenie i optymalizacja zadań Apache Spark w języku Java oraz ich orkiestracja w Apache Airflow.

Pisanie skryptów migracyjnych i automatyzujących procesy w Pythonie.

Kompilacja i rozwój modułów Hadoop / Spark bezpośrednio ze źródeł.

Tworzenie dokumentacji technicznej i dzielenie się wiedzą w zespole.

requirements-expected :

Minimum 3 lata doświadczenia w projektach Big Data.

Bardzo dobra znajomość Java, w tym kompilacja ze źródeł przy użyciu Maven / Gradle.

Biegłość w Pythonie 3.x – automatyzacja, skrypty migracyjne.

Praktyczne doświadczenie z Apache Spark oraz Apache Airflow.

Swoboda pracy w środowisku Linux, znajomość pip, virtualenv.

Znajomość narzędzi : Git, IntelliJ / VSCode / PyCharm, Jira, Confluence.

Umiejętność czytania dokumentacji technicznej w języku angielskim.

benefits :

możliwość pracy zdalnej

elastyczny czas pracy

spotkania integracyjne

program rekomendacji pracowników

Create a job alert for this search

Data • Warszawa, mazowieckie, Polska