ALGOTEQUE SERVICES sp. z o.o.Warszawa, mazowieckie, Polska
1 day ago
Job description
technologies-expected :
Maven
Gradle
Python
Apache Spark
Apache Airflow
Linux
IntelliJ
VSCode
PyCharm
Jira
Confluence
technologies-optional :
Ansible
Docker
Podman
about-project :
Budujemy nowoczesną platformę Big Data w oparciu o otwarte i nielicencjonowane technologie open-source, takie jak Apache Hadoop, Spark, Hive, Ranger oraz Airflow. W skład zespołu wchodzą doświadczeni inżynierowie danych, specjaliści DevOps oraz programiści, wspierani przez dwóch doświadczonych architektów rozwiązań.
Twoim zadaniem będzie ścisła współpraca z całym zespołem : wspieranie procesu migracji, testowanie nowych komponentów oraz dokumentowanie wdrożonych rozwiązań.
responsibilities :
Współpraca z architektami, inżynierami danych i DevOps przy budowie i utrzymaniu platformy Big Data.
Tworzenie i optymalizacja zadań Apache Spark w języku Java oraz ich orkiestracja w Apache Airflow.
Pisanie skryptów migracyjnych i automatyzujących procesy w Pythonie.
Kompilacja i rozwój modułów Hadoop / Spark bezpośrednio ze źródeł.
Tworzenie dokumentacji technicznej i dzielenie się wiedzą w zespole.
requirements-expected :
Minimum 3 lata doświadczenia w projektach Big Data.
Bardzo dobra znajomość Java, w tym kompilacja ze źródeł przy użyciu Maven / Gradle.
Biegłość w Pythonie 3.x – automatyzacja, skrypty migracyjne.
Praktyczne doświadczenie z Apache Spark oraz Apache Airflow.
Swoboda pracy w środowisku Linux, znajomość pip, virtualenv.