Talent.com
Ta oferta pracy nie jest dostępna w Twoim kraju.
Data Engineer with AWS, Snowflake

Data Engineer with AWS, Snowflake

LANCESOFT POLAND SPÓŁKA Z OGRANICZONĄ ODPOWIEDZIALNOŚCIĄWarszawa, mazowieckie, Polska
Ponad 30 dni temu
Opis pracy

technologies-expected :

  • Python
  • Snowflake Data Cloud

responsibilities :

  • Jako członek zespołu OneData Federated Delivery, działającego w ramach filaru Secure Foundations Tech Ecosystem, będziesz odpowiedzialny za budowanie i utrzymywanie potoków danych (data pipelines) z różnych źródeł.
  • Twoja praca pomoże kierownictwu firmy w zrozumieniu i podejmowaniu działań opartych na wynikach strategicznych, a także wesprze zespoły produktowe i usługowe w kierowaniu się do właściwych grup użytkowników oraz mierzeniu efektów inicjatyw zwiększających produktywność z wykorzystaniem GenAI.
  • Będziesz pobierać dane surowe z narzędzi takich jak Jira, GitHub, AWS, ServiceNow oraz innych infrastruktur chmurowych, a następnie przygotowywać je do analizy w hurtowni danych Snowflake – w tym przetwarzać, oczyszczać, łączyć i modelować dane.
  • Staniesz się częścią zwinnego zespołu danych, który składa się z inżynierów danych oraz analityków danych. Będziesz blisko współpracować z zespołem, aby zapewnić, że dane są dopasowane do potrzeb i dostarczają wartość biznesową.
  • Będziesz stosować oraz promować najlepsze praktyki inżynierii danych, takie jak CI / CD, obserwowalność (monitoring), bezpieczeństwo.

    • requirements-expected :

  • Tworzenie nowych rozwiązań, rozwój istniejących, rozwiązywanie błędów i wsparcie produkcyjne w ramach rozwoju ETL przy użyciu natywnych usług AWS.
  • Integracja zbiorów danych z wykorzystaniem usług AWS, takich jak Glue oraz Lambda.
  • Wysyłanie e-maili i powiadomień za pomocą AWS SNS.
  • Tworzenie procesów ETL z użyciem Python i PySpark.
  • Monitorowanie procesów ETL przy użyciu CloudWatch Events.
  • czenie się z różnymi źródłami danych (np. S3) oraz walidacja danych z użyciem Athena.
  • Biegłość w pracy zgodnie z metodyką Agile.
  • Doświadczenie w pracy z DBT oraz praktykami inżynierii oprogramowania (Terraform, środowiska Dev / QA / Prod, CI / CD z użyciem GitHub Actions, guardrails, testy bezpieczeństwa).
  • Znajomość zaawansowanego SQL i głębokie zrozumienie zapytań SQL (preferowany Snowflake).
  • Doświadczenie w pracy z Snowflake oraz zrozumienie architektury Snowflake, w tym pojęć takich jak tabele wewnętrzne i zewnętrzne, stages, polityki maskowania danych (masking policies).
  • Głębokie umiejętności techniczne w zakresie AWS Glue (Crawler, Data Catalog)
  • Praktyczne doświadczenie z Pythonem
  • Znajomość SQL
  • Doświadczenie z CloudFormation i Terraform
  • Znajomość CI / CD z wykorzystaniem GitHub Actions
  • Modelowanie danych przy pomocy DBT
  • Dobre zrozumienie usług AWS, takich jak :
  • Secrets Manager
  • Athena
  • Lambda
  • Dodatkowo pożądana jest znajomość któregoś z następujących narzędzi : Jira, GitHub, Snowflake.
    • Utwórz powiadomienie o ofertach pracy dla tego wyszukiwania

    Data Engineer • Warszawa, mazowieckie, Polska