Ekspert / Ekspertka ds. Inżynierii Danych

ul. Żubra 1 /praca hybrydowa / umowa o pracę

Dołącz do nas !

Chcesz mieć realny wpływ na sposób, w jaki dane są przetwarzane i wykorzystywane w jednym z największych banków w Polsce?

W ramach strategicznego programu transformacji w kierunku organizacji opartej na danych rozwijamy nowoczesną platformę na Google Cloud Platform i budujemy rozwiązanie klasy data lakehouse. Łączymy raportowanie, analitykę i zarządzanie danymi oraz tworzymy fundamenty dla rozwiązań wykorzystujących sztuczną inteligencję i produktów danych nowej generacji.

Pracujemy w modelu hub and spoke, łącząc kompetencje technologiczne z wiedzą zespołów biznesowych. Dołączając do nas, będziesz mieć wpływ na architekturę platformy, standardy inżynierii danych oraz sposób współpracy zespołów korzystających z danych.

W naszym zespole będziesz odpowiadać za:

• Projektowanie, budowę i utrzymanie produkcyjnych pipeline’ów danych z wykorzystaniem dbt, Apache Airflow, Pythona i PySpark.
• Rozwój warstw Gold i Platinum platformy data lakehouse w BigQuery, w tym projektowanie modeli danych zgodnie z architekturą medallion.
• Optymalizowanie wydajności i kosztów przetwarzania danych w BigQuery, między innymi przez partycjonowanie, klastrowanie i stosowanie praktyk FinOps.
• Automatyzowanie testów, wdrożeń i infrastruktury z wykorzystaniem GitHub Actions oraz Terraform, a także rozwijanie zabezpieczeń danych opartych na IAM, kontroli dostępu, policy tags i Data Loss Prevention.
• Współtworzenie standardów inżynierii danych i Data Governance, udział w przeglądach kodu oraz doradztwo techniczne dla zespołów domenowych pracujących na platformie Google Cloud.

Ta praca jest dla Ciebie, jeśli:

• Masz minimum 5 lat komercyjnego doświadczenia w inżynierii danych, w tym co najmniej 2 lata pracy przy rozwiązaniach wykorzystujących Google Cloud Platform.
• Masz doświadczenie w projektowaniu i wdrażaniu produkcyjnych hurtowni danych lub platform data lakehouse o dużej skali. Potrafisz projektować rozwiązania end-to-end i uzasadniać podejmowane decyzje architektoniczne.
• Bardzo dobrze znasz SQL i BigQuery. Tworzysz złożone zapytania analityczne, korzystasz z CTE i funkcji okienkowych, modelujesz dane oraz optymalizujesz wydajność i koszty zapytań.
• Bardzo dobrze znasz Pythona i masz doświadczenie z Apache Spark lub PySpark. Tworzysz produkcyjne moduły, stosujesz programowanie obiektowe, piszesz testy jednostkowe i korzystasz z bibliotek do przetwarzania danych, takich jak pandas i NumPy.
• Masz praktyczne doświadczenie w pracy z dbt, Apache Airflow, Git i CI/CD. Potrafisz tworzyć modele, makra, testy i snapshoty dbt, projektować produkcyjne DAG-i oraz automatyzować testy i wdrożenia, między innymi za pomocą GitHub Actions.

Mile widziane:

• Znajomość Terraform oraz doświadczenie w wykorzystywaniu podejścia Infrastructure as Code w środowisku Google Cloud Platform.
• Doświadczenie w pracy z usługami Google Cloud związanymi z bezpieczeństwem, monitorowaniem i zarządzaniem danymi, takimi jak IAM, Cloud Storage, Secret Manager, Cloud Logging, Cloud Monitoring, Dataplex lub Data Catalog.
• Znajomość zagadnień Data Governance, w tym zarządzania metadanymi, śledzenia pochodzenia danych, kontroli dostępu RBAC lub ABAC oraz klasyfikacji danych wrażliwych.
• Doświadczenie w pracy z Dockerem oraz znajomość praktyk FinOps związanych z monitorowaniem i optymalizowaniem kosztów usług chmurowych.
• Doświadczenie w sektorze finansowym lub bankowym.
• Certyfikat Google Cloud, na przykład Professional Data Engineer lub Professional Cloud Architect.

Oferujemy Ci:

• Premię uzależnioną od wyników i zaangażowania.
• Prywatną opiekę medyczną dla Ciebie i Twojej rodziny na preferencyjnych warunkach.
• Kartę MultiSport i ubezpieczenie grupowe na korzystnych warunkach.
• System szkoleń i programów rozwojowych.
• Dostęp do Wewnętrznej Giełdy Pracy.
• Pracę przy strategicznym programie transformacji danych i budowie nowoczesnej platformy na Google Cloud Platform.