Pracuj.pl
Data Engineer (Spark/Data Lakehouse) | Branża bankowa
ITB2BВіддалено
КомпаніяEdge One Solutions Sp. z o.o.
Місце роботиWrocław, Польща
ДоговірB2B
ФорматВіддалено
Обов’язки
- Projektowanie i implementacja procesów przetwarzania danych w PySpark i Spark SQL. Rekoncyliacja danych pomiędzy ODS (MongoDB) a systemami źródłowymi. Tworzenie reguł jakości danych oraz wykrywanie duplikatów, braków i anomalii. Integracja Apache Spark z MongoDB przy użyciu MongoDB Spark Connector. Projektowanie i rozwój warstw Raw/Bronze → Silver → Gold w architekturze Data Lakehouse. Praca z Apache Iceberg, w tym wersjonowanie tabel oraz operacje upsert/merge. Optymalizacja wydajności i kosztów przetwarzania danych w Spark. Rozwój procesów batchowych i streamingowych oraz ich monitorowanie. Automatyzacja deploymentu aplikacji Spark z wykorzystaniem Jenkins, Docker i Kubernetes. Konfiguracja monitoringu i alertów z wykorzystaniem Prometheus i Grafana. Diagnozowanie problemów związanych z jakością, spójnością i opóźnieniami danych. Code review, prowadzenie warsztatów oraz tworzenie dokumentacji technicznej. Współpraca z Data Engineerami, analitykami, testerami i zespołem DevOps w metodykach Scrum/Kanban.
Вимоги
- Minimum 4 lata doświadczenia w pracy z rozwiązaniami data engineeringowymi w środowiskach produkcyjnych. Bardzo dobra znajomość Python, Apache Spark, PySpark, Spark SQL i DataFrames. Doświadczenie ze Structured Streaming. Praktyczna znajomość MongoDB oraz integracji ze Spark poprzez MongoDB Spark Connector. Doświadczenie w modelowaniu danych dokumentowych oraz optymalizacji odczytu i indeksowania w MongoDB. Praktyczne doświadczenie z Apache Iceberg, w tym wersjonowaniem tabel i operacjami merge/upsert. Doświadczenie z Jenkins i procesami CI/CD (spark-unit, integration), Znajomość Prometheus i Grafana. Doświadczenie w pracy w Agile/Scrum lub Kanban oraz z Jira/Confluence. Doświadczenie z Liquibase.aZnajomość OpenShift i Dockera.
Що пропонує роботодавець
- wsparcie psychologiczne
- dofinansowanie zajęć sportowych
- prywatna opieka medyczna
- ubezpieczenie na życie
- możliwość pracy zdalnej
- elastyczny czas pracy
Додаткова інформація
Формат роботиВіддалено
Тип договоруB2B
Опубліковано1 вересня 2026 р.
Актуальна до1 жовтня 2026 р.
Опис вакансії
Praca Data Engineer (Spark/Data Lakehouse) | Branża bankowa, Edge One Solutions Sp. z o.
o. Wrocław