Stellenangebot
Data Engineer (w/m/d)
Arbeitsort
Rain (Luzern)
Ihr Aufgabengebiet
- Aufbau skalierbarer Batch- und Streaming-Pipelines unter Berücksichtigung von Latenz, Kosten und Korrektheit
- Verarbeitung von Events nahezu in Echtzeit inklusive Deduplizierung, Windowing und verspäteter oder unsortierter Daten
- Verantwortung für die Batch-Ingestion aus Datenbanken (CDC), Dateien (SFTP und GCS), APIs und Onchain-Quellen
- Entwicklung inkrementeller dbt-Modelle, die verspätete Daten, Duplikate, CDC-Löschungen und Backfills verarbeiten, sowie Abgleich von Streaming- und Batch-Ergebnissen
- Orchestrierung der Pipelines in Dagster mit Sensors, Zeitplänen und Alerts
- Implementierung von Freshness-, Volumen- und Reconciliation-Checks für jede Datenquelle sowie Behebung der Ursachen
- Zusammenarbeit mit Backend-Teams zu Event- und Tabellen-Contracts zur Vermeidung von Downstream-Problemen
- Zusammenarbeit mit Analytics Engineers, Data Scientists und dem Risk-Team bei deren Datenbedürfnissen, inklusive ML-Features
Was Sie mitbringen
- Mindestens 3 Jahre Erfahrung im Aufbau produktiver Datenlösungen inklusive End-to-End-Verantwortung für Batch- und Streaming-Pipelines
- Erfahrung im Design skalierbarer Datenlösungen
- Fundierte Kenntnisse in SQL und Python / Rust sowie Erfahrung mit einem Cloud-Data-Warehouse wie BigQuery, ClickHouse oder Snowflake inklusive Verständnis der jeweiligen Trade-offs
- Streaming-Erfahrung mit Tools wie Pub/Sub, Kafka, Dataflow/Beam oder Flink
- Batch-Erfahrung mit dbt und einem Orchestrator wie Dagster oder Airflow
- Erfahrung mit produktivem Testing, Monitoring und Reconciliation von Daten
- Fähigkeit, über Quelldatenbank, Pipeline, Warehouse und Report hinweg zu debuggen
- Fähigkeit, KI-Tools zur Beschleunigung der Arbeit zu nutzen und deren Ergebnisse zu überprüfen
- Von Vorteil: Erfahrung mit Offline- und Echtzeit-ML-Feature-Pipelines, z. B. für Fraud- oder Risk-Features
- Von Vorteil: Erfahrung mit Payments-, Banking- oder Blockchain-Daten, inklusive EVM- oder Onchain-Events und Indexern
- Von Vorteil: Erfahrung mit CDC- und Ingestion-Tools wie Datastream, Debezium, Meltano, Fivetran oder Airbyte
- Von Vorteil: Erfahrung mit GCP
Was Sie erwartet
- Flexible Ferienregelung mit mindestens 10 garantierten freien Tagen
- Flexible Arbeitsgestaltung zwischen Homeoffice und Büro mit Einrichtungszuschuss für den Heimarbeitsplatz
- Übernahme eines Grossteils der Kosten für Kranken-, Zahn- und Sehversicherung sowie eine arbeitgeberfinanzierte Lebensversicherung (für Mitarbeitende in den USA)
- Altersvorsorge mit Arbeitgeberbeteiligung
- Beteiligung am Unternehmenserfolg durch ein Mitarbeiterbeteiligungsprogramm
- Monatlicher Zuschuss für Gesundheit und Wohlbefinden, z. B. für Fitness oder Massagen
- Verpflegung im Büro
- Teamevents und gemeinsame Offsites im In- und Ausland
Zum Klienten
Weitere Informationen zum Klienten und laufend neue Jobchancen erhalten Sie nach Ihrer Anmeldung und dem Onboarding per Mail oder online. Wir freuen uns, Sie persönlich bei unserem Klienten vorstellen zu dürfen!
Interessiert?
Erstellen Sie Ihre Bewerbungsunterlagen in wenigen Minuten. Wir stellen Ihr Profil dem Unternehmen vor. Bei Interesse meldet es sich direkt bei Ihnen. Für Sie kostenlos.
Jetzt bewerbenRatgeber für Ihre Bewerbung:
Assessment Center in der Schweiz: 7 Aufgabentypen, Vorbereitung und Ihre Rechte
HR-Fachausweis Schweiz: Voraussetzungen, Prüfung und Kosten in 3 Stufen
Fachausweis Finanz- und Rechnungswesen oder Treuhand: 6 Unterschiede
Assessment Center in der Schweiz: 7 Aufgabentypen, Vorbereitung und Ihre Rechte
HR-Fachausweis Schweiz: Voraussetzungen, Prüfung und Kosten in 3 Stufen
Fachausweis Finanz- und Rechnungswesen oder Treuhand: 6 Unterschiede
Ähnliche Stellen:
Energy Data Manager (w/m/d) · Emmen
Head of Design & Build (w/m/d) · Luzern-Land
IT Application Manager (w/m/d) · Luzern
Team Leader CRM Applications (w/m/d) · Dierikon
Team Leader CRM Applications (w/m/d) · Dierikon
Softwareentwickler (w/m/d) · Rothenburg
Übersichten: IT & Software im Kanton Luzern · Alle Stellen im Kanton Luzern · Berufsbild IT & Software
Energy Data Manager (w/m/d) · Emmen
Head of Design & Build (w/m/d) · Luzern-Land
IT Application Manager (w/m/d) · Luzern
Team Leader CRM Applications (w/m/d) · Dierikon
Team Leader CRM Applications (w/m/d) · Dierikon
Softwareentwickler (w/m/d) · Rothenburg
Übersichten: IT & Software im Kanton Luzern · Alle Stellen im Kanton Luzern · Berufsbild IT & Software