Senior Expert Data Engineering (m/w) zum Aufbau einer Data Pipeline at OBI Group Holding SE & Co. KGaA (Köln, Deutschland)

 Stack Overflow ·  18.01.2019


Senior Expert Data Engineering (m/w) (Köln) › OBI next

Mit „OBI next“ am Standort Köln hat OBI als Nr. 1 unter den Bau- und Heimwerkermärkten eine innovative Geschäftseinheit gegründet und mit einer wichtigen Mission ausgestattet: die Transformation in ein neues, kundenzentrisches sowie kanalübergreifendes Geschäftsmodell. Dafür bietet OBI next ein einmaliges Arbeitsumfeld, in dem die Stärke eines Großkonzerns mit der Agilität und dem Spirit eines Startups kombiniert wird.

Du gestaltest und regelst die Datenströme auf unserer  Customer Experience & Analytics Plattform. Hierfür arbeitest Du eng mit den Entwicklern und Data Scientisten zusammen.  Ziel ist es eine Data Pipeline aufzubauen, die real-time Events sowie Batchdaten robust und skalierbar verarbeiten kann. Dafür stehen Dir moderne Frameworks aus dem Apache-Universum sowie cloud-native Tools zur Verfügung.

Deine Aufgaben


Entwicklung und Betreuung einer idempotenten, robusten und hoch-skalierbaren event-basierten Data Pipeline, die zentraler Bestandteil unserer Customer Experience & Analytics Plattform ist

Schaffung einer konsistenten Datenbasis in enger Abstimmung mit unseren Data Scientisten und Product Ownern, um eine datengetriebene Weiterentwicklung unserer Produkte sicherzustellen und komplexe Datenprodukte in Produktion bringen zu können

Deployment und Monitoring der Data Pipeline in der Cloud (z.B. AWS, Google Cloud oder Microsoft Azure)

Validierung der Daten und Sicherstellung der Vollstandigkeit und Korrektheit unserer Analysen


Dein Profil


Erfahrungen in der Entwicklung und Betreuung einer event-basierten Data Pipeline in Produktion

Sehr gute Programmierfahigkeiten in Python

Sehr gute Kenntnis von Tools zur Erstellung und Wartung robuster Data Pipelines (Apache Kafka, AWS Kinesis, Apache Airflow, Apache Nifi, Azure Data Factory)

Hohes Interesse an modernen Tools und Framework wie Apache Airflow, Apache Parquet, Spark und Druid

Erfahrungen mit verschiedenen Technologien zur Datenhaltung (NoSQL, AWS S3, PostgreSQL) sind wünschenswert und Kenntnisse von Node.js sind ein Plus 




ework.de — ein Projekt von DIPLANET Digital Solutions Impressum