Data Engineer
Навыки и технологии
Ключевая задача
Развитие внутренней Customer Data Platform: улучшение batch-пайплайнов, создание realtime-пайплайна на Kafka и обработка миллиардов событий.
Описание вакансии
О компании
2ГИС развивает внутреннюю Customer Data Platform. Она объединяет данные из разных источников, строит пользовательские профили и помогает персонализировать продукт.
Обязанности
Предстоит улучшать batch-пайплайны ежедневных признаков, создавать realtime-пайплайн на Kafka и проектировать обработку миллиардов событий.
Требования
Требования:
- опыт highload-систем и проектирования архитектуры данных или платформенного кода
- опыт Kafka, ClickHouse либо других систем потоковой и аналитической обработки
- понимание Spark и умение с ним работать
- хорошее владение языком программирования, например Python или Scala
Плюсом будут Airflow, SQL, Data Quality и Data Contracts, Data Lineage и Data Catalog, знание S3 и опыт персонализации, сегментации или real-time аналитики.
Условия
Удалённо · полный рабочий день
Стек платформы ещё формируется, можно влиять на архитектуру. Зарплата и грейд не указаны. Страны, из которых можно работать удалённо, в объявлении не перечислены.