Data Engineer
Навыки и технологии
Ключевая задача
Разработка и развитие пайплайнов и сервисов внутренней Customer Data Platform (CDP) для обработки миллиардов пользовательских событий и расчёта признаков.
Описание вакансии
О компании
💎 2GIS ищет Data Engineer в команду CDP — внутренней Customer Data Platform, лежащей в основе стратегии развития компании.
Обязанности
предстоит повышать эффективность пайплайнов для расчёта daily‑признаков на базе batch‑процессинга, создавать пайплайн для realtime‑признаков на основе Kafka‑топиков, проектировать и разрабатывать сервисы для обработки миллиардов пользовательских событий, решать инженерные задачи по расчёту метрик и построению витрин, работать с потоками данных и интеграциями между CDP и другими системами 2ГИС, участвовать в формировании архитектурных решений, взаимодействовать с аналитиками, продактами и инженерами.
Требования
опыт работы с highload‑системами, опыт проектирования архитектуры данных или платформенного кода, опыт работы с Kafka, ClickHouse либо аналогичными системами потоковой и аналитической обработки данных, уверенное понимание и умение применять Spark, владение одним из языков программирования (например, Python или Scala), самостоятельность и проактивность в поиске решений, ориентация на создание продукта с учётом бизнес‑логики; плюсом будет опыт работы с Airflow, навыки анализа данных на SQL, знание инструментов контроля качества данных (Data Quality, Data Contracts), опыт построения Data Lineage и работы с Data Catalog, понимание подходов к персонализации, сегментации или real‑time‑аналитике, понимание работы S3‑хранилища.
Условия
Удалённо · Полная занятость