habr•19 ч. назадПриоритетный откликВаше резюме и сопроводительное письмо уходят напрямую рекрутёру компании на почту, минуя общую очередь откликов на вакансию
Data Engineer
УдалённоУдалённая работаДМСБелая зарплатаКомпенсация обучения
Разработка с нуля корпоративной дата-платформы: проектирование архитектуры, миграция пайплайнов с Hadoop на S3/Kafka/Spark/ClickHouse и построение отказоустойчивых ETL-процессов.
Описание вакансии
О компании
2ГИС — аккредитованная IT‑компания.
Обязанности
Разрабатывать с нуля MVP новой дата‑платформы и инфраструктуры для ingest/transform.
Мигрировать существующие пайплайны с Hadoop/HDFS на новую архитектуру (S3, Kafka, Spark, ClickHouse).
Работать с большими объёмами данных и высоконагруженными Kafka‑топиками.
Строить отказоустойчивые пайплайны обработки и доставки данных.
Участвовать в архитектурных решениях, внедрять best practices хранения, мониторинга и качества данных.
Проектировать витрины данных под продуктовую и управленческую аналитику (OLAP).
Сопровождать миграцию BI‑отчётов на новую платформу (например, DataLens, Power BI).
Требования
Имеет 3+ лет опыта на позиции Data Engineer / Big Data Engineer.
Хорошо понимает, как работает Spark и умеет его готовить.
Работал с ClickHouse и знает, как «выжать» из него максимум.
Имеет опыт работы с высоконагруженной Kafka (десятки / сотни тысяч событий в секунду).
Знаком с построением дата‑архитектуры (DWH, Lake, OLAP, ETL/ELT, Data Governance).
Умеет проектировать пайплайны под отказоустойчивость.
Хорошо владеет одним из языков программирования (например, Python или Scala).
Знает SQL и может читать логику отчётов без боли.
Плюсом будут
Опыт построения дата‑платформ (Self‑Service инструменты и процессы).
Знание инструментов мониторинга и автоматического контроля качества данных (Data Quality, Data Contracts).
Опыт построения Data Lineage и работы с Data Catalog.
Инфраструктурный опыт: Docker, Kubernetes, CI/CD.
Условия
2ГИС — аккредитованная IT‑компания.
Можно работать удалённо или в офисах (Москва, Санкт‑Петербург, Новосибирск) — главное результат, а не локация.
Полностью «белая» зарплата .
Заботимся о здоровье: ДМС, онлайн‑консультации терапевта, невролога, психолога и медицинского агента.
Поддерживаем развитие: учебный центр, курсы, тренинги и книги для прокачки скиллов.
Если хочешь делиться опытом — поможем с выступлениями на конференциях и публикациями на Хабре.