Data Platform Engineer

Мы работаем в сегменте RegTech. Это новый рынок, активно развивающийся во всем мире. Большинство игроков — SaaS сервисы, позволяющие компаниям выполнять требования регулирующих органов, анализировать партнеров и клиентов, наблюдать и анализировать конкурентов, совершать M&A сделки, отслеживать связи между компаниями и многое другое. Это быстро развивающаяся отрасль на пересечении финансов, аналитики, технологий обработки данных, включая AI, нормативных и регуляторных требований.

Rusprofile — быстрорастущая частная компания, один из лидеров российского рынка RegTech. Сервис помогает компаниям быстро и эффективно принимать критические для бизнеса решения на основе данных, собираемых ежедневно из десятков источников. Аудитория Rusprofile — это более 11 млн пользователей в месяц и 90 000+ платящих клиентов, от малого бизнеса до крупных корпораций. Наша миссия — помогать бизнесам в их развитии, делая данные простыми и полезными для принятия решений.

За последние 3 года мы выросли по выручке в 5 раз, в 10 раз по базе клиентов и мы не планируем останавливаться. Мы больше не стартап, но и не корпорация. Мы принимаем решения быстро, у нас нет сложной иерархии и бюрократии. Мы постоянно развиваемся и адаптируемся, чтобы иметь возможность создавать действительно ценные продукты для наших клиентов и развивать бизнес.

Твоя зона ответственности — разработка и развитие платформы: пайплайны движения данных, слой хранения, надёжность, масштабирование и безопасность, чтобы данные проходили весь путь предсказуемо, а изменения катились безопасно

Твои задачи будут включать:

1. Разработка пайплайнов движения данных

• Разработка пайплайнов движения данных: от загрузки внешних источников до записи готовых данных в базы фасада;
• Оркестрация пайплайнов в Dagster;
• Разработка трансформаций на dbt-spark, оптимизация Spark-джоб;
• Развитие слоя хранения на S3 (Parquet / Iceberg);
• Обеспечение надёжности и повторяемости обработки: ретраи, идемпотентность, консистентность данных.

2. Сопровождение и разработка платформы данных

• Развитие платформы под новые источники, объёмы и требования потребителей;
• Поддержка стабильной работы пайплайнов и дата-сервисов в продакшене;
• Масштабирование платформы под растущую нагрузку;
• Управление окружениями (dev / stage / prod);
• Сопровождение и развитие компонентов платформы, развёрнутых в Kubernetes.

3. CI/CD и автоматизация для дата-стека

• Построение и развитие CI/CD (GitLab) для dbt-spark, Dagster и data-сервисов;
• Автоматизация деплоя и тестов;
• Инфраструктура как код;
• Обеспечение воспроизводимости и прозрачности выкатки изменений в дата-пайплайнах.

4. Надёжность, Observability и качество данных

• Мониторинг дата-пайплайнов, Spark-джоб, ресурсов и ошибок;
• Настройка метрик, логов и алертинга;
• Разбор сбоев и повышение стабильности обработки данных;
• Поддержка и развитие проверок качества данных (DQ).

• Опыт работы от 3 лет в роли Data Platform Engineer / Data DevOps
• Прод-опыт именно с платформой данных: ты разрабатывал и развивал дата-пайплайны и дата-стек, а не только веб- и бэкенд-сервисы;
• Опыт разработки пайплайнов движения данных (ingestion → обработка → выдача потребителям);
• Оркестрация дата-пайплайнов (Dagster, Airflow или аналог) и трансформации данных (dbt / dbt-spark или аналог);
• Обработка больших объёмов данных на Spark;
• Работа с объектным хранилищем как основным слоем данных (S3 или аналог, Parquet);
• Надёжность пайплайнов: разбор инцидентов, ретраи, идемпотентность, консистентность данных;
• Контроль качества данных (DQ): проверки, тесты, мониторинг корректности;
• CI/CD для дата-пайплайнов и сервисов (GitLab CI) и инфраструктура как код (Helm или аналоги);
• Observability пайплайнов данных: метрики, логи, алертинг;
• Уверенный Python и SQL, уверенные навыки Linux;
• Опыт эксплуатации дата-сервисов в Kubernetes;
• Системное мышление, опыт рефакторинга legacy-решений.

Будет плюсом:

• Iceberg или Delta Lake (табличные форматы озера данных);
• Опыт с serving-слоем: запись готовых данных в разные БД под API и нагрузку (MySQL, MongoDB, Redis и др.);
• Kafka и потоковые данные;
• ClickHouse, DataHub;
• Vault или аналоги для управления секретами.

• Работу в продукте с доказанной ценностью и понятной стратегией развития. Мы работаем спринтами, но с понятным горизонтом планирования — есть гибкость в задачах и при этом стратегическое направление не теряется;
• Среду, где данные — ядро бизнеса. От качества, скорости и надёжности работы с ними напрямую зависит результат компании, поэтому Data Engineering здесь — стратегически важное направление;
• Осознанное движение к зрелой архитектуре: оркестрация, воспроизводимость, контроль качества, прозрачность процессов и снижение технологического долга;
• Высокий уровень ответственности и доверия. Мы ценим самостоятельность, системное мышление и инженерный подход к решению задач;
• Гибкий график и возможность удаленной работы (можно также работать в нашем офисе в Москва-Сити с потрясающим видом на столицу);
• Работу в аккредитованной ИТ компании с полным соблюдением ТК РФ;
• ДМС, 7 Day Off, оплату обучения, семинаров и конференций.