Старший инженер данных

Обязанности

1. Стратегия и архитектура данных

• Формировать стратегию развития хранилища данных: развитие слоев КХД, подходов к моделированию, Data Vault 2.0, управлению происхождением данных, SLA/SLO и эксплуатационной устойчивости.
• Проектировать архитектурные принципы масштабирования платформы данных под рост объемов, числа источников, витрин, пользователей и регулярных загрузок.
• Принимать ключевые технические решения в условиях неопределенности, управлять рисками реализации, сроками, зависимостями и ожиданиями заказчиков.
• Организовывать и управлять архитектурой КХД, витрин, интеграционных потоков, ETL/ELT-процессов и платформенных компонентов с учетом масштабирования, надежности, безопасности и стоимости сопровождения.
• Выбирать технологические подходы и архитектурные паттерны для загрузок, инкрементальности, восстановления, дедупликации, контроля качества, мониторинга и управления изменениями данных.
• Участвовать в согласовании архитектуры с архитекторами, информационной безопасностью, эксплуатацией, аналитиками и владельцами бизнес-направлений.

2. Управление проектами и командой

• Отвечать за инженерное направление данных: формировать целевые результаты, распределять техническую ответственность, контролировать качество решений и нести ответственность за работу инженеров данных в своем контуре.
• Вести проекты, связанные с инженерной данностью: модернизация КХД, развитие платформы данных, миграции, повышение надежности загрузок, оптимизация производительности и внедрение инженерных стандартов.
• Управлять проектами в части загрузки данных, миграции данных между хранилищами и развитием инженерных компонентов платформы данных.
• Управлять командой инженеров данных: распределять зоны ответственности, контролировать качество выполнения задач и обеспечивать достижение проектных результатов.
• Планировать и контролировать загрузку инженерной команды, приоритизировать технический backlog и согласовывать ресурсы с учетом бизнес-приоритетов, сроков и критичности задач.

3. Взаимодействие с бизнесом и заказчиками

• Совместно с бизнес-заказчиками формировать требования к данным, витринам, отчетности, срокам доступности данных, качеству, критичности и правилам приемки результата.
• Переводить бизнес-цели в реализуемую инженерную дорожную карту: инициативы, архитектурные решения, этапы внедрения, зависимости, риски и критерии успешности.
• Вести техническую коммуникацию с заказчиками, смежными ИТ-командами и владельцами систем-источников; аргументированно защищать архитектурные решения и ограничения платформы.
• Управлять проектными зависимостями по данным: доступность источников, готовность витрин, сроки загрузок, эксплуатационные окна, требования к проверкам и приемке.

4. Стандарты, качество и технический долг

• Создавать, описывать и внедрять стандарты инженерной данных: проектирование пайплайнов, правила кодирования, моделирование, именование объектов, версионирование, тестирование, мониторинг и документация.
• Формировать подход к управлению техническим долгом платформы данных: выявлять проблемные зоны, оценивать влияние на бизнес и эксплуатацию, приоритизировать устранение и контролировать выполнение.
• Определять обязательные инженерные практики: code review, архитектурное ревью, автоматизированные проверки, регрессионные проверки, контроль качества данных и наблюдаемость загрузок.
• Обеспечивать повторное использование решений: общие ETL-фреймворки, шаблоны пайплайнов, библиотеки, типовые проверки и эксплуатационные регламенты.
• Устанавливать метрики инженерного качества: стабильность загрузок, время построения витрин, частота инцидентов, длительность восстановления, покрытие проверками и накопленный технический долг.

5. Развитие команды и найм

• Развивать инженеров данных: проводить наставничество, технические ревью, постановку целей развития, регулярную обратную связь и оценку эффективности.
• Нести ответственность за качество работы инженеров данных в своем контуре, помогать распределять задачи по уровню сложности и обеспечивать рост самостоятельности команды.
• Участвовать в найме инженеров данных: формировать профиль кандидата, технические критерии отбора, вопросы для интервью, оценивать архитектурное мышление, инженерную зрелость и практический опыт.
• Управлять работой подрядчиков и внешних команд: формировать технические задания, контролировать качество поставки, принимать результаты, проводить анализ и обеспечивать соблюдение стандартов Банка.
• Формировать и поддерживать инженерное сообщество вокруг платформы данных: распространять лучшие практики, проводить технические обсуждения и помогать смежным командам эффективнее использовать данные.

Обязательные требования

• Опыт построения, развития и масштабирования банковских КХД, ETL/ELT и платформ данных не менее 7 лет, включая не менее 3 лет в роли технического лидера, ведущего инженера или руководителя инженерного направления.
• Опыт ведения проектов модернизации КХД, развития платформы данных, миграций, повышения надежности загрузок и оптимизации производительности.
• Опыт управления командой инженеров данных (распределение задач, контроль качества, развитие сотрудников).
• Опыт управления подрядчиками и внешними командами.
• Глубокое владение Greenplum (или другими MPP-СУБД): распределение данных, партиционирование, планы выполнения, оптимизация под большие объемы и параллельную обработку.
• Экспертное владение Data Vault 2.0 на уровне архитектурных решений, проектирование слоев КХД, HUB/SAT/LINK, историчность и происхождение данных.
• Опыт проектирования масштабируемых архитектур под рост объемов, числа источников и пользователей.
• Понимание подходов к управлению техническим долгом и метрик инженерного качества.
• Глубокое владение Apache Spark: проектирование производительных пайплайнов, оптимизация, настройка кластерной инфраструктуры.
• Опыт интеграции Spark с Kafka, Airflow и другими инструментами.
• Python и Java для разработки переиспользуемых фреймворков и библиотек.
• Опыт миграции данных между DWH-платформами (Oracle → Greenplum или сопоставимые переходы).
• Управление проектами в части загрузки данных и развития платформы.
• Перевод бизнес-целей в инженерную дорожную карту.
• Управление рисками, сроками, зависимостями и ожиданиями заказчиков.
• Формирование и внедрение инженерных стандартов и практик.
• Опыт управления техническим долгом и метриками качества.
• Аналитическое мышление.
• Умение объяснять сложные вещи простым языком.
• Умение структурировать информацию и фиксировать договоренности по итогам встреч.
• Навыки письменной коммуникации: понятные комментарии, статусы, описания решений, инструкции и документация.
• Ответственность за корректность результатов.
• Умение занимать лидерскую позицию и вести других за собой. Навыки администрирования и мотивации.
• Ведение коммуникации на уровне бизнес-целей, архитектурных решений, приоритетов и рисков.
• Фасилитация сложных кросс-функциональных обсуждений с бизнесом, ИТ, ИБ, эксплуатацией и подрядчиками.
• Формирование единых правил взаимодействия, стандартов коммуникации и процесса принятия технических решений.
• Участие в найме, оценке кандидатов, развитии команды и разрешении конфликтных ситуаций.

Будет плюсом

Опыт работы с OpenMetadata или другими каталогами данных.

Опыт настройки наблюдаемости загрузок и алертинга.

Опыт формирования инженерного сообщества и распространения лучших практик.

Понимание SLA/SLO и их согласование с бизнесом.