Архитектор DWH

Разрабатывать архитектуру ETL и интеграций аналитического хранилища данных (DWH); Проектировать и обеспечивать реализацию потоков ETL в соответствии с выбранной методологией; Определять стандарты разработки, версионирования, развертывания, наблюдаемости и восстановления пайплайнов; Управлять физической моделью данных корпоративного хранилища; Формировать архитектурные стандарты в области данных и контролировать их соблюдение. Обеспечивать историзацию и правила качества данных; Руководить командой инженеров, взаимодействовать с владельцами данных, бизнес и системными аналитиками; Проводить архитектурные ревью ETL/ELT; Оптимизировать архитектуру хранилища и обеспечивать ее масштабируемость; Готовить и согласовывать обязательную документацию.

• Опыт работы архитектором или главным инженером DWH (ETL/ELT) от 5 лет;
• Отличное понимание архитектуры корпоративных хранилищ данных;
• Практический опыт проектирования хранилищ с использованием Greenplum (GPDB), Postgres, Hadoop;
• Глубокое понимание архитектуры Greenplum: распределение, партиционирование, планы выполнения, оптимизация хранения и обработки больших объемов данных;
• Проведение ревью проектных решений, моделей, ETL/ELT-процессов, BI-витрин и технической документации;
• Практический опыт работы с отечественными BI решениями;
• Отличное знание SQL и принципов оптимизации запросов в MPP-системах;
• Экспертиза и применение архитектурных паттернов загрузки, инкрементальности, CDC, дедупликации, историчности, отслеживаемости и разграничения доступа;
• Опыт в проектировании и применение Spark, Impala, Trino, Airflow, Java/Python в промышленном ландшафте данных;
• Понимание принципов CI/CD, работа с системами контроля версий;
• Уверенное владение инструментами проектирования:- разработка физических моделей- управление репозиторием моделей- поддержка корпоративных стандартов моделирования
• Экспертиза в банковской предметной области. Вы должны хорошо ориентироваться в банковских данных и понимать структуру основных предметных областей.