на главную
habr•1 дн. назадСвежая вакансияОпубликована 1 день назад на Хабр Карьера. Свежая — до 5 дней, умеренная — 6–14 дней, долгая — от 15 дней. Дата берётся с сайта-источника.Приоритетный откликВаше резюме и сопроводительное письмо уходят напрямую рекрутёру компании на почту, минуя общую очередь откликов на вакансию
Дата инженер
УдалённоДМС со стоматологиейТехника для работыВнутренние митапыПлан развития
Навыки и технологии
PythonApache KafkaApache HadoopApache SparkApache AirflowMySQL
Ключевая задача
Разработка и реализация репликации данных из S3 в Hadoop, создание ETL-процессов и анализ качества данных на крупном банковском проекте.
Описание вакансии
Обязанности
- Реализовывать репликацию данных
- Разрабатывать ETL-процессы для интеграционных задач и тестировать их
- Декомпозировать задачи, оценивать длительность и трудоемкость каждого этапа
- Анализировать и формализовать требования заказчика
- Собирать прототип решения
- Анализировать качество данных
- Писать проектную документацию (FSD, BRD, регламент, Admin Guide, User Guide)
- Тестировать функционал и передавать заказчику
- Выполнять ad-hoc выгрузки по требованиям заказчика
Требования
- Уверенное владение SQL
- Опыт работы с Python
- Опыт работы с Apache Spark, Hadoop\S3\S3-like, Airflow
- Навыки декомпозиции сложных задач и управления приоритетами-
- Способность создавать понятную и структурированную техническую документацию
Будет плюсом:
- Опыт работы с Parquet\ORC, Apache Iceberg
- Опыт работы с Kafka
- Знание архитектуры Data Vault
Условия
- Внутренние семинары, внутренние митапы, мы очень любим учиться новому
- ДМС со стоматологией для сотрудников и скидку на покупку ДМС для ближайших членов семьи
- Технику для комфортной работы
- Сессии профессионального развития персонала, результатом которой является план индивидуального развития каждого сотрудника