на главную
trudvsem•1 дн. назадСвежая вакансияОпубликована 1 день назад на Работа России. Свежая — до 5 дней, умеренная — 6–14 дней, долгая — от 15 дней. Дата берётся с сайта-источника.Приоритетный откликВаше резюме и сопроводительное письмо уходят напрямую рекрутёру компании на почту, минуя общую очередь откликов на вакансию
Дата инженер
от 230 000 RUB
Навыки и технологии
Apache SparkPythonApache AirflowMySQL
Ключевая задача
Разработка и поддержка пайплайнов обработки данных на SQL, Python и Spark с оркестрацией в Airflow, обеспечение качества данных и взаимодействие с заказчиком.
Описание вакансии
Обязанности
Взаимодействие с командой и заказчиком по уточнению требований. Анализ чужого и написание своего кода на SQL, Python, Spark. Настройка и поддержка DAG-ов в Airflow для оркестрации процессов. Тестирование и отладка кода, обеспечение качества данных. Документирование (Confluence)
Требования
- Глубокие знания SQL.
- Spark (хотя бы на базовом уровне), Python.
- Настройка и поддержка DAG-ов в Airflow для оркестрации процессов.
- Знание архитектуры хранилищ.
- Умение работать в команде и следовать процессам заказчика.