Data Engineer
280 000 – 320 000 RUB
Ключевая задача
Разработка и оптимизация потоков данных, DAG Airflow и витрины DMDC для банковского проекта на стеке PySpark, Hadoop, Iceberg.
Описание вакансии
Обязанности
разработка потоков подключения метаданных, автоматизация и шаблонизация подключения СУБД, создание Python-скриптов для генерации DDL/DML и Airflow DAG, оптимизация DAG для таблиц Iceberg, доработка витрины и ведение проектной документации.
Требования
глубокое знание PySpark и Airflow; опыт работы с нагруженными распределёнными системами и Hadoop; настройка и оптимизация Spark-приложений; опыт со Spark Streaming, Iceberg, Kafka, S3 и Kubernetes; нагрузочное тестирование; экспертный SQL и оптимизация сложных запросов; знание математической статистики, анализа данных и основ ML, включая PyTorch или TensorFlow; понимание консистентности данных в распределённых системах. Стек: PostgreSQL, MS SQL, Oracle, ClickHouse, DB2, Tarantool, Elasticsearch, Impala, Hive, Python, Pandas, NumPy, Matplotlib, C#, Git, Jira.
Условия
от 280 000 до 320 000 ₽/мес · Удалённо из РФ, гражданство РФ · Полная занятость. Долгосрочное сотрудничество по договору с ИП.