Senior Data Engineer

• Проектирование архитектуры хранилищ, моделей данных и стратегий партиционирования.
• Разработка DAG, кастомных операторов и интеграций на Python с использованием Apache Airflow.
• Реализация потоковой обработки на Apache Flink и пакетной обработки на Apache Spark.
• Оптимизация SQL-запросов, баз данных и производительности пайплайнов.
• Обеспечение качества данных, реализация CDC и интеграций между системами.
• Ведение технической документации, задач и обращений в Jira/Confluence и сервис-деске.
• Взаимодействие с разработчиками, тестировщиками и смежными командами.

Обязательные требования:

• От 4 лет опыта работы Data Engineer.
• PostgreSQL, MSSQL, Redis, Cassandra.
• Trino/StarRocks, Apache Kafka, Apache Flink, Apache Airflow.
• Apache Iceberg, Lakekeeper, S3, понимание архитектуры Lakehouse.
• Python, SQL, Bash, Git.
• Опыт разработки ETL/ELT-пайплайнов, CDC, оптимизации SQL и настройки производительности.
• Знание архитектуры данных, моделей OLAP/OLTP, принципов целостности и согласованности данных.
• Уверенное владение Jira и Confluence, опыт работы с сервис-деском.
• Свободный русский язык, английский — для чтения и написания технической документации.

Будет плюсом:

• InfluxDB, TimescaleDB, TDengine.
• Hadoop, YARN, Kubernetes.
• Продвинутый SQL, CI/CD для data-пайплайнов.
• DDD, event-driven архитектура, Apache NiFi.