Сбор, обработка и анализ данных из AI-сервисов и LLM-платформ, построение ETL/ELT-пайплайнов и аналитических витрин для оценки эффективности CodeGen-платформы.
Описание вакансии
Обязанности
🔷Сбор данных из внутренних сервисов, LLM Gateway, GitLab, Jira, логов AI-агентов и других источников.
🔷Проектирование и наполнение баз данных и аналитических витрин для оценки использования CodeGen-платформы.
🔷Анализ активности пользователей, сценариев и профилей использования AI-инструментов.
🔷Исследование утилизации ресурсов, качества, производительности и эффективности сервисов.
🔷Формулирование и проверка гипотез о влиянии LLM на процессы разработки, тестирования, аналитики и DevOps.
🔷Обработка структурированных и неструктурированных данных: логов, программного кода, merge request’ов, текстов и результатов работы LLM.
🔷Разработка ETL/ELT-пайплайнов для загрузки, обработки и регулярного обновления данных.
🔷Работа с S3, PostgreSQL, Greenplum, Oracle и другими источниками и хранилищами данных.
🔷Участие в создании RAG-решений: подготовка и индексация данных, наполнение векторных баз, разработка пайплайнов обновления индексов.
🔷Создание инструментов поиска и получения данных для AI-агентов.
🔷Подготовка продуктовых и технических метрик, дашбордов и визуализаций с использованием Superset, Streamlit и Python.
Требования
🔷Отличное владение Python.
🔷Уверенная работа с pandas, Polars или аналогичными инструментами обработки данных.
🔷Уверенное знание SQL.
🔷Опыт работы с реляционными СУБД и хранилищами данных.
🔷Практический опыт разработки ETL/ELT-пайплайнов.
🔷Опыт работы хотя бы с одним инструментом оркестрации процессов обработки данных.
🔷Уверенное владение AI-инструментами для разработки: Claude Code, Codex или аналогами.
🔷Регулярное использование AI-инструментов в разработке и аналитике.
🔷Умение самостоятельно исследовать данные, формулировать гипотезы и находить способы их проверки.
🔷Опыт работы со структурированными и неструктурированными данными.