Обязанности:
- развертывание и поставка моделей: Упаковка, деплой и поддержка runtime-шаблонов для быстрого вывода моделей в прод на основе готовых архитектурных решений
Оптимизация инференса (ML Serving):
- обеспечение требуемого уровня latency и пропускной способности для классического ML (LightGBM, CatBoost и тд) и нейросетей
- конфигурирование и поддержка инференс-серверов (Triton Inference Server, vLLM и тд)
Интеграция и оптимизация LLM:
- вывод в продакшен LLM-агентов и RAG-систем с использованием готовых фреймворков
- настройка производительных движков (vLLM, TGI) с применением базовых техник оптимизации (квантование, continuous batching)
- реализация механизмов кэширования и фильтрации запросов (Guardrails)
Автоматизация пайплайнов:
- сборка end-to-end пайплайнов доставки данных и моделей (от логов до Real-time API)
- интеграция с очередями сообщений (Kafka) для обработки данных в реальном времени
- написание и поддержка DAG-ов переобучения моделей в Airflow
Мониторинг и логирование:
- настройка базового мониторинга метрик данных и моделей (Data/Model Drift)
- интеграция трекинга экспериментов и логирования цепочек LLM (MLflow, Langfuse)
- ведение реестра моделей в MLflow Model Registry.