Вайти
на главную
telegram•только чтоСвежая вакансияОпубликована сегодня на Telegram. Свежая — до 5 дней, умеренная — 6–14 дней, долгая — от 15 дней. Дата берётся с сайта-источника.

AI/ML Engineer

Навыки и технологии

A/B-тестированиеPythonMySQL

Ключевая задача

Повышение качества RAG-агентов, промпт- и контекст-инжиниринг, оценка качества LLM-систем и настройка защит для production-агентов.

Описание вакансии

Обязанности

  • 🔷Повышение качества RAG-агентов на трёх направлениях: поиск по технической документации, по нормативной базе, по бухгалтерской документации;
  • 🔷Промпт-инжиниринг и контекст-инжиниринг для всех агентов команды;
  • 🔷Подготовка эталонных наборов оценки качества;
  • 🔷Реализация LLM-as-a-judge как методологии автоматических регрессионных проверок;
  • 🔷Настройка защит (guards) для production-агентов: фильтры от инъекций в промпт, валидация структуры и контента выходов, защита от утечек ПДн, anti-hallucination механизмы;
  • 🔷A/B-тестирование промптов и моделей для подбора лучших конфигураций;
  • 🔷Тюнинг качества по сигналам обратной связи пользователей и трассировкам из Langfuse.

Требования

  • 🔷Python от 2 лет коммерческой разработки;
  • 🔷Практический опыт RAG-систем в продакшене: эмбеддинги, векторные базы (Qdrant, FAISS или pgvector), переранжирование, чанкинг. Опыт построения и поддержки как минимум одного RAG-решения от начала до конца, не прототип;
  • 🔷Практический опыт оценки качества LLM-систем: подготовка эталонных наборов, offline-метрики, LLM-as-judge, регрессионные проверки. Опыт работы с фреймворками оценки (Ragas, DeepEval или аналоги);
  • 🔷Практический опыт настройки защит для LLM-приложений: защита от инъекций в промпт, валидация структуры и контента выходов, защита от утечек персональных данных;
  • 🔷Опыт промпт-инжиниринга и контекст-инжиниринга в реальных проектах: итеративная настройка промптов, structured output, function calling;
  • 🔷Понимание архитектуры RAG: стратегии нарезки документов, метаданные, выбор моделей эмбеддингов, переранжирование, точность ссылок на источник;
  • 🔷Практический опыт работы хотя бы с одним LLM-фреймворком: LangChain, LangGraph, PydanticAI, OpenAI API или аналоги;
  • 🔷Практический опыт A/B-тестирования промптов и моделей в продакшене;
  • 🔷Опыт работы с агентскими протоколами (MCP) или собственным tool-layer для агентов;
  • 🔷SQL и работа с реляционными базами на базовом уровне.