Middle QA Engineer

EVO AI — IT-компания в области AI-консалтинга и генеративного искусственного интеллекта.

Мы разрабатываем и внедряем AI-агентов, ассистентов и комплексные AI-решения для бизнеса, а также развиваем собственную no-code платформу NovaAgent для создания и оркестрации AI-агентов.

Работаем с крупным российским и международным бизнесом.

От нас ожидают не просто технологию, а глубокое понимание бизнес-процессов и отраслевой специфики клиентов.

• Анализировать требования и критерии приемки, выявлять пробелы и риски до начала разработки.
• Подготавливать test plan, чек-листы, тест-кейсы, наборы тестовых данных и acceptance scenarios для закреплённых проектов.
• Проводить функциональное, интеграционное, системное, API, UI, E2E, smoke, sanity, regression и re-testing.
• Проверять корректность данных в БД, анализировать логи и взаимодействие с внешними сервисами.
• Фиксировать дефекты с воспроизводимыми шагами, ожидаемым и фактическим результатом, severity, evidence и связью с требованием.
• Поддерживать регрессионные наборы и обеспечивать готовность проекта к внутренней и клиентской приемке.
• Выполнять AI/LLM/RAG/agent testing по методике Senior: запускать eval-наборы, анализировать ошибки и формировать новые тестовые сценарии.
• Автоматизировать повторяемые API/UI/регрессионные проверки и подключать их к CI/CD под техническим руководством Senior.
• Помогать проектным командам использовать QA-шаблоны, проводить self-testing и корректно оформлять результаты.
• Участвовать в обучающих сессиях, office hours и ревью тестовых артефактов.

База QA

• Практический опыт коммерческого тестирования от 3 лет.
• Знание техник тест-дизайна, жизненного цикла дефекта, уровней и видов тестирования.
• Умение самостоятельно декомпозировать требования в набор проверок и определять приоритет тестовых сценариев.

API, интеграции и данные

• Уверенное тестирование REST API через Postman, Swagger/OpenAPI или аналогичные инструменты.
• Работа с SQL на уровне выборок, проверок состояния данных и поиска причин несоответствий.
• Навык чтения логов и базовое понимание HTTP, JSON, авторизации, очередей и интеграционных взаимодействий.

Тестовая документация и процессы

• Умение писать понятные чек-листы, тест-кейсы, bug reports и test reports.
• Опыт работы с Jira/Confluence или аналогичными системами.
• Понимание DoR/DoD, acceptance criteria, smoke/regression suite и release checklist.

Автоматизация

• Базовые навыки программирования или скриптинга на Python, Java либо JavaScript/TypeScript.
• Опыт написания простых API- или UI-автотестов; готовность развиваться в автоматизации.
• Базовое понимание Git и CI/CD, способность запускать, анализировать и поддерживать автотесты.

AI QA

• Понимание особенностей LLM/RAG/agent testing и недетерминированного поведения моделей.
• Способность проводить разметку и анализ eval-наборов по критериям accuracy, relevance, completeness, groundedness и safety.
• Готовность проверять негативные, edge-case, fallback, tool calling и human handoff сценарии.

Коммуникация:

• Умение аргументированно обсуждать дефекты с разработчиками и PM без формального подхода «передать баг и ждать».
• Готовность обучать коллег базовым QA-практикам и поддерживать внедрение стандартов в проектах.

Желательный опыт:

• Опыт тестирования backend, микросервисов, AI-сервисов или проектов с большим количеством интеграций.
• Опыт с pytest, Playwright/Selenium, Newman, k6/JMeter или аналогичными инструментами.
• Навык работы с Docker и тестовыми окружениями.
• Опыт участия в клиентской приемке и сопровождении production-релизов.

• Удаленный формат работы с 09.00 до 18.00 по мск.
• Оформление по ТК РФ.
• Участие в ML-/LLM-проектах федерального уровня.
• Сильная команда, в которой есть возможность для реализации творческих идей и профессионального роста.