ЧЕМ ПРЕДСТОИТ ЗАНИМАТЬСЯ
Единая система наблюдаемости
- Собрать в одну систему сигналы из разных источников: бизнес-данные (продажи, оплаты, конверсии воронок, объёмы полисов по партнёрам), логи приложения, транспортные логи — все HTTP-запросы: от партнёров, к страховым и платёжным шлюзам, между нашими сервисами; инфраструктура (ОС, прокси и веб-серверы, Docker, СУБД, очереди, сеть, сертификаты), фоновые задачи, а также MCP-серверы наших ИИ-агентов
- Организовать Grafana как единую точку состояния: от общего «светофора» по компании до детализации по сервису, партнёру, страховой компании
- Выбрать и внедрить инструменты сбора и хранения метрик и логов совместно с DevOps (Prometheus / VictoriaMetrics, Loki / ELK / OpenSearch, Sentry или аналоги)
Система уведомлений и алертинг
- Вести каталог событий и алертов: что отслеживаем, уровни критичности, кому, куда и когда уходит уведомление, правила эскалации
- Критичные события — 24/7, сразу и точно: звонок на телефон ключевой команде; некритичные — в сводки и дайджесты
- Бороться с шумом: дедупликация, группировка, подавление каскадов, настройка порогов, регулярная ревизия «слепых зон» и лишних алертов
Анализ в реальном времени: ИИ + алгоритмы
- ИИ-анализ потока событий и логов в живом режиме: группировка, краткая сводка, связь событий между собой, первичная гипотеза причины, понятное сообщение для команды и бизнеса
- Алгоритмический анализ там, где ИИ не нужен: пороги, базовые линии с учётом сезонности, поиск аномалий, корреляционные правила
- Отказоустойчивость анализа: критичные алерты не зависят от ИИ; при медленной работе или падении ИИ-провайдера система переключается на резервного провайдера или работает на алгоритмах — без потери оповещений
- Маскирование персональных данных перед передачей логов на ИИ-анализ (152-ФЗ)
Постановка задач разработке и DevOps
- Разработке — систематизация событий в логах приложения: структурированные логи, единые коды событий, сквозной идентификатор запроса, бизнес-события ключевых процессов
- DevOps — инфраструктурные логи и метрики: агенты сбора, экспортеры, сроки хранения, доступы к источникам
- Формулировать требования с критериями приёмки, приоритизировать, принимать результат
Самостоятельная разработка с помощью ИИ
- Скрипты и сервисы сбора данных, SQL-проверки бизнес-процессов, интеграции, Telegram-боты, правила алертов и дашборды в виде кода
- Работа с текущим AI-агентом мониторинга: снижение шума, встраивание его сигналов в общую систему
Инциденты
- Первая линия: обнаружить, подтвердить факт, оценить масштаб, оповестить ответственных, держать всех в курсе до закрытия
- Разбор после инцидента: почему не увидели раньше — и новая проверка, чтобы в следующий раз проблему увидела система
- Инструкции по типовым ситуациям и база известных паттернов: что норма, что шум, что реальный сигнал