Как тестировать AI-функции в продукте: что поддаётся автоматизации, а что нет

В 2024 году каждый SaaS добавляет AI. Кнопку "Написать с помощью AI". Умные подсказки. Чат-бот. Автодополнение. И почти все выпускают эти фичи в продакшн без автоматизированного тестирования — потому что "AI нельзя тестировать автоматически".

Это миф. Точнее, полуправда которая стала оправданием.

Качество ответа модели — да, тестировать автоматически сложно. Но большинство AI-багов которые видят пользователи — это не "модель дала плохой ответ". Это "приложение упало когда модель ответила слишком медленно". Это "пользователь увидел пустой экран вместо сообщения об ошибке". Это "при пустом вводе интерфейс завис".

Всё это — обычные баги. Тестируются обычными методами.

Что тестировать в AI-функциях: разделяем задачи

AI-функция в продукте — это интеграция. Ваш фронтенд, ваш бэкенд, внешний API языковой модели. У каждого слоя своя ответственность и свои тест-стратегии.

Пять сценариев которые нужны для каждой AI-фичи

Это пять тестов. Не двести. Пять. Они покрывают большинство реальных AI-багов которые видят пользователи.

Как мокировать AI API в тестах

Тестировать с реальным AI-провайдером — дорого, медленно и недетерминированно. Решение: мокировать API-запросы к модели.

// Playwright: перехватываем запрос к OpenAI
await page.route('**/api/openai/chat**', route => {
  route.fulfill({
    status: 200,
    contentType: 'application/json',
    body: JSON.stringify({
      choices: [{ message: { content: 'Мокированный ответ AI' } }]
    })
  })
})

Теперь тест не зависит от OpenAI, работает мгновенно, детерминирован. Вы тестируете не модель — вы тестируете как ваше приложение обрабатывает ответ модели.

Для тестирования ошибочных состояний — мокируйте соответствующие ответы:

// Тест таймаута
await page.route('**/api/openai/chat**', route => {
  route.abort('timedout')
})

Тестирование стриминговых ответов

Многие AI-фичи используют streaming — ответ появляется постепенно, токен за токеном. Это создаёт дополнительные тест-сценарии.

Что нужно проверить:

Всё это — UI-поведение. Всё тестируется стандартными инструментами.

Почему "специальные AI testing tools" чаще всего не нужны

Рынок наполнен инструментами которые обещают "тестирование AI с помощью AI". Большинство из них решают задачу оценки качества генерации — нужен ли вам правда "судья-LLM" который оценивает ответы другого LLM.

Для большинства продуктовых команд ответ: нет. Вам нужно убедиться что ваше приложение не падает, не зависает, не теряет данные пользователя. Это стандартный функциональный тест.

Специализированные AI-эвалюации нужны когда: качество ответа — это ваш основной продукт (AI-ассистенты, генераторы контента, RAG-системы) и вам нужно измерять его регулярно. Это отдельная дисциплина, отдельный инструментарий, отдельная команда.

Для всех остальных — пяти сценариев с моком достаточно чтобы поймать девяносто процентов AI-багов в продакшне.