AI-агенты в продукте: что реально работает

Почти каждый второй разговор с клиентом сейчас начинается с «нам нужен AI». Наша работа в этот момент — не соглашаться сразу, а выяснить, какую задачу это должно решить. Довольно часто выясняется, что задача решается правилами, и это хорошая новость: правила дешевле, предсказуемее и не требуют присмотра.

Мы придерживаемся простого фильтра. AI уместен там, где входные данные разнообразны, правил слишком много, чтобы их выписать, а ошибка не катастрофична или проверяется человеком. Если хотя бы одно условие не выполняется — скорее всего, нужно не AI.

Теперь по порядку, что мы пробовали, от самого удачного к самому спорному.

Первое и самое надёжное — поиск по своей базе знаний на эмбеддингах. Пользователь спрашивает своими словами, система находит релевантные куски документации. Никакой генерации, только поиск. Внедряется за неделю, работает предсказуемо, ломается понятным образом. Если вам нужно быстро показать пользу от AI, начинайте отсюда.

Второе — RAG-ассистент, который отвечает по документации. Работает хорошо, но с одной оговоркой, которая обычно всех удивляет: качество ответа определяется не моделью, а тем, что вы ей подали. Мы тратили дни на подбор модели и получали проценты улучшения, а потом чистили индекс от устаревших документов — и получали заметный скачок.

Отсюда наблюдение, которое мы повторяем каждому клиенту: восемьдесят процентов работы над AI-функцией — это работа с данными, а не с моделью. Разбить документы на осмысленные куски, выбросить мусор, добавить метаданные, наладить переиндексацию при изменениях. Скучно и решает.

Третье — извлечение структурированных данных из неструктурированного текста. Письмо от поставщика превратить в позиции заказа. Здесь AI хорош, но обязательно нужен слой проверки: числа и идентификаторы валидируем, а не доверяем. Модель может уверенно вернуть артикул, которого не существует.

Четвёртое — автономные агенты, которые сами решают, что делать, и вызывают инструменты. Это то, что лучше всего выглядит на демо и хуже всего живёт в проде. Проблема не в том, что они не работают, а в том, что распределение результатов широкое: в девяти случаях агент делает разумную вещь, а в десятом — необратимую глупость.

Поэтому у нас правило: агент не совершает необратимых действий без человека. Собрать черновик письма — да, отправить — нет. Подготовить возврат — да, провести — нет. Как только в цепочке появляется шаг, который нельзя откатить, там появляется подтверждение.

Про деньги. Стоимость AI-функции почти всегда недооценивают, потому что считают по цене одного запроса. А платить приходится за все запросы: за повторы при ошибках, за длинный контекст, за переиндексацию. Мы закладываем оценку стоимости в прототип и показываем клиенту цифру за месяц до того, как что-то внедрять. Пару раз именно этот расчёт закрывал вопрос.

Про качество. AI-функцию невозможно тестировать как обычный код: нет однозначного правильного ответа. Мы собираем набор реальных примеров с ожидаемым результатом и прогоняем его при каждом изменении промпта или модели. Без этого любая правка — это надежда, а не инженерия.

И самое важное. AI — это функция продукта, а не продукт. Пользователю не нужен «ассистент», ему нужно быстрее закрыть свою задачу. Если после внедрения человек тратит на задачу столько же времени, но теперь ещё и перепроверяет ответы — вы сделали хуже. Мы честно говорим об этом клиентам, даже когда это означает отказ от работы.