Кейсы R77

AI-ассистент для аналитики e-commerce платформы

Проблема

inSales развивает инструменты аналитики для продавцов на маркетплейсах. Однако по мере роста аудитории команда столкнулась с одной и той же проблемой: пользователям было сложно самостоятельно находить ответы в отчетах и графиках.

Поддержка регулярно получала похожие вопросы:
  • Почему снизились продажи за последние дни?
  • Какие товары лучше продавались на прошлой неделе?
  • Что не так с рекламой на Ozon и Wildberries?

Но чаще всего запрос звучал гораздо проще:
«Как увеличить продажи?»
При этом сотрудники поддержки не могли выступать полноценными аналитиками для каждого клиента. Поиск причин изменений в показателях занимал много времени как у пользователей, так и у команды поддержки.
«Наш пользователь не аналитик. Он хочет быстро понять, почему падают продажи, а не изучать отчёты. Поэтому мы решили дать клиентам возможность задавать простые вопросы и сразу получать ответы, минуя интерфейс BI-системы».

Александр Кумар, PO inSales
Чтобы решить проблему, команда поставила перед собой несколько задач:

  • снизить нагрузку на поддержку;
  • сократить путь от вопроса до ответа;
  • повысить вовлеченность пользователей;
  • увеличить retention и LTV клиентов;
  • сделать аналитику понятной без необходимости изучать отчеты.

Пользователям были не нужны новые графики

Перед запуском проекта команда провела исследование пользователей.

Основные комментарии звучали примерно одинаково:

  • «Мне не нужны все эти графики. Скажите, что сломалось и что с этим делать».
  • «Хочу открыть аналитику и сразу понять: у меня всё нормально или уже горит?»
  • «Открыл аналитику и закрыл. Не понимаю, куда смотреть».

Стало очевидно: пользователям нужны не отчеты, а готовые выводы.

Поэтому вместо очередного дашборда команда решила создать AI-аналитика, который сможет отвечать на вопросы на обычном языке.

Как выглядит решение

Пользователь задает вопрос в чате так же, как задавал бы его сотруднику поддержки или аналитикам.

Например:
  • «Почему упали продажи за последнюю неделю?»
  • «Какие товары растут быстрее всего?»
  • «Что происходит с рекламой?»
  • Система самостоятельно анализирует данные и формирует ответ.
Важно было не просто показать результат, но и объяснить логику его получения.

Поэтому AI-аналитик может показывать ход рассуждений и объяснять, на основе каких данных был сделан вывод.

Почему не подошло готовое решение

Первым шагом команда протестировала open-source решение Vanna AI.

Однако результаты оказались недостаточными для использования в продукте. Точность ответов составляла около 24%, что означало большое количество ошибочных SQL-запросов и нерелевантных ответов.
Для оценки качества использовались не только ручные проверки, но и набор автоматизированных метрик. Уже на раннем этапе стало понятно, что проблема заключается не в генерации текста, а в корректности SQL-запросов и понимании бизнес-контекста.
Для клиентского сервиса такой уровень качества был неприемлем.

Поэтому команда решила разработать собственное решение на базе LLM и RAG.
Основой решения стал подход Retrieval-Augmented Generation (RAG).

Перед генерацией ответа система получает необходимый контекст из базы знаний и аналитических витрин, после чего формирует SQL-запрос и анализирует результат.

Чтобы повысить качество ответов, команда вручную подготовила датасет из 1800 пользовательских вопросов и соответствующих SQL-запросов.
Помимо самих вопросов и SQL-запросов команда сформировала domain knowledge — набор бизнес-правил, описаний метрик, справочников и терминов платформы. Это позволило модели лучше понимать контекст запросов и избегать ошибок интерпретации данных.

Вопросы повторяли реальные формулировки селлеров, а SQL-запросы проверялись экспертами платформы.
«Мы не просто собрали примеры — мы разметили их, стандартизировали и добились того, чтобы модель обучалась на наших типовых запросах — иначе она не понимала специфику витрины и логику наших клиентов».

Ярослав Шмулев, СTO R77 AI
После этого точность генерации SQL выросла до 94%.
Использовались следующие метрики:
  • Exact Match — полное совпадение с эталонным SQL-запросом.
  • Soft Accuracy — корректность понимания пользовательских формулировок, даже если они отличаются от шаблона.
  • R-VES — проверка релевантности и корректности результата на уровне схемы данных.
Такие показатели позволили перейти к запуску MVP и начать тестирование с реальными пользователями.

Как это работает сейчас

Сегодня система работает по следующему сценарию:

  1. Пользователь задает вопрос.
  2. Модель формирует SQL-запрос.
  3. Запрос проходит проверку.
  4. Получаются данные из аналитических витрин.
  5. Пользователь получает ответ и рекомендации.

С какими сложностями столкнулись и как решали

Во время пилота команда столкнулась с несколькими типичными проблемами ML-продуктов:

Галлюцинации модели

Иногда модель формировала SQL-запросы с несуществующими таблицами или придумывала связи между данными, которых не было в системе.
Чтобы снизить количество подобных ошибок, команда внедрила многоуровневую проверку запросов: техническую валидацию SQL, контроль соответствия схеме данных и дополнительную проверку бизнес-логики перед выполнением запроса.

Нестабильность данных

Данные от маркетплейсов могли поступать с задержкой или быть частично обновленными. В таких случаях пользователь мог получить пустой результат и принять его за ошибку модели.
Для решения этой проблемы были реализованы автоматические проверки качества данных и уведомления о неполной загрузке информации. Если данные еще не готовы, система сообщает об этом пользователю и предлагает повторить запрос позже.

Доверие пользователей

Даже корректные ответы вызывали вопросы, если было непонятно, каким образом модель пришла к своим выводам.
Поэтому в интерфейс добавили пошаговое объяснение логики ответа (reasoning). Пользователь может увидеть ход рассуждений модели и понять, какие данные и факторы повлияли на итоговый вывод.

Результаты

Запуск AI-аналитика позволил значительно изменить пользовательский опыт работы с аналитикой.

Бизнес-метрики:
  • Retention пользователей вырос на 22%;
  • LTV селлеров увеличился на 18%;
  • количество обращений в поддержку сократилось на 35%;
  • время получения ответа сократилось до 3–5 секунд.
Кроме количественных показателей изменилось и поведение пользователей.

Они стали чаще продолжать диалог, задавать уточняющие вопросы и использовать аналитику не только для просмотра показателей, но и для принятия решений.

Что дальше

Сейчас команда развивает следующие направления:

  • автоматические алерты по ключевым показателям;
  • выявление товаров с риском out-of-stock;
  • персонализацию рекомендаций;
  • автоматические аналитические отчеты.
С коллегами из R77.ai выполнили работы по реализации AI агента аналитика на базе LLM. Квалифицированные и ответственные исполнители – все работы были успешно сделаны в срок. Кроме того, экспертиза в области ИИ помогла усовершенствовать наш проект.

Александр Кумар

CPO inSales by Сбер
E-commerce