Это бонусный материл в серии о внедрении LLM в клиентские сервисы. Если в прошлых трех статьях я подробно разбирал удачные моменты, архитектуру и правильные шаги, то этот текст решил целиком посвятить разбору наших ошибок и факапов. Сейчас – менее красивая часть и реальный опыт PM:
Когда игрок закрывает окно оплаты в моей игре, с ним заговаривает LLM-бот — короткое exit-интервью по книге «Спроси маму», максимум 5 реплик. За 2 недели: 59 сессий, 20 ответов. Главная находка: люди шли из поиска на слово «бесплатно» в моём же title. Внутри — схема, промпты и код-каркас под любой проект. Смотреть схему, промпты и грабли
Когда ошибка не баг, а фича, 4 международных кейса. Часто именно ошибка даёт возможность развития бизнеса и технологий. Отказ от анализа и изумления опыта из ошибок, приводит к станции. Ошибка - это не баг, а фича для бизнеса
Проблемы качества базы данных LLM[1] и необучаемости LLM в силу ограничения размеров контекстного окна сводятся к одной проблеме никак с LLM не связанной – оценке доверия к публикациям и их авторам вообще. Вторая проблема – LLM не умеет решать простые логические задачи легко решаемые