Когда мы тестируем LLM‑приложение в режиме black box, мы видим только интерфейс: отправили сообщение — получили ответ. При этом модель под капотом может быть любой: DeepSeek, Qwen, GLM, Mistral, Llama, Claude, GPT, Gemini или локальная fine‑tuned модель. Для обычного пользователя это часто…
Привет, Хабр! Я Юля, дизайнер диалоговых интерфейсов в Just AI. Мир захлестнула LLM-волна, и сфера чат-ботов оказалась в самом ее центре: все больше компаний хотят внедрять именно генеративные решения. В этой статье я расскажу о том, как мы провели эксперимент и сравнили старую версию бота и новую — с нейросетью под капотом. Одним из результатов эксперимента стала методика оценки качества, которой я также поделюсь в этой статье. Читать далее
Реализация чат-бота с LLM под капотом, который ведет общение с пользователем в свободной форме, но собирает структурированную информацию, согласно перечню параметров в конфигурационном файле. А сам файл конфигурации - таблица с описанием скрипта общения, такая, которую вы бы написали для людей: операторов кол-центров, продавцов или интервьюеров. Интересно? Погодите, я еще не закончил! LLM работает локально, не надо платить за токены! Подробности внутри
Держите LLM подальше от тестов чат-ботаКто тестировал чат-бота, знает: на одной реплике всё просто, а на третьей-четвёртой начинается боль. Бот должен помнить имя, которое вы назвали два хода назад, держать слоты и не сваливаться в «уточните ваш запрос» на ровном месте. И как только садишься это проверять, упираешься в развилку: чем, собственно, проверять ответы многоходового диалога. Читать далее