Привет ????Самая неприятная ошибка рабочего AI-агента — не странный ответ. Это убедительное «готово», после которого кто-то идёт проверять, переделывать и извиняться перед коллегами.Ассистенту, который предлагает формулировки, можно простить неудачный абзац. Агенту, который меняет рабочие данные, этого уже мало. Мне интереснее обсуждать его приёмку: что именно должно произойти, чтобы задачу можно было считать закрытой. Читать далее
В релизе 1С ИИ агент 0.8.5 агент стал ближе к полноценному рабочему инструменту аналитика: появился более устойчивый графовый цикл выполнения, улучшена работа с файлами и вложениями, а режим «Запрос 1С» теперь поддерживает follow-up уточнения. В статье показываем сценарий: пользователь просит вывести контрагентов, затем добавляет поля ИНН и код, а потом фильтрует только покупателей — агент перестраивает запрос и показывает результат в табличном документе. Читать далее
Как проверить, что диалоговый агент выполнил задачу, если бенчмарк поставил высокий балл? В первой пробе мой агент получил награду 1 на всех пяти задачах. Потом заглушка без единого вызова инструмента набрала 34% на полном наборе.Я разрабатываю собственную экспериментальную…
«У нас есть память между окнами» — это мы писали в README и на Хабре. Но ни разу не проверяли, что агент в новом окне действительно вспоминает вчерашнее. Проверил на своей рабочей базе. В новом окне агент без памяти вспомнил 0 фактов из 10, со skillmem — 10 из 10. А пока я добывал цифру для README, нашлись три бага: треть заметок не попадала в базу, пересказы сессий забивали поиск, и агент не доверял правилам, которые я сам ему продиктовал. Читать далее