Учёные из Юниверсити Колледж Лондон (UCL) и лаборатории Huawei Noah’s Ark Lab разработали новый подход к обучению, который позволяет агентам на базе больших языковых моделей (LLM) динамически адаптироваться к среде без дообучения самой модели. Метод основан на системе структурированной памяти, которая автоматически обновляется по мере накопления агентом опыта, что даёт возможность непрерывно повышать качество его работы. Читать далее
Независимо от того, улучшаете ли вы точность модели путем дообучения или улучшаете контекстную релевантность системы генерации с дополненной выборкой (RAG), понимание того, как разрабатывать и выбирать подходящий набор метрик оценки LLM для вашего варианта использования,…
Проблемы качества базы данных LLM[1] и необучаемости LLM в силу ограничения размеров контекстного окна сводятся к одной проблеме никак с LLM не связанной – оценке доверия к публикациям и их авторам вообще. Вторая проблема – LLM не умеет решать простые логические задачи легко решаемые
Авторы свежей научной работы попробовали заставить обычные открытые LLM (от 1B до 70B) генерировать валидный BPMN-XML прямо в чате по текстовому описанию процесса.Если вкратце, то без дообучения — полный провал. 80% токенов тратится на XML-мусор, модели сыплются на синтаксисе, забывают…