Современные LLM учатся предсказывать следующее слово. Я предлагаю дополнить эту цель: учить модель сохранять стабильность смысловых связей (когерентность). Это может уменьшить зависимость от объёма данных и ускорить появление способностей к рассуждению. Статья описывает гипотезу, метрики для проверки и возможные способы реализации. Читать далее
Проблемы качества базы данных LLM[1] и необучаемости LLM в силу ограничения размеров контекстного окна сводятся к одной проблеме никак с LLM не связанной – оценке доверия к публикациям и их авторам вообще. Вторая проблема – LLM не умеет решать простые логические задачи легко решаемые
В этой статье я рассмотрю пример в котором будут использоваться LLM для выполнения задач модерации в Telegram.И в отличии от классического ML, LLM не нужно переобучать, достаточно просто изменить промпт. Это делает LLM идеальным инструментом для интеллектуальной модерации. Читать далее
Привет, Хабр! Меня зовут Владимир, и я давно хотел погрузиться во вселенную Warhammer40K. Для погружение во вселенную я решил обучить LLM на лоре Warhammer40K. И чтобы было интереснее, код этой LLM я решил написать сам, на голом pytorch (ну почти).Данная статья - первая в цикле статей по созданию и обучению GPT-like LLM с нуля. В них я постараюсь рассказать, как работают Decoder-only модели, как обучить небольшую LLM, сколько это заняло у меня времени. Читать далее