Эта статья про новое расширение ахритектуры трансформеров – Titan от Google –, позволяющее расширить рамки LLM до 2 млн токенов, побудила поинтересоваться, сколько токенов, пригодных для LLM, содержат исходники колоссального софта. Какой открытый софт будем «препарировать»: Читать далее
Проверка жизнеспособности идеи: однотритный вычислитель Это уже четвёртая статья, по мере готовности будет продолжение. Оглавление: Считаем до трёх: раз (троичный мультиплексор и сумматоры) Считаем до трёх: два (память) Считаем до трёх: три (счётчики) Считаем до трёх: четыре (однотритный вычислитель и система команд трёхтритного) Вот так выглядит основная железка, о которой сегодня будет идти речь (больше перемычек богу перемычек!): Читать дальше →
Проблемы качества базы данных LLM[1] и необучаемости LLM в силу ограничения размеров контекстного окна сводятся к одной проблеме никак с LLM не связанной – оценке доверия к публикациям и их авторам вообще. Вторая проблема – LLM не умеет решать простые логические задачи легко решаемые
LLM могут принимать на вход все большее кол-во токенов, но большое количество переданных на вход токенов, включая промт, контекст и историю переписки не равно качество ответа.В идеале на вход LLM нужно передать минимально достаточный набор данных для получения ожидаемого…