Эта статья про новое расширение ахритектуры трансформеров – Titan от Google –, позволяющее расширить рамки LLM до 2 млн токенов, побудила поинтересоваться, сколько токенов, пригодных для LLM, содержат исходники колоссального софта. Какой открытый софт будем «препарировать»: Читать далее
Проверка жизнеспособности идеи: однотритный вычислитель Это уже четвёртая статья, по мере готовности будет продолжение. Оглавление: Считаем до трёх: раз (троичный мультиплексор и сумматоры) Считаем до трёх: два (память) Считаем до трёх: три (счётчики) Считаем до трёх: четыре (однотритный вычислитель и система команд трёхтритного) Вот так выглядит основная железка, о которой сегодня будет идти речь (больше перемычек богу перемычек!): Читать дальше →
Проблемы качества базы данных LLM[1] и необучаемости LLM в силу ограничения размеров контекстного окна сводятся к одной проблеме никак с LLM не связанной – оценке доверия к публикациям и их авторам вообще. Вторая проблема – LLM не умеет решать простые логические задачи легко решаемые
Когда мы говорим о бенчмаркинге LLM в какой-то предметной области, то имеем в виду две разные концепции: бенчмарки моделей LLM и бенчмарки систем LLM. Бенчмаркинг моделей LLM заключается в сравнении базовых моделей общего назначения (например, GPT, Mistral, Llama, Gemini, Claude и так далее). Нам не…