Эта статья про новое расширение ахритектуры трансформеров – Titan от Google –, позволяющее расширить рамки LLM до 2 млн токенов, побудила поинтересоваться, сколько токенов, пригодных для LLM, содержат исходники колоссального софта. Какой открытый софт будем «препарировать»: Читать далее
Проверка жизнеспособности идеи: однотритный вычислитель Это уже четвёртая статья, по мере готовности будет продолжение. Оглавление: Считаем до трёх: раз (троичный мультиплексор и сумматоры) Считаем до трёх: два (память) Считаем до трёх: три (счётчики) Считаем до трёх: четыре (однотритный вычислитель и система команд трёхтритного) Вот так выглядит основная железка, о которой сегодня будет идти речь (больше перемычек богу перемычек!): Читать дальше →
Claude считает каждую страницу отсканированного PDF как изображение — это примерно 1785 токенов на страницу. Незаметно 200-страничный документ превращается в 357 000 токенов. Если взять Claude Sonnet 5 и цену $3 за миллион токенов это около 90 рублей только за то, чтобы модель просканировала ваш…
В этой статье объяснен весь процесс, на выходе которого получается рабочий драйвер ядра Linux для недокументированного USB-устройства. Выполнив обратную разработку коммуникационного протокола USB, я покажу архитектуру драйвера ядра для USB. Кроме драйвера ядра в этой статье будет…