Код: https://github.com/fanat503/Induction-Heads-TinystoriesGPT-2 Small обучена с нуля на TinyStories (473М токенов). Эксперимент показал, что Previous Token Heads формируются стабильно (score 0.20), а Induction Heads практически не формируются (score 0.05) из-за простоты датасета. Результаты верифицированы через Sparse Autoencoder на Layer 6. Induction Heads на TinyStories: результаты
Эта статья - не "ответы на все вопросы". Это попытка показать, как смена парадигмы - с субстанциальной на реляционную позволяет увидеть, что некоторые "неразрешимые" противоречия философии и науки были артефактами нашего языка, а не свойствами реальности.Вся история философии и…
Вы открываете чат. Загружаете договор на 80 страниц или корпоративный регламент на 200. Пишете: «Добавь в раздел 4.2 новый пункт про порядок согласования».AI читает весь документ целиком. Находит (или не находит) нужное место. Что‑то вставляет. Иногда попадает,…
Kubernetes часто называют сложной системой, в которой легко запутаться. Control Plane, etcd, scheduler, worker nodes — когда сталкиваешься с этим в первый раз, кажется, что разобраться невозможно. Но на самом деле за громкими названиями скрываются простые и логичные компоненты. Мы подготовили простую…
Спойлер: Никаких банальных ИИ-оберток, где текст конвертируется в звук через API. Только хардкорная хирургия нейросетей, кросс-модальные мосты и перехват мыслей LLM в реальном времени.За последний год Hugging Face превратился в конвейер одинаковых проектов: берем Llama/Gemma, прикручиваем к…
Данная статья имеет шуточный характер. На самом деле я заказал случайно не тот модуль (хотел RGB модуль, а взял RYG модуль), потом решил, раз я его взял сделаю учебный проект. Читать далее
В марте специалисты киберразведки PT ESC зафиксировали активность группировки Rare Werewolf (Rezet, Librarian Ghouls). На этот раз был обнаружен архив data.zip, содержащий следующую структуру файлов.Под катом разбор вредоносных файлов, их структуры и назначения. Читать далее
«Каково это — когда хвост оказывается между ног?» — вопрос, который однажды задали Веронике Картрайт. Актриса приехала на съёмки «Чужого» играть Рипли, а получила Ламберт — «вечно ноющую» и обречённую. Как Хичкок учил её готовить стейк, зачем Ридли Скотт заставил бить Уивер по лицу и почему смерть Ламберт снимали… без самой Ламберт? Вся закулисная драма, брызги крови и один очень неловкий хвост — в этой заметке. Читать далее
Open source модель для генерации музыки, которая на бенчмарке SongEval обходит Suno v5. Работает локально от 4 ГБ VRAM, генерирует полный трек за 2 секунды на A100. Разбираю архитектуру LM + DiT: почему разделение планирования и синтеза даёт такой результат, что реально работает, а что авторы сами называют проблемами. Читать далее
OpenClaw — это 180K звёзд на GitHub, но и 800 МБ node_modules, конфликты зависимостей и Node.js рантайм. Кто-то переписал его на Go: один бинарник на 35 МБ, 3-5x меньше RAM, деплой в одну команду. Разбираю, зачем это было нужно, что даёт мультиагентная архитектура на горутинах, и имеет ли смысл переходить с OpenClaw. Читать далее