В первой статье я показал несколько опытов с небольшой моделью (её размер влезает в обычную домашнюю видеокарту) вокруг одного вопроса: может ли такая модель становиться умнее со временем — не раздуваясь до огромных размеров, а за счёт памяти, аккуратного дообучения и проверки…
Мейнстрим растит модели масштабом. Мы меряем ортогональное: можно ли растить компетентность маленькой модели без роста весов — через верифицированную память и локальное обучение, с жёстким потолком ресурсов (бытовая GPU 12 GB). Читать далее
Еще лет 20–30 назад обучение в России редко выходило за рамки школы, техникума, университета и периодических курсов повышения квалификации. Но сегодня все чаще упоминается концепция lifelong learning, или обучение на протяжении всей жизни.Разбираемся почему онлайн-обучение вытесняет традиционное и как эффективно учиться онлайн? Читать далее
Обучение LLM — это в первую очередь инфраструктурная задача: нужен пайплайн, который можно перезапускать с новыми данными, архитектурой или другим расписанием обучения и получать повторяемый внутри команды результат. В этом материале — рассказ команды обучения и инференса моделей RWB о том, как мы с нуля, без загрузки pretrained-весов, обучили текстовую модель на основе гибридной архитектуры Qwen3.5-2B-Base и какие выводы сделали по пути — от сборки датасетов до чтения графиков онлайн-оценки. Читать далее