Можно ли взять алгоритм из маленькой нейросети и «вставить» его в большую языковую модель на лету, без дообучения?Мы проверили эту гипотезу на модульной арифметике. Spoiler: да, можно, но с сюрпризом, который переворачивает представление о том, как LLM на самом деле «думают».Если вы…
Stream'ы в java явление давно не новое. Старая добрая Java 8 появилась на свет более 10 лет назад. С появлением Stream API жизнь стала проще и веселее. Но есть в Stream API два гадких утёнка: Stream#close и Stream#parallel.С первым все достаточное просто — если не уверен…
Воспроизвели grokking на трёх seed: нейросеть быстро запоминает обучающие примеры, но начинает обобщать значительно позже. Показываем результаты, границы проверки и открытые артефакты эксперимента. Читать далее
Не секрет, что курс рубля напрямую зависит от стоимости нефти (и от кое-чего еще). Этот факт позволяет строить довольно интересные модели. В своей статье о линейной регрессии я коснулся некоторых вопросов, посвященных диагностике модели, а за кадром остался такой вопрос: есть ли более эффективная, но не слишком сложная альтернатива линейной регрессии? Традиционно используемый метод наименьших квадратов прост и понятен, но есть и другие подходы (не такие понятные). Читать дальше →