Феномен Grokking и Mechanistic Interpretability — главные тренды в исследованиях лабораторий уровня OpenAI и Anthropic. Я решил потрогать эти концепции своими руками на уровне тензоров. Цель казалась тривиальной: заставить кастомный микро-Трансформер (всего 1М параметров) выучить базовую…
Не так давно я уже писал статью по такому необычному явлению, как гроккинг - отложенная генерализация. Если долго тренировать модель на наборе данных, то тестовая точность достигнет 100% и модель станет безошибочно решать задачу. Звучит круто! Но вот проблема - никто до сих пор не мог применить гроккинг на задачах из реального мира, а мы это сделали и сейчас публикуемся на крупнейшей МЛ конференции. Если интересно, как мы этого достигли, то прошу под кат. Читать далее
Mechanistic claims в interpretability для бедных, но бравых. Шучу, конечно. Просто когда дело дошло до задачи "придумать название" — вспомнила шутки моей коллеги. В одном из приближений можно сказать, что AI-модели обрабатывают входы послойно. На каждом слое модель выдаёт вектор , который можно…
Машинка-трансформер «Скричер Найтбайт» обладает прочной конструкцией с надежными креплениями и выполнена из высококачественного материала. В набор входит машинка-трансформер (8х4х3 см) и 2 магнитных диска диаметром 3 см. Машинка-трансформер «Дикий скричер» — единственная в своем роде игрушка. Она превращается в зверя, переворачиваясь в воздухе на 360! Машинка разгоняется, ловит специальный диск, делает кувырок и самостоятельно трансформируется […]