Недавно Anthropic возмущалась фактом дистилляции Claude разработчиками китайских LLM, при этом в качестве доказательства приводился мониторинг аккаунтов Claude, отслеживалась их история и связь с китайскими инженерами.Мне стало интересно, возможно ли, имея только чат с LLM, понять…
Всем привет! Меня зовут Миша, я руковожу центром R&D Big Data в МТС Диджитал. В прошлый раз делился с вами подборкой книг по базам данных. Сегодня хочу обсудить, как дистилляция влияет на индустрию ИИ.Крупнейшие компании в области ИИ, включая OpenAI, Microsoft и Meta, используют технологию…
Дистилляция знаний — это техника машинного обучения, при которой более компактная и быстрая модель (Student) обучается воспроизводить поведение, логит-вероятности и пошаговые цепочки рассуждений большой и сложной нейросети (Teacher). Метод используют программисты, чтобы сделать нейросети маленькими и быстрыми, не потеряв при этом их ум и точность. Читать далее
Как современные LLM получают разные настройки reasoning effort: системные промпты, SFT, RLVR, штрафы за длину, reasoning budgets и on-policy-дистилляция. Разбираем DeepSeek V4, Nemotron 3 Ultra, Kimi K2.5 и K3, GLM-5, Qwen3 и Inkling. Читать далее