Модель A-Vibe разработанная командой Авито, заняла первое место среди моделей до 10 млрд параметров в независимом русскоязычном бенчмарке MERA, обойдя аналоги от OpenAI, Google и Anthropic. Читать далее
Сдерживает ли токенизация потенциал больших языковых моделей? Несмотря на свою популярность, этот подход имеет ряд ограничений, которые становятся всё более заметными с развитием LLM. В статье мы разберём, почему токенизация является костылём, какие проблемы она создаёт и какие альтернативные методы предлагают исследователи для их решения. От байтовых моделей до работы с концептами — как пытаются улучшить ситуацию и что это может означать для будущего языковых моделей. Читать далее
ИИ-ассистенты обещают революцию в программировании, позволяя за минуты создать то, на что раньше уходили дни. Но за этой скоростью скрывается опасность — код, который выглядит рабочим, но разваливается при первом же необычном сценарии. "Vibe coding" требует не отказа от инженерной дисциплины, а нового уровня ответственности за то, что генерирует искусственный интеллект.— 7 правил безопасного vibe coding — Для каких целей подходит и не подходит vibe coding Читать далее
Всем привет! Меня зовут Анастасия Рысьмятова, я руковожу юнитом LLM в Авито.В этой статье я расскажу, как мы с командой создали и адаптировали нашу большую языковую модель A-vibe: зачем решили развивать собственную LLM, как построили токенизатор, собрали датасеты, провели SFT и RL и что получили в итоге. Поделюсь основными экспериментами и покажу наши результаты. Читать далее