В последнее время в медиаполе было много сообщений о том, что закончились данные для обучения новых больших языковых моделей. Не просто размеченные данные, а новые, с которыми можно работать, включая их разметку. Проще говоря: большие модели теперь знают все, что есть в интернете.
На форуме RAIF 2019, который состоялся в Сколково в рамках «Открытых Инноваций», я рассказывал о том, как происходит внедрение моделей машинного обучения. В связи с особенностями профессии я каждую неделю несколько дней провожу на производствах, занимаясь внедрением моделей машинного обучения, а остальное время – разработкой этих моделей. Этот пост — запись доклада, в котором я постарался обобщить свой опыт. Читать дальше →
Настройка ПК с Linux для обучения моделей на GPU. В статье приводятся ссылки на скрипты, написанные для упрощения процесса настройки ПК с GPU на Linux для обучения моделей машинного обучения. Скрипты и настройка разбита на три ключевых этапа: настройка удалённого доступа с помощью…
Прим. Wunder Fund: В статье описан относительно новый подход к ускорению обучения больших моделей. Сами мы его не применяем, но над скоростью обучения моделей работаем постоянно, и если вам интересна эта тема, будем рады с вами пообщаться)Обучение крупномасштабных ИИ-моделей — это не