Сегодня мы выкладываем в опенсорс наш новый инструмент — алгоритм YaFSDP, который помогает существенно ускорить процесс обучения больших языковых моделей.В этой статье мы расскажем о том, как можно организовать обучение больших языковых моделей на кластере и какие проблемы при этом возникают. Рассмотрим альтернативные методы ZeRo и FSDP, которые помогают организовать этот процесс. И объясним, чем YaFSDP отличается от них. Читать далее
У C и C++ программистов две головные боли в плане ошибок: утечки памяти и неопределённое поведение. И как вы догадались из названия, речь пойдёт о неопределённом поведении. И каком-то "моём" компиляторе. Если точнее, то о наборе компиляторов и инструментах для их разработки, а именно LLVM. Почему "моём"? Потому что мы очень любим Clang, входящий в состав LLVM, и пользуемся им на постоянной основе. Читать далее
Привет, читатель! Сегодня существуют десятки вариантов платы Arduino. Их популярность обусловлена, по моему мнению, фреймворком Wiring для микроконтроллеров, распространением «шилдов» (нет необходимости паять компоненты) и, что самое удобное, загрузкой программ по USB. В рамках этой статьи расскажу, как я создал небольшую оценочную плату для микроконтроллера и добавил в нее загрузочную запись. Читать дальше →
Динамического программирование полезно при решении оптимизационных задач и задач на вычисление, где присутствует большое кол-во повторяющихся подзадач. По сравнению с другими алгоритмическими подходами, динамическое программирование позволяет ускорить процесс вычисления за счет сохранения результатов выполнения подзадач. Читать далее
Приветствую! С вами снова я — Людмила, и мы возвращаем рубрику «Анатомия игры». Научная работа не позволяла мне вплотную заняться своими проектами и статьями на Хабр. Но между защитами и полевыми опытами выдалось немного времени, а, значит, я снова в деле! Мало кто из рядовых…
10-го июня в 20:00 по Москве стартовала ежегодная конференция для разработчиков Apple WWDC 2024. Рассказываю в статье про основные новости с сессии мобильной разработки: — Интеграция искусственного интеллекта Apple Intelligence (AI) во всю экосистему.— В iOS 18 добавлено плавающее размещение иконок
Ранее в статье Получаем спутниковые координаты GPS/ГЛОНАСС с помощью модуля SIM868 на Repka Pi мы рассказали про модуль GSM/GPRS/GNSS Bluetooth HAT, реализующий все основные функции смартфона, в том числе получение координат GPS.Теперь вы узнаете, как подключить к микрокомпьютеру Repka Pi модули,…
Александр Белл со стартапом телефона был для инвесторов кем-то вроде чёрной вдовы: сначала они отказывались вкладывать деньги, а потом кусали локти. Про Марка Твена, который мог сделать свою единственную успешную инвестицию, но всё упустил, мы уже писали. Но Беллу отказывали…
По данным ВОЗ, около 4% людей страдают тревожными расстройствами в разной форме. С недавних пор я тоже официально вошла в число этих счастливчиков, хотя с тревогой живу уже очень много лет. И если с «бытовой» тревогой ещё худо-бедно справлялась, то с «рабочей» всё было намного…
Недавняя статья об новой архитектуре нейронных сетей на основе теоремы Колмогорова-Арнольда (KAN — Kolmogorov-Arnold Networks) вызвала большой ажиотаж: уже было представлено множество вариаций того, как правильно создавать такие сети, ведутся горячие дебаты, а рабочая схема и имеет ли право на жизнь и многое другое. Цель этой статьи постараться ответить на простой вопрос: могут ли KAN справляться с компьютерным зрением? Читать далее