Нахождение скрытого потенциала параллелизации в произвольном алгоритме, построение плана (каркаса) выполнения параллельной программы на гомогенном или гетерогенном поле параллельных вычислителей Далее читать
Недавно на Хабре проскакивала новость о Magnit Tech++ Meet Up, и в ней упоминалась задачка, которая меня заинтересовала. В оригинале задачка формулируется так:Определена функция с сигнатурой:void do_something(bool a, int b, std::string_view c)Определить функцию, принимающую в произвольном порядке…
Зачем нужны потоки, если есть параллелизм ВКПа? Поговорим об этом подробнее. По существу мы тем самым продолжим тему статьи[1], рассмотрев только более сложный пример, чем простые и абстрактные счетчики. Рассмотрим по ходу сначала пример, а уж потом и его реализацию на потоке. Поехали?! Читать далее
Еще в июле NVIDIA и Hugging Face выпустили совместный пост про то, как их опенсорсная библиотека для обучения нейросетей NeMo Automodel умеет теперь работать с диффузионными моделями. В анонсе фигурировали FSDP2, тензорный параллелизм, контекстный параллелизм, мультинодовая оркестрация.…