За годы работы я подробно изучил, как центральные процессоры (CPU) выполняют код и как они устроены внутри. Дело в том, что я участвовал в разработке ядра Linux и ScyllaDB, а этот код очень близок к металлу. Я даже немного баловался с Verilog, безрезультатно попытавшись собрать моё собственное
Продолжаем пошагово разбираться с ответом на вопрос о том, как эффективно работать с передовыми LLM, используя доступное оборудование и распределённые вычисления. В первой части статьи мы подготовили всё необходимое для развёртывания распределённого инференса с Ray Serve и vLLM. Сегодня этим и займёмся. Мы напишем скрипт vLLM, используем Ray Serve, чтобы предоставить внешний HTTP API, а также настроим KubeRay Cluster и развернём в нём Gemma 3. Вперёд!
Содержание текста статьи у некоторых читателей Хабра вызвало определенный интерес (судя по комментариям). Что в общем-то не удивительно, так как тема статьи весьма актуальная для современного общества – информационная безопасность. Специалисты проявляют интерес и…
Всем привет! Меня зовут Денис Яковлев, я Technical Project Manager в Яндексе и программный директор ИТ-конференции CodeFest. В статье расскажу о том, что происходит под капотом подготовки ежегодной конфы на 2,5 тысячи айтишников.Отвечу на вопросы: зачем я и вся команда в этом участвует, как…
В этой статье мы рассмотрим, что такое Kubernetes, в каких случаях его использование оправдано, и разберем вопросы, которые вы можете встретить на собеседованиях. Читать далее
На связи Сергей Скирдин, технический директор ИТ-интегратора «Белый код». На майских праздниках, как водится, собрались на шашлыки, за шашлыками много обсуждали искусственный интеллект. В результате получился интересный эксперимент. Читать далее
Самым нужным ресурсом в мире является энергия, получаемая из различных источников и используемая в самых разных отраслях жизни человека. Ископаемые ресурсы, которые и по сей день используются для генерации энергии, обладают рядом недостатков, от негативного влияния на…
Революция в области гуманоидной робототехники уже на пороге. Экспериментальные модели работают плечом к плечу с людьми на разных фабриках по всему миру, а разработчики ИИ создают новые фундаментальные архитектуры, чтобы роботы могли ориентироваться в пространстве так же, как…
В C++ инкапсуляция — один из ключевых принципов ООП, и приватные (private) члены класса защищены от прямого доступа извне. Однако иногда возникают ситуации, когда такой доступ необходим (например, при тестировании, сериализации или отладке). Обычно для этого используют friend-функции
Службы каталогов играют важную роль в ИТ-инфраструктуре любой организации. Каждая компания использует службу каталогов по-своему, отсюда возникает необходимость в ее адаптации под уникальные условия эксплуатации. В этой статье рассмотрим программный комплекс ALD Pro от «Группы Астра» — как встроенные возможности, так и примеры его кастомизации под требования заказчиков. Читать далее