Корейский стартап FuriosaAI представил сервер NXT RNGD для ИИ-инференса. 4 петафлопса вычислений при потреблении 3 кВт вместо 10+ кВт у GPU-решений. Анализ архитектуры, преимуществ и перспектив альтернативы NVIDIA. Читать далее
Это перевод статьи Питера Штайнбергера (@steipete), того самого автора OpenClaw, которого недавно купили в OpenAI – "Shipping at Inference-Speed". Этот пост, как мне кажется, спустя полгода после публикации читать только интереснее – потому что то, что он описывает как первые впечатления и вау-эффект от…
Привет, Хабр! На связи снова Данила Гудынин, DevOps-инженер направления Evolution ML Inference в Cloud.ru. В прошлой статье про снижение стоимости инференса мы пробежались по теории того, что и на каких уровнях стека можно подкрутить, чтобы повысить утилизацию своих GPU. Там вы могли…
В 2025 году рынок корпоративного ИИ-инференса составил ~100 миллиардов долларов. Но парадокс в том, что успех автоматизации бизнес-процессов с помощью LLM зависит не только от выбора модели, а от глубокого понимания двух принципиально разных этапов работы нейросети: Prefill и Decode.…