Привет, Хабр! Недавно пообщался с коллегами о вариационном автоэнкодере и выяснилось что многие даже работающие в Deep Learning знают о вариационном выводе (Variational Inference) и в частности Нижней вариационной границе только по наслышке и не до конца понимают что это такое. В этой статье я хочу подробно разобрать эти вопросы. Кому интересено, прошу под кат — будет очень интересно. Читать дальше →
Привет, Хабр! Меня зовут Антон Алексеев, я ML Ops-инженер в Авито.В этой статье я разберу, почему существующий PaaS — отличный инструмент для веб-сервисов, но плохо подходит для ML/LLM-Inference, и с какими похожими проблемами сталкиваются крупные компании, у которых те же задачи.Также расскажу, почему было принято решение не дорабатывать PaaS под Inference, а строить отдельную Inference-платформу на базе готового open-source ядра, и почему этот путь оказался предпочтительнее. Читать далее
Английский intermediate и с чем его едят? Изучая английский язык, всегда хочется понимать насколько эффективным является обучением и есть ли продвижение в результате. Для того чтобы проанализировать свою успеваемость, необходимо периодически проходить контрольные тесты, которые указывают на сильные и слабые стороны в знаниях английского языка. Если вы уже достаточно неплохо говорите на английском и даже […] Сообщение Английский intermediate и с чем его едят? появились сначала на Androha.ru.
3 дня борьбы с ROCm, RX580 и Ollama: как я запустил LLM на домашней видеокартеЯ попытался запустить LLM inference на старой AMD RX580 через ROCm и Ollama в Kubernetes. GPU определялся, VRAM занималась, контейнеры запускались — но inference падал с ошибками hipMemGetInfo, а иногда просто выдавал бессмысленный текст.В статье