Сравним скорость ResNet-50 на PyTorch, ONNX Runtime, OpenVINO, TensorRT и TVM в 46 конфигурациях. ONNX Runtime + INT8 даёт ×4 на CPU, TensorRT + INT8 — ×6 на GPU. Код прилагается. Читать далее
Привет, Хабр! Меня зовут Антон Алексеев, я ML Ops-инженер в Авито.В этой статье я разберу, почему существующий PaaS — отличный инструмент для веб-сервисов, но плохо подходит для ML/LLM-Inference, и с какими похожими проблемами сталкиваются крупные компании, у которых те же задачи.Также расскажу, почему было принято решение не дорабатывать PaaS под Inference, а строить отдельную Inference-платформу на базе готового open-source ядра, и почему этот путь оказался предпочтительнее. Читать далее
Как мы построили DCN-R: новую гибридную модель рекомендаций на Cross Network и ResNet-блокахСовременные рекомендательные системы сталкиваются с парадоксом: модели умеют либо отлично «запоминать» закономерности, либо хорошо «обобщать» новые случаи — но почти никогда не делают это…
За attention-механизм с 2017 года брались сотни раз: sparse attention, linear attention, MoE, MLA, скользящие окна, что только не. А вот residual connection, остаточная связь, та самая x + F(x) из ResNet 2016 года, простояла почти десять лет нетронутой. Её просто унаследовали из résnet'ов, воткнули в трансформер и забыли.31…