LLM может влезать в контекст и генерировать 200 tok/s, но если она не может найти нужный факт в тексте, толку от этого мало. Поэтому мы захостили 8 локальных LLM и прогнали через NIAH-тесты: тройной хоп, пять дистракторов и контексты до 128K. Читать далее
В ★5УГЛОВ мы часто работаем с языковыми моделями — как облачными, так и локальными. И если про онлайн‑сервисы знают все, то локальные LLM до сих пор остаются недооцененным инструментом. Я решил поделиться личным опытом: какие модели можно запускать прямо на ПК,
Привет, Хабр!В последнее время меня часто спрашивают (интересно, и кто эти люди) про Kubernetes и виртуализацию, точнее про разные варианты совмещения того и другого, и можно без хлеба в одном флаконе. Проще говоря, что лучше, интереснее и эффективнее: прикрутить к Kubernetes дополнительную
Неделю назад, 8 августа мы, в своем блоге, объявили о снижении цен на локальные SSD-накопители. Теперь наши клиенты платят на 63% меньше за локальные SSD-накопители, которые используются в виртуальных машинах по требованию Google Compute Engine. Цена в большинстве регионов составит 0,80 долл. США