Последние новости в сфере ИИ намекают на важный сдвиг: локальный запуск очень больших моделей уже не выглядит чистой фантастикой. В этой статье я разбираю две технологии — Bonsai и TurboQuant, — которые бьют по двум главным ограничениям инференса: размеру весов и объёму KV-cache. А затем прикидываю, что будет, если однажды их удастся объединить и масштабировать до моделей уровня 235B. Читать далее
Google Research выпустили TurboQuant - новый алгоритм сжатия данных, который сокращает объём кэш-памяти LLM как минимум в 6 раз и даёт ускорение до 8 раз. При этом заявляется отсутствие потерь в точности, что напрямую влияет на эффективность работы ИИ. Читать далее
Корпус — алюминий, цвета — графит, коричневый. Двойной плафон из стекла. Внешний — прозрачный с линейным рельефным рисунком. Внутренний — белый глянцевый рассеиватель. Модели мощностью от 12Вт до 20Вт — предназначены для основного освещения. LED-источник света, цветовая температура — 3000К. Высокая степень защиты — IP65. Аксессуар Technical TRX034DR4-200B Вес 0.3800 Высота 42 Длина 330 Код поставщика […]
В начале прошлого года я рассказывал про проект Bonsai — движок для создания семейного вики и фотоальбома с открытым исходным кодом. С тех пор проект планомерно развивался. За год сделано несколько фич, благодаря которым движок теперь значительно проще попробовать в у себя и приятнее использовать в дальнейшем. Под катом — подробности, планы на будущее и немного bounty. Читать дальше →