Переход от FP16 к 8 битному квантованию был триумфом инженерии, позволившим запускать LLM на потребительском железе почти без потерь. Но сегодня индустрия сошла с ума. 4 бита стали нормой, 3 бита преподносятся как новый стандарт, а на GitHub всерьез обсуждают 2-битные и 1.58-битные модели. В
Большие языковые модели, системы искусственного интеллекта, на которых работают такие чат-боты, как ChatGPT, становятся все лучше и лучше, но они также становятся все больше и больше, требуя все больше энергии и вычислительной мощности. Читать далее
Ранее я поднял проблему возрастающей сложности и обозначил порождаемую ей другую проблему. Проблему управления сложностью (разнообразием) организации. Поднял проблему возрастающей сложности и обозначил порождаемую ей другую проблему. Проблему управления сложностью…
Что я узнал об аркадном автомате Bomb Jack в процессе создания его эмулятора Недавно я написал небольшой эмулятор автомата Bomb Jack, в основном для того, чтобы разобраться, чем эти первые 8-битные аркадные автоматы отличались по конструкции от 8-битных домашних компьютеров. Как я узнал…