Кэширование включено, а cached_tokens всё равно не растут? Часто проблема не в модели и не в провайдере. Hit rate обычно режут совсем другие вещи: timestamp в начале запроса, плавающий порядок tools, разные реплики, RAG с нестабильным порядком чанков и слишком короткая жизнь KV-кэша. В статье разбираю 7 типовых анти-паттернов, которые убивают prefix_cache_hit в проде. Читать далее
Финансы, ритейл, соцсети, облака – везде свои тараканы, но требования схожи: чтобы летало и не падало. Балансировка нагрузки – это как фундамент для небоскреба. Криво зальешь – все рухнет. И вот тут стандартный Round Robin, при всей его простоте, часто оказывается тем самым кривым фундаментом. Читать далее
Если вы не знаете, что такое префикс-функция строки, не знаете, как она вычисляется, или, что самое главное, не до конца понимаете, почему алгоритм вычисления префикс-функции работает за линейное время, то эта статья для вас.Я прошел через череду осознаний и озарений, прежде чем достичь просветления, и теперь предлагаю вам пройти этот путь вместе со мной. Читать далее
Знаменитые “шады” от Excalibur теперь выпускаются под маркой Bomber, со значительным расширением цветовой линейки. Прекрасно показал себя при ловле судака на дорожку по глубинам 3-4 метра. Воблер Fat Free Fingerling BD5F #FS , Длина: 50 мм,Вес: 10,5 гр. до 2,4 м. Плавающий Выберите вариант Длина: 50 мм,Вес: 10,5 гр. до 2,4 м. Плавающий Производитель Bomber … Читать далее Воблер Fat Free Fingerling BD5F #FS , Длина: 50 мм,Вес: 10,5 гр. до 2,4 м. Плавающий →