Prompt caching часто обсуждают как «бонусную опцию» в API-прайсе: мол, попал в кэш — дешевле и быстрее. В статье разбираем, что за этим стоит на самом деле: почему кэш — это не «память диалога», а переиспользование KV-тензоров на уровне одинаковых префиксов, как из этого вырастает PagedAttention/vLLM с блоками и хэш-цепочками, и какие мелкие, но фатальные детали (динамический системный промпт, недетерминированный JSON, перестановка tool defs) мгновенно превращают кэш в тыкву. Как это устроено
Инструкция по установке префикса для сканера MINDEO CS2190 для работы с 1С Предприятие в режиме разрыва клавиатуры. Рассмотрим настройку сканера MINDEO CS2190 с USB кабелем для работы с 1С Предприятие в режиме разрыва клавиатуры или имитации клавиатуры. Сам сканер легко подключается к…
Юрий Краснощек (Delphi LLC, Dell) Я немного расскажу вам про кэширование. Кэширование, в общем-то, не сильно интересно, берешь и кэшируешь, поэтому я еще расскажу про memcached, довольно интимные подробности. Про кэширование начнем с того, что просят вас разработать фабрику по производству омнониевых торсиометров. Это стандартная задача, главное делать скучное лицо и говорить: «Ну, мы применим типовую схему для разработки фабрики». Читать дальше →
Искусство общения с респондентами: «вредные» и практические советы.В современном мире исследования стали неотъемлемой частью принятия решений — от выбора фильма на вечер до разработки инновационных технологий. Но что делает их по-настоящему ценными? Конечно, люди, которые делятся своим опытом — респонденты. В этой статье я поделюсь опытом общения с разными участниками исследований, а также дам практические советы, как сделать интервью максимально эффективным. Читать далее