Привет! Меня зовут Андрей, я фронтенд-разработчик в Cloud.ru. Я работаю с LLM API каждый день. И каждый день отправляю в контекст структурированные данные: списки товаров, логи, пользователей, метрики. Все это — JSON. И все это — деньги.В какой-то момент я посчитал, сколько токенов из моего промпта уходит на фигурные скобки, кавычки и повторяющиеся ключи. Оказалось — много. Слишком много.Потом я попробовал TOON. Вот что из этого вышло. Читать далее
Как и миллионы людей, уверенных, что уж они-то знают то, что обязательно нужно рассказать другим, решил написать книгу о промптах. В процессе написания (который, кстати, оказался, куда сложнее, чем предполагалось), я рассматривал штампы LLM. Ну вы их знаете. По крайней мере в комментариях к статьям на Хабре, сотни экспертов определяют LLM именно по ним.В общем, штампы есть, и в промптах авторов многих статей все они перечислены для исключения из текста. Хорошо это или плохо, я разберу ниже. Читать далее
Когда говорят о «toon-контурах», то имеют в виду любую технику, которая рендерит линии вокруг объектов. Как и cel shading, контуры помогают игре выглядеть более стилизованной. Они могут создавать ощущение того, что объекты нарисованы красками или чернилами. Примеры такого стиля можно…
Эта статья про новое расширение ахритектуры трансформеров – Titan от Google –, позволяющее расширить рамки LLM до 2 млн токенов, побудила поинтересоваться, сколько токенов, пригодных для LLM, содержат исходники колоссального софта. Какой открытый софт будем «препарировать»: Читать далее