Обычный Go backend привык отменять работу вместе с HTTP-запросом. Но если пользователь закрыл вкладку посреди анализа документа, это ещё не означает, что LLM-провайдер прекратил генерацию и расходы. Разбираю, почему для длительных AI-операций недостаточно r.Context(), как организовать фоновые задачи на PostgreSQL и что делать с идемпотентностью, retry и повторными списаниями за API. Читать далее
Проблемы качества базы данных LLM[1] и необучаемости LLM в силу ограничения размеров контекстного окна сводятся к одной проблеме никак с LLM не связанной – оценке доверия к публикациям и их авторам вообще. Вторая проблема – LLM не умеет решать простые логические задачи легко решаемые
За последние пару месяцев я обучил свою команду, как встроить LLM в рабочий процесс.Не «поиграться с ChatGPT вечером». Не «задать вопрос, как сделать то-то». А именно начать использовать LLM в реальной работе: код, тексты, анализ, ревью, документация, исследование, планирование задач.Мой вывод стал неожиданностью для меня:LLM не работает за вас. Она работает с вами. Читать далее
Чтобы разобраться в HTTP Request Smuggling, надо сначала честно ответить на вопрос, который в обычной жизни может прозвучать абсурдно: а как сервер понимает, где заканчивается один HTTP-запрос и начинается следующий? Кажется, что ответ очевиден — запрос это запрос, отправил и отправил. Но…