Защита языковой модели отличается от защиты обычного веб-приложения одной принципиальной особенностью: пользовательский ввод для LLM — это не только данные, но и потенциальная инструкция.В обычном приложении строка остаётся строкой. В LLM пользовательский текст…
Вы запускаете большую MoE‑модель (например, Qwen, DeepSeek, Mixtral) на локальной машине через llama.cpp / llama-server, но скорость генерации токенов в разы ниже ожидаемой. Статья — для Linux-пользователей с гибридными процессорами Intel 12-го поколения и новее и видеокартами NVIDIA (CUDA). Конфигурация: RTX 4070 (12…
Сидел на днях, в Pnetlab лабу делал, добавил туда пару объектов типа VPC - и заметил что к консоли их не могу подключится :( Пришлось разобраться Читать далее
У маркетолога застройщика есть скучный, но регулярный вопрос атрибуции: обращений за неделю стало меньше — это рынок просел или собственные кампании сломались. Ответ во многом лежит в поисковом спросе. Если люди в городе стали реже искать квартиры, дело в рынке; если ищут…
Каждый раз, когда речь заходит про проверку паролей сотрудников по базам утечек, разговор упирается в один и тот же вопрос: вы что, предлагаете отправить наши пароли на чужой сервис?Вопрос правильный. Ответ на него — нет, отправлять ничего не нужно, и это не обещание на словах, а свойство протокола, которое проверяется самостоятельно за пять минут. Механика там простая и красивая, а знают её почему-то немногие. Читать далее
Привет, Хабр! Меня зовут Николас Оксман. Последние восемь лет я занимаюсь космосом: начинал с ведения блога про астрономию, потом увлекся пилотируемой космонавтикой, а теперь управляю двумя аэрокосмическими стартапами. Мы создаем аппараты самолетного типа, и легче воздуха — по
Начну с запроса, который приходит примерно во все отделы примерно всегда:«Есть тезисы и цифры. Нужна презентация к завтра. Ну сгеренируйте там что-нибудь, есть же ИИ».Это почти дословная цитата, причём из разных подразделений независимо друг от друга. « У нас есть ИИ» оказалась…
«Существуют три вида лжи: ложь, наглая ложь и бенчмарки», — почти Марк ТвенВ два часа ночи ведущий архитектор процессорного стартапа Сара Чен получила письмо, которое изменит траекторию движения её компании. Конкурент опубликовал подробный технический анализ,…
Тридцать лет назад вышла игра, которая устроила очередную революцию в жанре от первого лица. Взяв всё лучшее от Doom, Quake получил невероятную по тем временам графику (которая требовала довольно мощного ПК) и быстрый геймплей (который намекал на необходимость использования мыши).…
Нашел на Reddit интересный тред с простым вопросом: «Какой AI-тренд тихо умер?» Сам недавно рассуждал об этом же — много с чем не согласен, но материал классный, решил сделать из него пост. В комментариях пользователи вспоминают хайп последних лет, спорят о конкретных технологиях и пытаются понять, какие из них действительно оказались полезными, а какие просто красиво выглядели на демо, но оказались бестолковыми в реальности. Читать далее