Если открыть статью про GPT или Llama, то сразу можно встретить Embeddings, Self-Attention, KV Cache, Multi-Head Attention и прочие термины. Обычно предполагается, что читатель сразу готов разбираться в архитектуре Transformer на миллиарды параметров.Но исторически языковые модели развивались постепенно. Сначала
Друзья, по мере того как развиваются события, буду вести здесь небольшой бортовой журнал, который, возможно, кого-то улыбнет, а кому-то пригодится в качестве case study. И заранее извиняюсь перед всеми, кому доставляю неудобства своей вот этой малополезной графоманией. Читать далее
Началось всё с того, что мне было нечем заняться, и я баловался с языковой моделью, мучая её всякими разными вопросами по ML. В какой-то момент дело дошло до функций активации — сначала прошлись по уже известным, а затем и до ещё непроверенных. Так и появилась LLA — функция активации, являющаяся центральным элементом всей этой истории. Формула у неё довольно простая: Дальше
Система Битрикс24 может интегрироваться с внешними сервисами, имеющими отношение и значение для бизнеса. Это существенно расширяет возможности CRM и ее пользователей. Взаимодействие может осуществляться как с помощью готовых решений, так и с нуля – с помощью интерфейса программирования REST. Вместе с техническими специалистами CRM Академии попробуем разобраться, как такая интеграция работает, что дает, и для каких сценариев годится. Читать далее
Привет, Хабр! Я — Дмитрий Селищев, в компании «Синимекс» совмещаю роли руководителя подразделения и разработчика баз данных. В этом материале хочу поделиться историей о том, как простые, но не всегда очевидные приемы помогают кардинально ускорить SQL-запросы. Мы поговорим о стандартных конструкциях CASE и FILTER, которые позволяют писать более чистый код и, что важнее, на порядки сокращать время построения сложных отчетов. Давайте на живых примерах посмотрим, как это работает. Читать далее
Разбираемся, какие виды тестирования нужно проводить при внедрении заказных бизнес-приложений. Что такое воронка «бесконечного тестирования». Чем синдром «сапера» отличается от синдрома «лудомана». А также можно ли полюбить тестирование. Читать далее
В 1960-х орбиту «Союза» рассчитывал прибор, внутри которого вместо процессора работали шестерни, кулачки и дифференциалы. Разбираем устройство навигационного компьютера «Глобус»: как он показывал положение корабля, прогнозировал точку посадки и почему впечатляющая механическая вычислительная система всё же оставалась привязана к одной орбите. Читать разбор
Часть 2. Как «Сбросить права доступа» в один клик уносит всю систему, почему я переехал на Proxmox с контейнерами и как менял сетевую папку на Nextcloud с Immich. Читать далее
Стоит открыть исходники любого современного игрового движка – неважно, это C++-рендер, сделанный на коленке, или какая-нибудь гигантская экосистема вроде Unity или Unreal Engine – вы первым делом натыкаетесь на одни и те же знакомые сущности. Все вокруг живет в Vector3: координаты,…
Вы помните игровую индустрию конца 90-х и начала 2000-х? Сюжеты RPG тех лет можно было пересказывать родителям под видом прочитанной книги. Злоключения главных героев заставляли задуматься о своем месте в обществе, а повседневная жизнь в вымышленных мирах до боли напоминала мир…