TL;DR Статья посвящена находкам, описанным в моих постах Mapping the Semantic Void, часть I и II. Создав специальный эмбеддинг в центроиде токенов (векторе средних значений всех 50257 эмбеддингов токенов GPT-J ), при помощи промта приказав модели определить его и учтя логиты, можно создать…
Что такое GPT? ОГЛАВЛЕНИЕ1. Введение 2. Структура GPT 3. Что такое GPT-раздел типа Intel? 3.1. Структура заголовка нового GPT-раздела 3.2. Структура записи описания нового GPT-раздела 4. Заключение. 5. Источники информации 1. Введение Продолжаем рассматривать строение программной части (software)…
Вчера вечером, 10 января 2024 г., OpenAI официально запустили GPT Store. Давайте разберемся, что это такое, и что оно дает. А затем создадим свой собственный GPT и добавим его в GPT Store.Концепция "custom GPT" в терминах OpenAI - это кастомный набор инструкций (custom prompt), который может быть создан любым…
Мы начали с вопроса: откуда GPT-2 знает, когда использовать слово an, а не a? Выбор зависит от того, начинается ли следующее за ним слово с гласной, однако GPT-2 может прогнозировать только одно слово за раз. У нас по-прежнему нет полного ответа, однако мы нашли нейрон MLP в GPT-2 Large, который…