Что такое GPT? ОГЛАВЛЕНИЕ1. Введение 2. Структура GPT 3. Что такое GPT-раздел типа Intel? 3.1. Структура заголовка нового GPT-раздела 3.2. Структура записи описания нового GPT-раздела 4. Заключение. 5. Источники информации 1. Введение Продолжаем рассматривать строение программной части (software)…
Мы начали с вопроса: откуда GPT-2 знает, когда использовать слово an, а не a? Выбор зависит от того, начинается ли следующее за ним слово с гласной, однако GPT-2 может прогнозировать только одно слово за раз. У нас по-прежнему нет полного ответа, однако мы нашли нейрон MLP в GPT-2 Large, который…
Новая модель искусственного интеллекта GPT-4 от OpenAI совершила свой большой дебют и уже используется во всем, начиная от виртуального волонтёра для слабовидящих и заканчивая улучшенным ботом для изучения языков в Duolingo. Но что отличает GPT-4 от предыдущих версий, таких как ChatGPT и GPT-3.5?
Мы решили проверить технологию, на которой основан ChatGPT, посмотреть актуальное состояние open-source GPT-3-like моделей и ответить на вопрос — можно ли обучить GPT-3-like модель в домашних условиях?Для эксперимента выбрали GPT-J и не самый мощный ПК с видеокартой Nvidia GTX 1080TI с 11 GB VRAM. Оказалось, что этого достаточно не только, чтобы загрузить модель, но и дообучить ее (fine-tune). Рассказываем — как мы это сделали. Читать далее