«Лучший ChatGPT за $100», «китайцы обучили GPT-4 за шесть миллионов», «модель с нуля на одной игровой карте за вечер» — за последний год такие заголовки идут потоком. Почти все цифры в них честные. Беда в том, что они про разные вещи.За словами «обучить LLM» прячется лестница в семь…
Привет, Хабр! Меня зовут Владимир, и я давно хотел погрузиться во вселенную Warhammer40K. Для погружение во вселенную я решил обучить LLM на лоре Warhammer40K. И чтобы было интереснее, код этой LLM я решил написать сам, на голом pytorch (ну почти).Данная статья - первая в цикле статей по созданию и обучению GPT-like LLM с нуля. В них я постараюсь рассказать, как работают Decoder-only модели, как обучить небольшую LLM, сколько это заняло у меня времени. Читать далее
Раскрученный проект nanochat обещает "за $100 обучите свой ChatGPT". В оригинале обучение на 8xH100 80Gb, но никто не мешает обучить его на домашнем и более слабом железе. Попробуем обучить LLM с нуля на статьях Хабра, чтобы посмотреть хватит ли там материала, чтобы модель хотя бы смогла связать пару слов. Читать далее
Тема уже из заголовка ясна: каждый день сталкиваюсь с непониманием того, сколько на самом деле стоит разработка корпуса. И цель этой заметки — рассказать вам о том, сколько действительно придётся за неё заплатить: 100 000 рублей, двести или миллион. Прочитав эту статью, вы сможете определить, сколько придётся отдать за работу и заодно понять, недоговаривают ли вам что-то разработчики по поводу цен или режут суровую правду. Ответим на три основных вопроса: Читать всё остальное