На NLP/LLM собеседованиях все чаще проверяют не только знание трансформеров, но и понимание того, как устроены современные GPT-like модели: почему большинство генеративных LLM используют decoder-only архитектуру, чем LLaMA отличается от ванильного Transformer, зачем нужны RoPE, RMSNorm, SwiGLU и GQA.Почему…
На NLP/LLM собеседованиях часто проверяют не только знание архитектуры Transformer, но и понимание полного жизненного цикла современной LLM: как модель предобучается, почему обычная GPT-модель ещё не является удобным ассистентом, зачем нужен instruction tuning, как работает RLHF и что такое alignment,…
Архитектура трансформера и его сердце механизм внимания уже давно стали базой собесов на NLP, LLM и даже CV. В работе трансформеры тоже доминируют. Именно поэтому очень важно до деталей разбираться в том, как они устрены, из каких частей состоят, как работают и где применяются на практике.Разберем архитектуру по слоям с примерами кода и большим количеством картинок и схем. Читать далее
Не думал, что мне еще раз придется возвращаться к теме собеседований, но похоже она меня преследует. Теперь уже на моем текущем месте работы HR внезапно выдали рекомендации:1. Проведение собеседований обязательно с включенной камерой2. Избегание типичных вопросов, чередование тем.3. Секция лайв-кодинга при проведении технических собеседований;4. Проведение мероприятий по выявлению читеров как апофеоз. Читать далее