Архитектура трансформера и его сердце механизм внимания уже давно стали базой собесов на NLP, LLM и даже CV. В работе трансформеры тоже доминируют. Именно поэтому очень важно до деталей разбираться в том, как они устрены, из каких частей состоят, как работают и где применяются на практике.Разберем архитектуру по слоям с примерами кода и большим количеством картинок и схем. Читать далее
Трансформеры за последние несколько лет штурмом захватили мир NLP, а сегодня они с успехом применяются в выходящих за рамки NLP приложениях. Они обладают такими возможностями благодаря модулю внимания, который схватывает отношения между всеми словами последовательностей. Но…
Не думал, что мне еще раз придется возвращаться к теме собеседований, но похоже она меня преследует. Теперь уже на моем текущем месте работы HR внезапно выдали рекомендации:1. Проведение собеседований обязательно с включенной камерой2. Избегание типичных вопросов, чередование тем.3. Секция лайв-кодинга при проведении технических собеседований;4. Проведение мероприятий по выявлению читеров как апофеоз. Читать далее
На NLP/LLM собеседованиях часто проверяют не только знание архитектуры Transformer, но и понимание полного жизненного цикла современной LLM: как модель предобучается, почему обычная GPT-модель ещё не является удобным ассистентом, зачем нужен instruction tuning, как работает RLHF и что такое alignment,…