Исследователи Sakana AI разработали Text-to-LoRA (T2L), гиперсеть, которая динамически генерирует веса Low-Rank Adaptation (LoRA) для больших языковых моделей на основе описаний целевых задач на естественном языке. Этот метод обеспечивает эффективную адаптацию без предварительной настройки (zero-shot), превосходя установленные базовые показатели и достигая производительности, сравнимой с тонко настроенными адаптерами на ранее не встречавшихся задачах. Читать далее
Одна из интересных технологий “интернета вещей” — сети Lora/LoraWAN, однако в рунете они практически не описаны. Пора восполнить этот пробел, и тем более интересно попробовать “вживую”, как это работает. Что такое LoRa? Это технология связи на большие (Long Range) расстояния,…
← Предыдущая глава | В чём секрет успеха трансформеров?В последние годы трансформеры стали самой успешной архитектурой нейронных сетей, особенно в задачах обработки естественного языка. Теперь они близки к тому, чтобы стать SOTA для задач компьютерного зрения тоже. Успех трансформеров обусловлен несколькими ключевыми факторами: их механизм внимания, возможность легкой параллелизации, предварительное обучение без учителя и большое количество параметров. Читать далее
Интерес к LoRa технологии возникает у разработчиков телеметрии для различных устройств: счетчики воды, автомобильные сигнализации, сельскохозяйственные технологии, наручные часы, трансиверы для авиамоделей и даже трансиверы для обмена текстовыми сообщениями среди Geek(ов). Могу поделиться результатами своей проверки дальности LoRa link(a). Разрабатываю firmware для микроконтроллерного устройства на оcнове чипа SX1262. Читать далее