Главный страх любого инженера ошибка CUDA Out of Memory. Мы выстраиваемся в очереди за H200 на 140 ГБ. Но как только мы спускаемся с уровня Python на уровень написания кастомных ядер, наступает великая ирония. Наша главная цель как оптимизаторов любой ценой избежать обращения к этой самой VRAM. В этой статье мы поговорим о физике видеокарт, "Стене Памяти" и о том, почему настоящие нейросети живут в регистрах, а VRAM это просто холодный склад. Читать далее
Вскоре после создания специальной теории относительности было разобрано до косточек большое число 'парадоксов' - парадоксов в кавычках, потому что парадоксами они были только для нашего 'здравого смысла', который натренирован на классической ньютоновской механике, которая прошита в нашем мозжечке. Парадокс близнецов, парадокс карандаша и пенала, итд.Но есть еще один парадокс, парадокс Белла (того самого, чьим именем названо неравенство квантовой механики). Он интересен тремя моментами: Читать далее
Привет! Я решил проверить парадокс дней рождений на данных, которые доступны из ВК. Что такое парадокс дней рождений? Попробуйте ответить на вопрос: Какое количество людей в комнате необходимо, чтобы у двух людей были одинаковые дни рождения с вероятностью 0.5? (дата и месяц). Парадокс дней рождений отвечает на этот вопрос. Читать дальше →
Однажды Великий Ктулху решил создать жизнь. И стал он думать, как ее создать. Вы спросите, а чем думал Великий Ктулху, когда решил создать жизнь. Он думал всем! Ведь все есть Великий Ктулху и Великий Ктулху есть все. Поэтому он всем и думал. Писать отдельный скрипт под жизнь было…