Производители ИИ-ускорителей продолжают увеличивать количество тензорных ядер и осваивать всё более короткие форматы данных, включая FP8 и FP4. Производительность вроде как растёт, причем впечатляющими темпами, но есть одна загвоздка. Вычислительные блоки нужно постоянно…
Две недели назад власти США запретили AMD и Nvidia поставлять в Россию и Китай современные GPU-ускорители. Правда, не все, а лишь те, что соответствуют определенным критериям производительности. Nvidia не сможет продавать в РФ и КНР ускорители серий A100 и H100. Ну а AMD придется отказаться от…
В течение последних трёх лет Nvidia создавала графические чипы, в которых помимо обычных ядер, используемых для шейдеров, устанавливались дополнительные. Эти ядра, называемые тензорными, уже есть в тысячах настольных PC, ноутбуков, рабочих станций и дата-центров по всему миру. Но…
Современные ML-системы опираются на CPU и ускорители — тензорные или графические. Но их производительность часто ограничена пропускной способностью шины между CPU и GPU: данные приходится постоянно перегонять туда-сюда, и выигрыш от ускорителя нередко тает.Что если есть…