Хотя еще с 2015 года Google TPU (Tensor Processing Unit) обеспечивает работу обширной империи из систем «глубокого обучения», об этом специальном процессоре известно очень мало. Однако не так давно веб-гигант опубликовал описание чипа и объяснил, почему он на порядок быстрее и энергоэффективнее,
В 2019 году Google, наконец, выпустила оборудование с TPU под брендом Coral, которое можно купить. Однако не такие мощные облачные сети для обучения типа BigGAN со своими 100 петафлопс/с, и даже не такие, как самые дешёвые 180 TFlop/s v2 TPU, которые можно арендовать за $4,5 в час. Эти TPU-устройства должны…
Недавний отчет Google об устройстве и назначении TPU позволяет сделать однозначный вывод — без ускоренных вычислений серьезное развертывание системы ИИ просто нецелесообразно. Большинство необходимых экономических вычислений во всем мире сегодня производится в мировых центрах
Каждое устройство Cloud TPU состоит из четырёх «чипов TPUv2». В чипе 16 ГБ памяти и два ядра, каждое ядро с двумя юнитами для умножения матриц. Вместе два ядра выдают 45 TFLOPS, в общей сложности 180 TFLOPS и 64 ГБ памяти на один TPU Большинство из нас осуществляет глубинное обучение на Nvidia GPU. В…