NVIDIA Tesla H100 SXM5 80GB (Lenovo OEM) (арт. 900-21010-2700-030) — серверный GPU-ускоритель NVIDIA H100 в исполнении Lenovo OEM с интерфейсом SXM5 и 80 ГБ HBM3. Это флагман архитектуры Hopper — платформа для обучения LLM масштаба GPT-4, где Transformer Engine и NVLink 4.0 раскрывают потенциал суперкомпьютерного класса.

Применение и сценарии использования

Обучение больших языковых моделей

900-21010-2700-030 — самая производительная платформа для обучения LLM, поставляемая Lenovo. Transformer Engine автоматически выбирает оптимальную точность вычислений (FP8/FP16/BF16) для каждого слоя нейросети, ускоряя обучение в 30 раз по сравнению с V100.

Масштабируемый HPC-кластер

NVLink 4.0 со скоростью 900 ГБ/с объединяет несколько H100 в когерентное пространство с суммарной памятью вплоть до 640 ГБ HBM3 в рамках одного узла DGX H100. Задачи молекулярной динамики и климатического моделирования масштабируются линейно.

Конфиденциальные вычисления

Hopper — первое GPU-поколение с аппаратной изоляцией данных на уровне GPU. Организации в области здравоохранения, финансов и государственного сектора могут запускать ИИ-нагрузки с шифрованием, не раскрывая данные даже провайдеру инфраструктуры.

Технические характеристики

Комплектация и установка

Стандартная комплектация: видеоускоритель, переходной кабель питания (при наличии), документация.

Рекомендации по размещению

При установке убедитесь в наличии достаточного питания в системе и соответствии форм-фактора слота PCIe рабочей станции или сервера. Для пассивных серверных карт обязателен серверный корпус с принудительной вентиляцией.

Интеграция с инфраструктурой

Совместимость: Lenovo ThinkSystem SR680a V3; ThinkSystem SR685a V3; ThinkSystem SD665-N V3 (SXM5 платформа с жидкостным охлаждением Lenovo Neptune). Для виртуализации дополнительно необходимо лицензирование NVIDIA vGPU Software.

Преимущества решения

Вопросы и ответы

С какими серверами Lenovo совместима карта 900-21010-2700-030?

Карта совместима исключительно с серверами Lenovo ThinkSystem, оснащёнными разъёмом SXM5: SR680a V3, SR685a V3 и SD665-N V3. Стандартные PCIe-слоты не поддерживаются.

Зачем нужно жидкостное охлаждение?

При TDP 700 Вт пассивный радиатор H100 SXM5 требует высокоскоростного потока воздуха или жидкостного охлаждения. Lenovo Neptune обеспечивает прямое жидкостное охлаждение горячих компонентов без шума принудительной вентиляции.

Что такое Transformer Engine в H100?

Transformer Engine — специализированный блок внутри Tensor-ядра 4-го поколения, который динамически переключается между FP8 и FP16 при обучении трансформеров, обеспечивая высокую точность при вдвое большей скорости вычислений.

Поддерживает ли карта MIG?

Да, H100 поддерживает 2-е поколение MIG: один ускоритель можно разделить на до 7 изолированных инстансов с гарантированными ресурсами QoS для многопользовательской работы.

Чем H100 SXM5 лучше H100 PCIe?

SXM5 обеспечивает пропускную способность памяти 3,35 ТБ/с против 2 ТБ/с у PCIe-версии и поддерживает NVLink 900 ГБ/с против 600 ГБ/с. Разница особенно критична при обучении трансформеров с большими батчами.