英伟达推出H200用于训练AI模型的最新高端芯片

“

Nvidia发布了新的H200 AI加速器，速度几乎翻倍，采用HBM3e内存。此外，云服务提供商将于明年提供H200实例，GH200超级芯片也将升级。Eos超级计算机将用于量子模拟研究。

Nvidia在SC23超级计算展上推出了全新的H200 AI加速器，因其更快的内存，据说可以将AI模型的推断速度几乎提高一倍。

Nvidia的H200是第一款采用快速HBM3e内存的GPU，提供了141GB的HBM3e， 相较于其前身H100的90GB的HBM2e以及带宽从3.35TB/秒提升至4.8TB/秒。这些性能提升大约是A100的2到2.5倍。

根据估计，H100 芯片的成本在 25,000 美元到 40,000 美元之间，需要数千个芯片一起工作才能在称为“训练”的过程中创建最大的模型。

H200 的关键改进在于它包含 141GB 的下一代“HBM3”内存，这将帮助芯片执行“推理”，或者在经过训练后使用大型模型来生成文本、图像或预测。

Nvidia 表示， H200 的输出速度几乎是 H100 的两倍。这是基于使用Meta的LLAMA2 大语言模型进行的测试。

预计从2024年第二季度开始，将提供搭载H200的系统和云实例，包括HGX H200系统。H200可以在多种数据中心环境中部署，包括本地、云端、混合云和边缘。

亚马逊网络服务（Amazon Web Services）、谷歌云（Google Cloud）、微软Azure和甲骨文云基础设施（Oracle Cloud Infrastructure）将成为首批于明年提供基于H200的云实例的云服务提供商。

H200 它是 GH200 中的 GPU，具有 144 GB HBM3e

此外，根据Nvidia的消息，H200 GPU还将于2024年开始提供给配备144GB内存版本的GH200 Grace Hopper超级芯片。GH200可直接将Nvidia的GPU连接到Nvidia的Grace CPU，而在最近发布的MLPerf基准测试版本3.1中，当前的GH200变体在训练AI模型时相较于H100表现出近17%的速度优势，该变体带宽较低，内存为96GB。

这一版本将在2024年被HBM3e版本替代。据公司表示，GH200芯片将用于全球40多台超级计算机，包括德国Jülich超级计算中心（JSC）和日本先进高性能计算中心等。

JUPITER 超级计算机使用 24,000 个 GH200

JSC还将运营基于GH200架构的JUPITER超级计算机，旨在加速气候和天气研究、材料科学、制药研究、工业工程和量子计算等领域的AI模型。JUPITER是首个使用Nvidia GH200 Grace Hopper超级芯片的四节点配置系统。

总共将安装近24,000个GH200芯片，使JUPITER成为全球最快的AI超级计算机。JUPITER预计将于2024年安装，并作为EuroHPC联合承诺计划的一部分建造的超级计算机之一。

此外，SC23还传来了关于Nvidia最近发布的Eos超级计算机的消息。德国化工公司巴斯夫计划使用EOS在Nvidia的CUDA Quantum平台上运行50量子位模拟。

目标是研究化合物NTA的性质，该化合物用于从城市废水中去除有毒金属。