Nvidia DGX H100 Service Manual

15.3 Prepare the System for Replacement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
15.4 Remove the PCI Ethernet Card . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
15.5 Remove the ConnectX Card . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
15.6 Remove an IPEX Cable . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
15.7 Replace the Battery . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
15.8 Insert an IPEX Cable . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
15.9 Install ConnectX Card . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
15.10 Install the PCI Ethernet Card . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
15.11 Power On the System and Conrm Replacement . . . . . . . . . . . . . . . . . . . . . . . . 95
16 Trusted Platform Module Replacement 97
16.1 Trusted Platform Module Replacement Overview . . . . . . . . . . . . . . . . . . . . . . . . 97
16.2 Prepare the System for Replacement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
16.3 Replace the TPM Module . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
16.4 Install OSFP Carrier Module . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
16.5 Finalize TPM replacement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
17 Removing and Attaching the Bezel 103
17.1 Bezel Removal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
17.2 Bezel Installation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
18 Rack Mount Kit Replacement 107
18.1 Rack Mount Kit Description . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
18.2 Remove Rack Mount Kit - Front Rack . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
18.3 Remove Rack Mount Kit - Rear . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
18.4 Conrm Necessary Screws and Washers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
18.5 Install Cage Nuts Using Template . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
18.6 Install Rack Mount Kit - Front . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
18.7 Install Rack Mount Kit - Rear . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
19 Safety 117
19.1 Safety Information . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
19.2 Safety Warnings and Cautions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
19.3 Intended Application Uses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
19.4 Site Selection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
19.5 Equipment Handling Practices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
19.6 Electrical Precautions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
19.6.1 Power and Electrical Warnings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
19.6.2 Power Cord Warnings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
19.7 System Access Warnings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
19.8 Rack Mount Warnings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
19.9 Electrostatic Discharge . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
19.10 Other Hazards . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
19.10.1 CALIFORNIA DEPARTMENT OF TOXIC SUBSTANCES CONTROL . . . . . . . . . . . . . 122
19.10.2 NICKEL . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
19.10.3 Battery Replacement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
19.10.4 Cooling and Airow . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
20 Compliance 125
20.1 United States . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
20.2 United States/Canada . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
20.3 Canada . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
20.4 EU . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
20.5 Australia and New Zealand . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127
20.6 Brazil . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127
iii

Nvidia DGX H100 Specifications

General

GPU	8x NVIDIA H100 Tensor Core GPUs
GPU Memory	640 GB HBM3 (80GB per GPU)
System Memory	2 TB DDR5
Form Factor	6U rackmount
Storage	30TB NVMe SSD
Power Supply	10kW
Interconnect	NVLink 4.0