Nvidia DGX H100 Service Manual

6.6 Next Steps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
7 U.2 NVMe Cache Drive Post-Installation Tasks 43
7.1 Recreating the Cache RAID 0 Volume . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
7.2 Returning the NVMe Drive . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
8 M.2 NVMe Boot Drive Replacement 45
8.1 M.2 NVMe Boot Drive Replacement Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
8.2 Identify the Failed M.2 NVMe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
8.3 Remove the M.2 Boot Drive Carrier . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
8.4 Remove the M.2 Drive . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
8.5 Replace the M.2 Drive . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
8.6 Install the M.2 Boot Drive Carrier and Close the System . . . . . . . . . . . . . . . . . . . . 51
8.7 Integrate the New Drive and Complete Installation . . . . . . . . . . . . . . . . . . . . . . . 53
9 M.2 Boot Drive Assembly Replacement 55
9.1 M.2 Boot Drive Riser Assembly Replacement Overview . . . . . . . . . . . . . . . . . . . . . 55
9.2 Preparing the System for Replacement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
9.3 Remove the M.2 Boot Drive Carrier . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
9.4 Install the M.2 Boot Drive Carrier and Close the System . . . . . . . . . . . . . . . . . . . . 58
9.5 Re-Install the System and Complete the Procedure . . . . . . . . . . . . . . . . . . . . . . . 60
10 DIMM Replacement 61
10.1 DIMM Replacement Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
10.2 Identifying the Failed DIMM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
10.3 Replacing the DIMM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
10.4 Finalize DIMM Replacement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
11 Network Interface Card Replacement 67
11.1 Network Card Replacement Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
11.2 Prepare the System for Replacement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
11.3 Remove the Non-Functional Card . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
11.4 Install the New Card and Close the Lock . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
11.5 Finalize the Network Interface Card Replacement . . . . . . . . . . . . . . . . . . . . . . . . 71
12 Updating the ConnectX-7 Firmware 73
13 ConnectX-7 I/O Replacement 75
13.1 ConnectX-7 I/O Card Replacement Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
13.2 Prepare the System for Replacement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
13.3 Remove the I/O Card above the ConnectX Card to be replaced . . . . . . . . . . . . . . . . 76
13.4 Remove the ConnectX Card . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
13.5 Remove an IPEX Cable . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
13.6 Insert an IPEX Cable . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
13.7 Install ConnectX Card . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
13.8 Install the I/O Card above the ConnectX Card . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
13.9 Power on the System and Conrm the Replacement . . . . . . . . . . . . . . . . . . . . . . 80
14 Front Console Board Replacement 81
14.1 Front Console Board Replacement Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
14.2 Front Console Board Replacement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
15 Motherboard Tray Battery Replacement 85
15.1 Motherboard Tray Battery Replacement Overview . . . . . . . . . . . . . . . . . . . . . . . . 85
15.2 Identify a Failed Battery . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
ii

Nvidia DGX H100 Specifications

General

GPU	8x NVIDIA H100 Tensor Core GPUs
GPU Memory	640 GB HBM3 (80GB per GPU)
System Memory	2 TB DDR5
Form Factor	6U rackmount
Storage	30TB NVMe SSD
Power Supply	10kW
Interconnect	NVLink 4.0