User’s Guide—25Gb Intelligent Ethernet Adapter
QL45212
ix BC0154503-00 C
Preparing the Ethernet Switch . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
Cisco Nexus 6000 Ethernet Switch . . . . . . . . . . . . . . . . . . . . . . 51
Dell Z9100 Ethernet Switch . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
Configuring RoCE on the Adapter for Windows Server . . . . . . . . . . . . . . . . 54
Configuring RoCE on the Adapter for Linux. . . . . . . . . . . . . . . . . . . . . . . . . 59
RoCE v2 Configuring for Linux . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
Identifying RoCE v2 GID Index or Address . . . . . . . . . . . . . . . . 59
Verifying RoCE v1 or v2 GID Index, and Address from
sys and class Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
Verifying RoCE v1 or v2 Functionality Through
perftest Applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
RoCE Configuration for RHEL. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
RoCE Configuration for SLES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
Verifying the RoCE Configuration on Linux . . . . . . . . . . . . . . . . . . . . . 65
VLAN Interfaces and GID Index Values . . . . . . . . . . . . . . . . . . . . . . . 68
7 iSCSI Extensions for RDMA
Configuring iSER for RHEL . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
Configuring iSER for SLES12 Linux. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
Optimizing Linux Performance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
Set CPUs to Maximum Performance Mode. . . . . . . . . . . . . . . . . . . . . 74
Set Kernel sysctl Settings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
IRQ Affinity Settings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
Block Device Staging. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
8 Troubleshooting
Troubleshooting Checklist . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
Verifying that Current Drivers are Loaded . . . . . . . . . . . . . . . . . . . . . . . . . . 78
Windows . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
Linux . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
Testing Network Connectivity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
Network Connectivity Testing for Windows . . . . . . . . . . . . . . . . . . . . . 79
Network Connectivity Testing for Linux . . . . . . . . . . . . . . . . . . . . . . . . 80
Microsoft Virtualization with Hyper-V . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
Linux. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
Miscellaneous. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
Collecting Debug Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81