最近屡次安装、使用infiniband网卡，每次都要处处寻找相关资料，因此决定作此总结，方便查找。node
1. 基础知识
首先，得了解什么是RDMA，贴几个资料：git
深刻浅出全面解析RDMAgithub
RDMA技术详解（一）：RDMA概述shell
RDMA技术详解（二）：RDMA Send Receive操做编程
而后得了解如何实现，这两个能够有个初步了解：ubuntu
RDMA read and write with IB verbscentos
编程过程，真正有用的仍是官方的手册：网络
RDMA Aware Networks Programming User Manualwordpress
mellanox官方社区能找到不少你须要的东西：
https://community.mellanox.com/s/
也下了个中文版，但我感受英文版看着更好。
中文版: https://pan.baidu.com/s/1BkbinPMy6fwN7J5BPFadDw 提取码: rm8i
RDMA编程入门可参考的项目：
https://github.com/tarickb/the-geek-in-the-corner
https://github.com/jcxue/RDMA-Tutorial
2. 驱动安装
-
下载驱动，进入网站选择相应系统和软件版本，archive versions这里能够下载旧版本驱动
http://www.mellanox.com/page/software_overview_ib
-
挂载或解压，若是下载的iso则挂载，如果tgz就解压，下面是挂载命令：
sudo mount -o ro,loop MLNX_OFED_LINUX-5.0-2.1.8.0-ubuntu16.04-x86_64.iso /mnt
-
安装
cd /mnt sudo ./mlnxofedinstall
可能会提示你安装一堆东西，复制，安装就能够了。
安装成功截图：
-
执行如下命令：
sudo /etc/init.d/openibd restart sudo /etc/init.d/opensmd restart
-
查看网卡状态：
sudo hca_self_test.ofed
没有 failed 就对了。
一些其它查看网卡信息的命令：
ibstat ibstatus ibv_devinfo ibv_devices #查看本主机的infiniband设备 ibnodes #查看网络中的infiniband设备
-
配置ip
-
ubuntu执行：
sudo vim /etc/network/interfaces
在文件中添加以下内容：
auto enp1s0 iface enp1s0 inet static address 172.16.0.104 netmask 255.255.255.0 broadcast 172.16.0.255
enp1s0是网卡名称，经过ifconfig查看，address是要给infiniband网卡配置的ip地址。
重启网络服务：
sudo service networking restart
-
centos执行：
sudo vim /etc/sysconfig/network-scripts/ifcfg-ib0
添加以下内容：
DEVICE=ib0 BOOTPROTO=static IPADDR=172.16.0.104 NETMASK=255.255.255.0 BROADCAST=172.16.0.255 NETWORK=172.16.0.0 ONBOOT=yes
重启网口：
sudo ifdown ib0 sudo ifup ib0
-
3. 性能测试
-
服务端运行：
ib_send_bw -a -c UD -d mlx4_0 -i 1
注意，参数 -i 指定端口，在一个网卡有多个网口的时候，须要指定测试的端口，具体哪一个端口，经过 ibstatus 能够看到。
-
客户端运行：
ib_send_bw -a -c UD -d mlx4_0 -i 1 172.16.0.102
最后面的ip地址是服务端infiniband网卡的ip地址。
-
其余测试项
ib_atomic_bw ib_atomic_lat ib_read_bw ib_read_lat ib_send_bw ib_send_lat ib_write_bw ib_write_lat
bw表示测试带宽，lat表示测试延迟，参数同上，能够i经过 --help 查看。
-
4. 其余问题
更换网卡工做模式：
有些网卡，当你安装好驱动后，经过 ibstatus 命令，会出现下面的状况：
能够看到，该网卡如今处于 Ethernet 的工做模式，若是想要切换成infiniband模式，参考以下连接：
https://community.mellanox.com/s/article/howto-change-port-type-in-mellanox-connectx-3-adapter
查看当前工做模式：
sudo /sbin/connectx_port_config -s
输入如下命令切换工做模式：
sudo /sbin/connectx_port_config
若是提示如图，说明不支持infiniband模式，不然，就切换成功了，再次使用一下命令能够验证：
sudo /sbin/connectx_port_config -s
不能切换到infiniband工做模式，并不表明不支持RDMA，处于Ethernet模式的网卡使用 RoCE 协议工做。
RDMA 协议：底层能够是以太网（ RoCE 或者 iWARP ）或者 Infiniband
有些网卡只支持Ethernet（RoCE），不支持Infiniband模式，也就是想从Ethernet切换到Infiniband模式时不能成功，这个要提早了解好。我目前了解到的，Connectx-3只支持Ethernet模式。