NTB调试常见问题指南

NTB调试常见问题指南

做为实现不一样PCI域乃至跨节点数据传输的重要器件，NTB在服务器和存储领域实现双控、内存互访等方面发挥着重要的做用。因为它自己既做为virtual port出现，又能够被互联的结点经过pci scan看到，做为一个link port出现，加之其上实现的地址转换和转发功能，在实际工程项目中，不免会碰到各类问题。本文结合笔者最近的工做，分享了NTB调试过程当中常见的问题和解决思路和办法。

从问题的现象来看，具体常见问题包括：

找不到NTB设备；

NTB mailbox没法传送数据；

ReqID 没法探测到；

NTB bar size 不够大;

数据传输出错

根据问题发生所在的PCIE相关的软硬件层次，这些问题又能够概括为下面的几类：

硬件故障；

固件故障；

PCIE 设置错误；

程序错误。

下面针对上面列举出来的几种现象，逐一进行分析和讨论：

找不到NTB设备

这种状况下，运行应用程序的时候可能会发现用刀的库中会提示找不到设备，程序出错或者退出。此时，能够首先经过lspci看看可否扫描到NTB设备，若是找不到就说明系统没有发现NTB硬件，此时须要检查NTB的EEPROM是否已经使能NTB，以及板卡上是否有disable/enable NTB的跳线，若是有则还须要坚持它是否已经disable。若是设备存在，而且可以被lspci扫描到，可是应用程序就是提示看不到设备，须要检查设备驱动是否加载成功。此时，能够经过从新加载NTB设备驱动程序去解决。

二、NTB mailbox register没法传送数据

根据NTB的使用说明，通常而言，NTB的mailbox和doorbell寄存器用来在多个节点之间传递信息进而实现上层的同步。若是出现doorbell /mailbox寄存器读回来的数是0xffffffff的话，那么须要检查映射doorbell/mailbox寄存器的bar0/1的设置是否正确。方法是经过lspci读出bar0/1的值，检查它是否和BIOS给它分配的物理地址一致。

三、ReqID没法探测到

具体的现象以下面的输出所示意：

Communicating from          : VIRTUAL side

Determine NT connect type   : Standard (NTV <---> NTL)

Get BAR 2 properties       : Ok (Size:2048 KB)

Map BAR 2 to user space    : Ok (VA:0x7f5c1801d000)

Probe for write ReqID      : ERROR: Unable to probe ReqID, auto-add 0,0,0

Add write Req ID to LUT    : ERROR: Unable to add LUT entry

Allocate PCI buffer        : Ok (PCI:3638A000  Size:1000 B)

Map PCI buffer             : Ok (VA:0x7f5c18d01000)

ReqID是用来记录发出PCIE TLP请求的device的B：Ｄ：Ｆ，若是是由cpu发起的访问，那么它一般用北桥root cmplex的B:D:F来表示,若是是ＤＭＡ发起来的访问，那么它应该由发起访问的DMA的Ｂ：Ｄ：Ｆ去表示。在应用程序中，能够经过出发一条特殊的TLP，而后根据报文协议，来提取它的B:D:F，进而获得它的ReqID。　一旦出现这种ReqID没法探测的状况，须要检查用到的bar2/bar3或者bar4/bar5的基地址寄存器设置是否正确，检查它的方法也是判断bar的基地址寄存器的值是否和ＢＩＯＳ分配的地址一致。

４、用在地址转换的bar size不够大

受限于BIOS和ＥＥＰＲＯＭ设置，用做地址转换的bar size是固定的，对于实现全系统内存共享或者大地址互相访问的应用而言，这个地址窗口可能过小。为此，就须要把地址调大。

首先，这须要ｂｉｏｓ给pci设备分配地址空间的时候，　可以支持足够大的空间范围，为此，须要确保ＢＩＯＳ里一些相关的设置已经使能，以笔者手中的ｂＩＯＳ为例，它就须要使能56T以上的PCI地址空间，以下图所示意：

其次，还须要修改用做地址转换的bar的setup寄存器的值，这就须要查找手册，根据寄存中bitmap和mask的设置，来设置足够大的地址空间。须要注意的是，这个地址也不能超过BIOS所能支持的最大地址空间，不然极可能致使在系统pci emulate的时候由于没法分配到足够的地址空间而hang住。若是在某组地址转换寄存器上没法实现窗口扩大的话，能够尝试其余地址窗口。好比笔者手上的bar2/bar3的窗口大小只有1M，可是经过观察/proc/iomem的输出，能够看到bar4/bar5的窗口足足有8G:

380000000000-383fffffffff : PCI Bus 0000:00

383c00000000-383e001fffff : PCI Bus 0000:04

  383c00000000-383e001fffff : PCI Bus 0000:05

    383c00000000-383e001fffff : PCI Bus 0000:06

      383c00000000-383dffffffff : 0000:06:00.0

      383e00000000-383e000fffff : 0000:06:00.0

加载对应的NTB驱动后，果真也能看到这个大窗口：

[86764.073933] LPC6500_NT:    Resource 01

[86764.073935] LPC6500_NT:      Type     : Memory

[86764.074004] LPC6500_NT:      PCI BAR 2: 383E0000000C

[86764.074006] LPC6500_NT:      Phys Addr: 383E00000000

[86764.074008] LPC6500_NT:      Size     :   200000 (2048 KB)

[86764.074010] LPC6500_NT:      Property : Prefetchable 64-bit

[86764.074206] LPC6500_NT:      Kernel VA: ffffc90017700000

[86764.074208] LPC6500_NT:    Resource 02

[86764.074209] LPC6500_NT:      Type     : Memory

[86764.074279] LPC6500_NT:      PCI BAR 4: 383C0000000C

[86764.074281] LPC6500_NT:      Phys Addr: 383C00000000

[86764.074283] LPC6500_NT:      Size     : 200000000 (8388608 KB)

[86764.074285] LPC6500_NT:      Property : Prefetchable 64-bit

[86764.487186] LPC6500_NT:      Kernel VA: ffffc90017e81000

[86764.487189] LPC6500_NT: Using PCI BAR 0 (VA=ffffc90016c80000) ==> PLX regs

根据上面的分析能够看到，NTB调试过程当中，可能会碰到各类奇怪的问题，但万变不离其宗，只要把握住了NTB地址转换和数据传输的原理，总不难逐层分析出问题的根源，找到对应的解决办法。