【56】linux NTB 的测试工具

深藏阁楼爱情的钟 2023-07-09 02:10 31阅读 0赞

https://www.kernel.org/doc/html/latest/driver-api/ntb.html  
https://github.com/jonmason/ntb/wiki/Linux-NTB-HOWTO-build-and-install  
https://github.com/jonmason/ntb/wiki/Linux-NTB-HOWTO-test  
https://www.kernel.org/doc/html/latest/driver-api/ntb.html  
1、NTB的概念和作用  
  NTB全称non transparent bridge，是相对于transparent bridge来说的。简单说就是枚举的时候，到了NTB这个桥时，枚举事务就结束了，也就是该桥对于枚举事务不再透明了（说白了就是PCI域隔离）。主要作用：用来连接两个或者多个分离的memory系统（说白了就是地址转换）。现在的NTB的支持两个通用特性：doorbell reg和memory地址转换窗口，还有一些不通用的特性：scratchpad和message寄存器。  
  Scratchpad寄存器是一个EP两端都可以读写的寄存器，可以用让对端设备和本段设备交换少量信息。  
  Message寄存器也可以用来做同样的事情。  
这两种寄存器提供了特殊的mask bit来防止信息被对端设备重写（也就是说同一时间只能有一端写）。  
  Doorbell reg用让对控给本控发送中断（主要用来IO到达时，及时通知本控接收数据）。  
  Memory windows寄存器用来translate 对对控内存的读写请求。  
2、linux NTB driver软件栈  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg_size_16_color_FFFFFF_t_70]  
  上图可以看到linux NTB的软件栈，hardware目录是各个厂商具体的实现方式，NTB抽象出一个概念：ntb\_dev，所有的hardware厂商要注册对应的OPS到ntb\_dev->ops，这样可以提供统一的API，上层driver是看不到底层硬件具体操作（这种抽象是linux的核心思想，否者linux根本玩不转这么多硬件）。  
3、NTB的测试工具  
  linux kernel在drivers\\ntb\\test提供了三个测试工具：ntb\_tool、ntb\_pingpong、ntb\_perf

3.1 NTB pingpong测试原理  
  pingpong测试的原理很简单，ntb\_pingpong.ko加载后会注册ntb\_client pp\_client。  
pp\_link\_event-> pp\_setup建立好pingpong数据结构，选择使用哪个port，选择doorbell哪写bit，然后挂上hrtimer pp\_timer\_func。  
  本控Ping操作：  
pp\_timer\_func–>pp\_ping，把计数写对端的scratch reg，然后写doorebell request reg来触发对端产生doorbell中断，最后写doorbell mask reg 来enable本端的doorbell中断。  
  对控Pong操作：  
中断服务函数：ndev\_interrupt-> ntb\_db\_event-> pp\_db\_event-> pp\_pong。会读取scratchreg（其实就是对端写过来的计数），然后增加该计数，并写doorbell mask reg来禁止本端的doorbell中断，写 doorbell status 来清除本端的doorbell中断。最后挂hrtimer pp\_timer\_func，等待ping的爆发。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg_size_16_color_FFFFFF_t_70 1]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg_size_16_color_FFFFFF_t_70 2]  
3.2. NTB perf原理  
  ntb perf是使用CPU或者DMA通过NTB往对控搬移数据。  
默认是使用cpu搬运数据，如果想使用DMA搬运数据需要制定模块参数use\_dma为1：insmod ntb\_perf.ko dyndbg=+p use\_dma=1  
  注意：ntb\_perf的状态机写的比较土，**必须两控同时加载ntb\_perf.ko**(可以使用secureCRT或者xshell发送交互命令到所有对话让两控同时加载)，否者必然有一控的状态机走不完。使用DMA搬运数据的代码写错了，导致填写到描述符的目的地址是个非法地址，DMA无法使用。  
解决目的地址非法的patch见  
https://lore.kernel.org/patchwork/patch/1156715/  
增加定位信息的patch见  
https://lore.kernel.org/patchwork/patch/1168668/  
怎么把patch合并到自己的代码中见：  
https://blog.csdn.net/linjiasen/article/details/85262213

使用CPU搬运数据的数据流如下，下图只是画了从主控到从控的数据流，从从控到主控的数据流也是一样的，只是CPU换成从控的CPU，地址映射使用的是从端的XLAT映射主控内存。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg_size_16_color_FFFFFF_t_70 3]  
  使用DMA搬运数据的数据流如下，下图只是画了从主控到从控的数据流，从从控到主控的数据流也是一样的，只是DMA换成从控的NTBCCP，地址映射使用的是从端的XLAT映射主控内存。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg_size_16_color_FFFFFF_t_70 4]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200227111435491.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200514145838708.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200514145905488.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20200227113619366.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20200227113734820.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpbmppYXNlbg==,size_16,color_FFFFFF,t_70