浅析PCI配置空间

朱雀 2022-06-03 02:23 594阅读 0赞

在PCIe的拓扑结构中，最多支持256个Bus, 每条Bus最多支持32个Device，每个Device最多支持8个Function，所以，由Bus:Device:Function(BDF)构成了每个Function的唯一的"身份证号". 如下图，一个简单的PCIe拓扑结构中BDF分布：

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1][]

那么，这么多的Function，Host怎么知道他们具有什么本领？答案是，每个Function都有一个大小为4KB的configuration space。在系统上电的过程中，在枚举整个PCI Bus之后，就会将所有的BDF的configuration space读到Host内存中。在Host内存中有一个大小256MB的Memory Block, 专门用来存放所有的configuration space.

> 为什么是256MB？我们计算一下：256(Bus)\*32(Dev)\*8(Func)\*4KB=64\*1024\*4KB=256MB.  
>

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 1][]

其中，Host Bridge对应的是256MB Memory Block的起始地址，其他Bridge、Dev按照顺序往后排序。

那么， 问题又来了，每个Function对应的4KB configuration space长什么样子呢？如何解析？看下图：

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 2][]

从上图的4KB configuration space可以看到，主要有3部分构成：

>  *  Byte 0~63: 这64B代表的是PCI配置Header;  
>     
>  *  Byte 64~255: 这192B代表的是PCI Capability Structures，这部分会记录对应Function所具备的技能；
>  *  Byte 256~4095: 这3840B代表是PCIe扩展配置空间。
> 
> 注：本文我们重点提一下前0~255B的内容，PCIe扩展空间不再展开阐述。

PCI配置Header具有固定的格式，主要有两种：Type0和Type1。Type0主要用于获取Endpoint的Configuration Space。Type1主要用于获取Switch或者Bridge的Configuration Space.

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 3][]

想要更进一步了解PCIe Endpoint或者Bridge所具备的技能(Capability)，怎么办？方法如下：

(1) 检查PCI Header中Byte6 Bit\[4\] Capabilities List Bit是否置起来；

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 4][]

(2) 结合PCI Header的Byte\[34\] Capability Pointer寻址；

在每一个Capability Structure offset byte0代表这个Capability ID，offset byte1则指向下一个Capability Structure, 依次寻址，直至Capability Pointer=0. 如下图：

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 5][]

在PCI/PCIe系统中，总共定义了17种Capability ID(如下图)，其实，在我们平时使用NVMe SSD过程中，主要关注4个就可以了：01,05,10,11.

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 6][]

Capability ID=01, Power Management Capability Structure定义如下：

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 7][]

Capability ID=05, MSI Capability Structure定义如下：

在PCIe总线中，MSI中断机制使用Memory Write TLP向处理提交中断请求。PCIe设备提交MSI中断请求时，需要向MSI Capability结构中的Message Address的地址写入Message Data数据。根据Address的长度(32位或者64位)以及是否Mask中断向量，MSI Capability结构分为四类如下图：

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 8][]

Capability ID=10, PCIe Capability Structure定义如下：

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 9][]

Capability ID=11, MSI-X Capability Structure定义如下:

MSI-X与MSI的机制基本相同，不过，MSI中断机制最多支持32个中断请求，并且要求中断向量连续。而MSI-X中断机制可以支持2048个中断请求，并且不要求中断向量连续。与MSI Capability寄存器相比，MSI-X Capability寄存器使用了一个数组存放Message Address字段和Message Data字段，而不是将这两个字段放入Capability寄存器中，这个数组称为MSI-X Table。所以，MSI-X Capability寄存器比MSI Capability寄存器要小，具体格式如下图，

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 10][]

了解了上面这些概念之后，在Linux系统下用lspci -xx/-xxx/-xxxx命令获取Configuration Space之后，我们就可以直接解析了. 在这里，请不要告诉我lspci -vvv命令可以直接读到Configuration Space解析之后的内容。我只想静静地自娱自乐！

(1) 先通过lspci命令读到Endpoint NVMe SSD对应的4KB configuration space前256B的内容(如下图)。其中，PCI Configuration Header Space采用Type 0。

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 11][]

注：Byte0~3代表了Device ID和Vendor ID，为了避免争议，我用AA，BB，CC , DD取代了原本内容。

(2) 根据前面介绍的定义，开始解析这个256B的内容：

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 12][]

> 声明：文中采用的图片中，一部分来自Mindshare和PCIe 3.0 Spec！

精彩推荐:

*  [步入新时代 | PCIe 4.0带来了哪些惊喜？][_ PCIe 4.0]
 *  [PCIe SSD飞入寻常百姓家靠什么？][PCIe SSD]  
    
 *  [SCM+MLC/TLC NAND混合SSD性能探究][SCM_MLC_TLC NAND_SSD]  
    
 *  [浅析企业级SSD Multi-Stream Write技术][SSD Multi-Stream Write]  
    
 *  [企业级SSD发展趋势][SSD]  
    
 *  [2D NAND和3D NAND横向对比][2D NAND_3D NAND]  
    
 *  [第二代3D TLC NAND原厂级深度评测][3D TLC NAND]
 *  [为QLC保驾护航 | 慧荣科技亮出最新LDPC技术][QLC_ _ _LDPC]
 *  [SSD固态硬盘接口种类多，你了解多少？][SSD 1]  
    
 *  [写放大机制与影响因素详解][Link 1]
 *  [详解SSD之垃圾回收GC][SSD_GC]
 *  [SSD为什么需要Trim？][SSD_Trim]  
    
 *  [OP详解: 谁“偷”走了SSD的容量？][OP_ _SSD]
 *  [SSD性能优化之4K对齐][SSD_4K]
 *  [文件系统全记录回顾][Link 2]  
    
 *  [快来看，SATA秘籍惊现江湖！！！][SATA]
 *  [PCIe最全科普贴流出！不说了，赶快Mark！][PCIe_Mark]
 *  [独家发布 | Linux NVMe Driver学习笔记大合集][_ Linux NVMe Driver]  
    
 *  [存储随笔《NVMe专题》大合集及PDF版正式发布！][NVMe_PDF]

更多精彩内容，敬请关注头条号【存储随笔】获取更多活动内容。

# 同时，也可以关注[微][Link 3]信公众号: 存储随笔，Memory-logger.  #

![SouthEast][]

[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1]: /images/20220603/a7aa9e9f1350437bb20f0ee9a7d6627b.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 1]: /images/20220603/c33201d57def4cb49eec95e65c323e5b.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 2]: /images/20220603/cf4a0bd1ed8c42888e44ef24fb49151b.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 3]: /images/20220603/8696f9ac15b147038937bac0cd19e245.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 4]: /images/20220603/c646e426b21b444f9ee8c6c2b1aa3d5f.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 5]: /images/20220603/5067ac106a354c57a8cba6c0bfd4f96f.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 6]: /images/20220603/f9aaf3a198474094b22cb5ab06311d52.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 7]: /images/20220603/723eac7dc8234590a888ffa586c28b97.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 8]: /images/20220603/67dac372b7234675954f1fe53cbc87ad.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 9]: /images/20220603/0c372df0fe7247599079fde5a7418084.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 10]: /images/20220603/dcb9b2c3fc864250941684b5e9990005.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 11]: /images/20220603/410dd35bb52e4a79915f6cda6298cc52.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 12]: /images/20220603/60d34e2dc3c84dcdb5049435347fafa1.png
[_ PCIe 4.0]: http://mp.weixin.qq.com/s?__biz=MzIwNTUxNDgwNg==&mid=2247484818&idx=1&sn=9a70c7831effea2df5076b4770f2f0d9&chksm=972ef4cba0597dddcd2c79811880759190a7fde5adcbd96184e5970b6e32a406425e794c4ea4&scene=21#wechat_redirect
[PCIe SSD]: http://mp.weixin.qq.com/s?__biz=MzIwNTUxNDgwNg==&mid=2247484750&idx=1&sn=9907280aa354260b49a1fc69a12cad7d&chksm=972ef417a0597d01b75a85af61175f04e1ed5c693684daec19ffc1e1a831b1e59a417d1a1b1a&scene=21#wechat_redirect
[SCM_MLC_TLC NAND_SSD]: http://mp.weixin.qq.com/s?__biz=MzIwNTUxNDgwNg==&mid=2247484629&idx=1&sn=71b5a506c12c6504b240e4185c8c33af&chksm=972ef58ca0597c9a40e792755bfb382a399f68e7589de7780a875b9f9e562bdcc468bba99ec7&scene=21#wechat_redirect
[SSD Multi-Stream Write]: http://mp.weixin.qq.com/s?__biz=MzIwNTUxNDgwNg==&mid=2247484600&idx=1&sn=d4f6b65efbfd5d3ef43ad98aa39a634f&chksm=972ef5e1a0597cf75b4cb2f41829005ad72a549958c22ce39355d3b8e00a42131ff7a8521e59&scene=21#wechat_redirect
[SSD]: http://mp.weixin.qq.com/s?__biz=MzIwNTUxNDgwNg==&mid=2247484599&idx=1&sn=4c9fd79dba8cf2b9f6c3a29f26056be6&chksm=972ef5eea0597cf8319a5717e4d79a2cf6dbc5ba727b2a19c66a50b95112d073b79112939e63&scene=21#wechat_redirect
[2D NAND_3D NAND]: http://mp.weixin.qq.com/s?__biz=MzIwNTUxNDgwNg==&mid=2247484482&idx=1&sn=58eec127e48d766f5d728c8eeca18d8d&chksm=972ef51ba0597c0d1677174c5118ac37e30cc2ccee51b3eebe349df1d8ee89c5f401aa312283&scene=21#wechat_redirect
[3D TLC NAND]: http://mp.weixin.qq.com/s?__biz=MzIwNTUxNDgwNg==&mid=2247484556&idx=1&sn=91cffd77a58e8089e615a573b52b7aac&chksm=972ef5d5a0597cc3377eba5b7a32b4e4e50c18ad844d22de2a1a3ec758e39229fa50e84cae53&scene=21#wechat_redirect
[QLC_ _ _LDPC]: http://mp.weixin.qq.com/s?__biz=MzIwNTUxNDgwNg==&mid=2247484571&idx=1&sn=3ed15cf84b0e8105b481d0d704de93d5&chksm=972ef5c2a0597cd4629124a88debdd1d932c1844483cf14050a1f4b65d344f2cd4ed17b666e9&scene=21#wechat_redirect
[SSD 1]: http://mp.weixin.qq.com/s?__biz=MzIwNTUxNDgwNg==&mid=2247483733&idx=1&sn=422dd9187ac79c43b6dd3627bae5b0ba&chksm=972ef00ca059791a30e7c6bd44e4a670e69f3f2a50b3bc8e320a6aec460deb60df570695d1b7&scene=21#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzIwNTUxNDgwNg==&mid=2247484525&idx=1&sn=00c313d29064a9458116fabc6d002b77&chksm=972ef534a0597c2264df88d3fd8c15d3ccbe33294f4f512be870b30f5cd02115ae5ac5dfe02f&scene=21#wechat_redirect
[SSD_GC]: http://mp.weixin.qq.com/s?__biz=MzIwNTUxNDgwNg==&mid=2247483752&idx=1&sn=a7a7209337cc5ef3d3ebefda2591bda0&chksm=972ef031a0597927f5af5c437354a933c04f224cf9f1a0a6f1939db45e7c3d58219442b2f0a4&scene=21#wechat_redirect
[SSD_Trim]: http://mp.weixin.qq.com/s?__biz=MzIwNTUxNDgwNg==&mid=2247483713&idx=1&sn=46cd747745744b91aa72c9a36498c0b9&scene=21#wechat_redirect
[OP_ _SSD]: http://mp.weixin.qq.com/s?__biz=MzIwNTUxNDgwNg==&mid=2247483683&idx=1&sn=d3cb7b4a444ca5ada9d518c57f07c534&scene=21#wechat_redirect
[SSD_4K]: http://mp.weixin.qq.com/s?__biz=MzIwNTUxNDgwNg==&mid=2247483732&idx=1&sn=e8f666496e12cdac227db7f8a399b09b&chksm=972ef00da059791bd7edf9d195e5d68f810602a3a681202575f9dc11e803ed30342b6f83194d&scene=21#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzIwNTUxNDgwNg==&mid=2247484486&idx=1&sn=f1917921241cafd83cf9ec3198dfaa2d&chksm=972ef51fa0597c097fdc9f522ecbd57a687bf4a6aa828ccb37d959a8138ed9e893d199580ef0&scene=21#wechat_redirect
[SATA]: http://mp.weixin.qq.com/s?__biz=MzIwNTUxNDgwNg==&mid=2247484134&idx=1&sn=7764b6f8f9b51c0f79108baa03d65735&chksm=972ef3bfa0597aa99a56b08c316bfed5428e31c965926eec1fe51587d0a76528ae37f3d03ad3&scene=21#wechat_redirect
[PCIe_Mark]: http://mp.weixin.qq.com/s?__biz=MzIwNTUxNDgwNg==&mid=2247484347&idx=1&sn=b2b1a1c818bf842ee361f09a630271eb&chksm=972ef2e2a0597bf433112814add8fdb44e3cb60bdf75f6fa58683fbc1fbd3f8b3be639962bd3&scene=21#wechat_redirect
[_ Linux NVMe Driver]: http://mp.weixin.qq.com/s?__biz=MzIwNTUxNDgwNg==&mid=2247484503&idx=1&sn=b11975186d4e647069d5341a4af705a7&chksm=972ef50ea0597c189cc458b60f6670c64968515537537dcada98359f64b3fa326c29ead8f330&scene=21#wechat_redirect
[NVMe_PDF]: http://mp.weixin.qq.com/s?__biz=MzIwNTUxNDgwNg==&mid=2247484399&idx=1&sn=9a7612489ba72d94e17304c7476d271f&chksm=972ef2b6a0597ba07c4dd45996602b9d891cc195478e3643b6bd32ff57c0b3f1c2f7ee98b69c&scene=21#wechat_redirect
[Link 3]: http://lib.csdn.net/base/wechat
[SouthEast]: /images/20220603/12006cd3145d402a82c01e49638d1484.png