搜索
浅谈PCIExpress体系结构--序我以“浅谈”开始以下的文字，因为PCIe规范博大足使天下无书。正如大家所知，我之前写过一本《PCIExperss体系结构导读》，每次重温这本书籍时，总是遗憾着书中出现的错误。纸质的图书一旦出现问题，便很难有更改的余地。这一次我们不会再有这些遗憾。第I篇PCI体系结构概述PCI(PeripheralComponentInterconnect)总线的诞生与PC(PersonalComputer)的蓬勃发展密切相关。在处理器体系结构中，PCI总线属于局部总线(LocalBus)。局部总线作为系统总线的延伸，主要功能是为了连接外部设备。处理器主频的不断提升，要求速度更快，带宽更高的局部总线。起初PC使用8位的XT总线作为局部总线，并很快升级到16位的ISA(IndustryStandardArchitecture)总线，逐步发展到32位的EISA(ExtendedIndustryStandardArchitecture)、VESA(VideoElectronicsStandardsAssociation)和MCA(MicroChannelArchitecture)总线。PCI总线规范在上世纪九十年代提出。这条总线推出之后，很快得到了各大主流半导体厂商的认同，迅速统一了当时并存的各类局部总线。EISA、VESA等其他32位总线很快就被PCI总线淘汰了。从那时起，PCI总线一直在处理器体系结构中占有重要地位。在此后相当长的一段时间里，PC处理器系统的大多数外部设备都是直接或者间接地与PCI总线相连。即使目前PCIExpress总线逐步取代了PCI总线成为PC局部总线的主流，也不能掩盖PCI总线的光芒。从软件层面上看，PCIExpress总线与PCI总线基本兼容；从硬件层面上看，PCIExpress总线在很大程度上继承了PCI总线的设计思路。因此PCI总线依然是软硬件工程师在进行处理器系统的开发与设计时，必须要掌握的一条局部总线。PCI总线V1.0规范仅针对在一个PCB(PrintedCircuitBoard)环境内的，器件之间的互连，而1993年4月30日发布的V2.0规范增加了对PCI插槽的支持。1995年6月1日，PCIV2.1总线规范发布，这个规范具有里程碑意义。正是这个规范使得PCI总线大规模普及，至此PCI总线完成了对(E)ISA和MCA总线的替换。至1996年，VESA总线也逐渐离开了人们的视线，当然PCI总线并不能完全提供显卡所需要的带宽，真正替代VESA总线的是AGP总线。随后PCISIG(PCISpecialInterestGroup)陆续发布了PCI总线V2.2，V2.3规范，并最终将PCI总线规范定格在V3.0。除了PCI总线规范外，PCISIG还定义了一些与PCI总线相关的规范，如PCMCIA(PersonalComputerMemoryCardInternationalAssociation)规范和MiniPCI规范。其中PCMCIA规范主要针对Laptop应用，后来PCMCIA升级为PCCard(Cardbus)规范，而PCCard又升级为ExpressCard规范。PCCard规范基于32位，33MHz的PCI总线；而ExpressCard规范基于PCIExpress和USB2.0。这两个规范都在Laptop领域中获得了成功。除了PCMCIA规范外，MiniPCI总线也非常流行，与标准PCI插槽相比，MiniPCI插槽占用面积较小，适用于一些对尺寸有要求的应用。除了以上规范之外，PCISIG还推出了一系列和PCI总线直接相关的规范。如PCI-to-PCI桥规范、PCI电源管理规范、PCI热插拔规范和CompactPCI总线规范。其中PCI-to-PCI桥规范最为重要，理解PCI-to-PCI桥是理解PCI体系结构的基础；而CompactPCI总线规范多用于具有背板结构的大型系统，并支持热拔插。PCISIG在PCI总线规范的基础上，进一步提出PCI-X规范。与PCI总线相比，PCI-X总线规范可以支持133MHz、266MHz和533MHz的总线频率，并在传送规则上做了一些改动。虽然PCI-X总线还没有得到大规模普及就被PCIExpress总线替代，但是在PCI-X总线中提出的许多设计思想仍然被PCIExpress总线继承。PCI总线规范是Intel对PC领域做出的一个巨大贡献。Intel也在PCI总线规范留下了深深的印记，PCI总线规范的许多内容都与基于IA(IntelArchitecture)架构的x86处理器密切相关。但是这并不妨碍其他处理器系统使用PCI总线，事实上PCI总线在非x86处理器系统上也取得了巨大的成功。目前绝大多数处理器系统都使用PCI/PCIExpress总线连接外部设备，特别是一些通用外设。随着时间的推移，PCI和PCI-X总线逐步遇到瓶颈。PCI和PCI-X总线使用单端并行信号进行数据传递，由于单端信号容易被外部系统干扰，其总线频率很难进一步提高。目前，为了获得更高的总线频率以提高总线带宽，高速串行总线逐步替代了并行总线。PCIExpress总线也逐渐替代PCI总线成为主流。但是从系统软件的角度上看，PCIExpress总线仍然基于PCI总线。理解PCIExpress总线的一个基础是深入理解PCI总线，同时PCIExpress总线也继承了PCI总线的许多概念。本篇将详细介绍与处理器体系结构相关的，一些必备的PCI总线知识。为简化起见，本篇主要介绍PCI总线的32位地址模式。在实际应用中，使用64位地址模式的PCI设备非常少。而且在PCIExpress总线逐渐取代PCI总线的大趋势之下，将来也很难会有更多的，使用64位地址的PCI设备。如果读者需要掌握PCI总线的64位地址模式，请自行阅读PCI总线的相关规范。实际上，如果读者真正掌握了PCI总线的32位地址模式之后，理解64位地址模式并不困难。为节省篇幅，下文将PCIExpress总线简称为PCIe总线，PCI-to-PCI桥简称为PCI桥，PCIExpress-to-PCI桥简称为PCIe桥，Host-to-PCI主桥简称为HOST主桥。值得注意的是许多书籍将HOST主桥称为PCI主桥或者PCI总线控制器。第1章PCI总线的基本知识PCI总线作为处理器系统的局部总线，主要目的是为了连接外部设备，而不是作为处理器的系统总线连接Cache和主存储器。但是PCI总线、系统总线和处理器体系结构之间依然存在着紧密的联系。PCI总线作为系统总线的延伸，其设计考虑了许多与处理器相关的内容，如处理器的Cache共享一致性和数据完整性，以及如何与处理器进行数据交换等一系列内容。其中Cache共享一致性和数据完整性是现代处理器局部总线的设计的重点和难点，也是本书将重点讲述的主题之一。独立地研究PCI总线并不可取，因为PCI总线仅是处理器系统的一个组成部分。深入理解PCI总线需要了解一些与处理器体系结构相关的知识。这些知识是本书所侧重描述的，同时也是PCI总线规范所忽略的内容。脱离实际的处理器系统，不容易也不可能深入理解PCI总线规范。对于今天的读者来说，PCI总线提出的许多概念略显过时，也有许多不足之处。但是在当年，PCI总线与之前的存在其他并行局部总线如ISA、EISA和MCA总线相比，具有许多突出的优点，是一个全新的设计。(1)PCI总线空间与处理器空间隔离PCI设备具有独立的地址空间，即PCI总线地址空间，该空间与存储器地址空间通过HOST主桥隔离。处理器需要通过HOST主桥才能访问PCI设备，而PCI设备需要通过HOST主桥才能主存储器。在HOST主桥中含有许多缓冲，这些缓冲使得处理器总线与PCI总线工作在各自的时钟频率中，彼此互不干扰。HOST主桥的存在也使得PCI设备和处理器可以方便地共享主存储器资源。处理器访问PCI设备时，必须通过HOST主桥进行地址转换；而PCI设备访问主存储器时，也需要通过HOST主桥进行地址转换。HOST主桥的一个重要作用就是将处理器访问的存储器地址转换为PCI总线地址。PCI设备使用的地址空间是属于PCI总线域的，而与存储器地址空间不同。x86处理器对PCI总线域与存储器域的划分并不明晰，这也使得许多程序员并没有准确地区分PCI总线域地址空间与存储器域地址空间。而本书将反复强调存储器地址和PCI总线地址的区别，因为这是理解PCI体系结构的重要内容。PCI规范并没有对HOST主桥的设计进行约束。每一个处理器厂商使用的HOST主桥，其设计都不尽相同。HOST主桥是联系PCI总线与处理器的核心部件，掌握HOST主桥的实现机制是深入理解PCI体系结构的前提。本书将以Freescale的PowerPC处理器和Intel的x86处理器为例，说明各自HOST主桥的实现方式，值得注意的是本书涉及的PowerPC处理器仅针对Freescale的PowerPC处理器，而不包含IBM和AMCC的Power和PowerPC处理器。而且如果没有特别说明，本书中涉及的x86处理器特指Intel的处理器，而不是其他厂商的x86处理器。(2)可扩展性PCI总线具有很强的扩展性。在PCI总线中，HOST主桥可以直接推出一条PCI总线，这条总线也是该HOST主桥的所管理的第一条PCI总线，该总线还可以通过PCI桥扩展出一系列PCI总线，并以HOST主桥为根节点，形成1颗PCI总线树。这些PCI总线都可以连接PCI设备，但是在1颗PCI总线树上，最多只能挂接256个PCI设备(包括PCI桥)。在同一条PCI总线上的设备间可以直接通信，并不会影响其他PCI总线上设备间的数据通信。隶属于同一颗PCI总线树上的PCI设备，也可以直接通信，但是需要通过PCI桥进行数据转发。PCI桥是PCI总线的一个重要组成部件，该部件的存在使得PCI总线极具扩展性。PCI桥也是有别于其他局部总线的一个重要部件。在“以HOST主桥为根节点”的PCI总线树中，每一个PCI桥下也可以连接一个PCI总线子树，PCI桥下的PCI总线仍然可以使用PCI桥继续进行总线扩展。PCI桥可以管理这个PCI总线子树，PCI桥的配置空间含有一系列管理PCI总线子树的配置寄存器。在PCI桥的两端，分别连接了两条总线，分别是上游总线(PrimaryBus)和下游总线(SecondaryBus)。其中与处理器距离较近的总线被称为上游总线，另一条被称为下游总线。这两条总线间的通信需要通过PCI桥进行。PCI桥中的许多概念被PCIe总线采纳，理解PCI桥也是理解PCIe体系结构的基础。(3)动态配置机制PCI设备使用的地址可以根据需要由系统软件动态分配。PCI总线使用这种方式合理地解决了设备间的地址冲突，从而实现了“即插即用”功能。从而PCI总线不需要使用ISA或者EISA接口卡为解决地址冲突而使用的硬件跳线。每一个PCI设备都有独立的配置空间，在配置空间中含有该设备在PCI总线中使用的基地址，系统软件可以动态配置这个基地址，从而保证每一个PCI设备使用的物理地址并不相同。PCI桥的配置空间中含有其下PCI子树所能使用的地址范围。(4)总线带宽PCI总线与之前的局部总线相比，极大提高了数据传送带宽，32位/33MHz的PCI总线可以提供132MB/s的峰值带宽，而64位/66MHz的PCI总线可以提供的峰值带宽为532MB/s。虽然PCI总线所能提供的峰值带宽远不能和PCIe总线相比，但是与之前的局部总线ISA、EISA和MCA总线相比，仍然具有较大的优势。ISA总线的最高主频为8MHz，位宽为16，其峰值带宽为16MB/s；EISA总线的最高主频为8.33MHz，位宽为32，其峰值带宽为33MB/s；而MCA总线的最高主频为10MHz，最高位宽为32，其峰值带宽为40MB/s。PCI总线提供的峰值带宽远高于这些总线。(5)共享总线机制PCI设备通过仲裁获得PCI总线的使用权后，才能进行数据传送，在PCI总线上进行数据传送，并不需要处理器进行干预。PC