龙芯X86处理器(GodsonX)的研究

1.        引言
根据摩尔定律，微处理器的速度每十年增长十倍以上，而常用存储器(DRAM)的访存时间却只是缩短到原来的一半。因此，相对于处理器 来说，访存延迟以每十年5倍的速度增长。从1986年到2000年，处理器速度的年增长率为55%，而存储器速度的年增长率仅为10%，按照这种速度推算可知，处理器与存储器以及通信性能上的差距不断增加，造成了系统结构的失衡，形成了阻碍性能提升的"内存墙"[1,2]。日益严峻的访存速度问题正在成为影响处理器性能的瓶颈，严重制约了处理器速度的进一步发展。

降低load-to-use延迟是提高处理器访存性能的关键，高速缓存cache的引入就是为了缓解这一问题[3,4]，通过位于处理器主流水线和存储器之间的这层存储逻辑，处理器可以在大多数情况下避免直接访问内存，提高了访存的性能，延缓了“内存墙”问题。目前几乎所有的主流通用处理器都在流水线中包含高速缓存逻辑，并且高速缓存逻辑往往被作为独立的流水级。在其他条件确定的情况下，增加访存通路的带宽是降低load-to-use延迟的最有效途径，但增加带宽意味着增加访存通路的逻辑复杂度，并且访存通路上的RAM逻辑都需要提供双端口。这些复杂度上的增加势必会增加访存通路的时延和功耗。
本文的工作立足于分析程序固有的访存特性，探索高带宽访存流水线的设计和优化空间。通过分析总结出程序访存行为的规律性，并根据这些规律性给出高带宽访存流水线的低复杂度、低延迟、低功耗的高带宽访存解决方案。本文的工作大大简化了高带宽访存流水线的设计，降低了关键路径的时延和功耗，被用于指导Godsonx处理器的访存设计（Godsonx是基于Godson2[5]设计的X86处理器）。采用优化高带宽访存设计后，相对原始的宽度为1的访存流水线，处理器的整体面积仅增加了1.7%，处理器的平均性能提高了8.6%。
本文首先介绍了高带宽访存流水线的相关研究，然后介绍了试验环境，并分别给出cache、TLB的优化策略，评价了改进后的性能提升，最后对全文工作进行了总结。
2.        相关研究
处理器设计者对性能的要求是无止境的，对指令级并行性的追求也不会停止，而片山存储系统是影响指令并行性开发的关键，因此对片上存储系统性能的要求也会持续。程序中大约有三分之一的指令是访存指令或者涉及访存操作[6]，对于4发射的超标量处理器来说，具有平均每拍处理两条访存操作的能力是必需的。面对这样的需求，在处理器中采用高带宽的访存流水线非常必要。这就要求采用多端口的Cache。Cache位于流水线的关键路径上并且逻辑复杂[7]，因此有必要研究一种简化的多端口Cache，同时满足对Cache带宽的要求。
目前，多端口Cache的设计方法主要有四种[8]：传统的复杂的理想多端口Cache，分时访问的多端口Cache，多份复制的单端口Cache组成的多端口Cache，以及采用多体交叉策略的多端口Cache。DEC Alpha 21264采用的是分时多端口Cache设计技术[9]，Cache的工作频率是其他流水级频率的两倍，在主流水线的一拍内可以先后处理两条访存操作，借此实现双端口的效果。随着处理器主频的不断提高，SRAM已经成为流水线时延的关键路径，这种策略已被淘汰。DEC Alpha 21164[10]采用的是由多份复制的单端口Cache组成的多端口Cache，使用两个内容完全相同的单端口Cache实现了双端口Cache。MIPS R10000采用了双体的DCache[3]。两个同时被处理的访存操作必须对应不同的体。对于比较平衡和调度良好的访存操作流，这种策略可以提供良好的访存并行性和较高的带宽，但如果访存操作流并不平衡，频繁发生的体冲突将严重影响访存的性能。虽然各项多端口Cache设计技术都有其缺点，多体交叉技术仍然是应付不断提高的指令级并行性的关键方法，目前主流的微处理器都倾向于采用这种策略[11,3]。
在主流的处理器的设计中，快速地址转换部件TLB(Translation Look aside Buffer)作为访存部分的核心部件，是流水线中不可或缺的一环[5,12,13]。为了降低访存延迟，主流处理器一般将cache和TLB放在相同的流水级，采用虚地址索引的cache，访存操作同时访问Cache和TLB[14,15]，所以高带宽的访存流水线设计同样会对TLB的设计产生影响。
随着多端口TLB在先进通用处理器中的应用，由高带宽的访存流水线带来的虚实地址转换压力得到了缓解，研究人员开始把越来越多的注意力放在多端口TLB的设计和优化上。[16]给出了一种L0 TLB的设计策略，整个L0 TLB只有一项，利用连续访存操作的页面局部性，简单的TLB结构可以同时处理多个访存操作的虚实地址转换，[17]中也介绍了相似的设计。[18]中介绍了selective filter-bank TLB，使用几个较小的缓冲区来处理大多数的访问，用以降低TLB的延迟。Kenneth Yeager介绍了另一种TLB结构，TLB中的一项被几个连续的页面公用，这种设计思路和MIPS处理器类似[19]。Interleaved TLB使用互连结构，根据不同的地址将多个虚实地址转换请求分配到多个bank[20]。
Cache、TLB是通用处理器访存流水线中最为核心的两个部件，这些部件的设计直接影响访存流水线的性能，后面会分别从单个部件的角度对高带宽访存流水线的优化进行研究。
3.        实验环境
本文的研究工作以Godsonx模拟器作为平台。Godsonx是一款4发射的超标量X86处理器。因为X86指令集缺乏结构寄存器[21]，X86程序中的很多临时数据往往需要借助内存来存放，并且参数传递大量依赖栈来完成，这些导致X86处理器的访存操作非常密集[6]，而Godsonx的原始设计中访存带宽为1，所以设计高带宽的访存通路对Godsonx来说尤其重要。
Godsonx模拟器是基于Godson2模拟器实现的，是一个完全兼容IA-32指令集的全系统信号级模拟器，详细模拟了真实处理器的所有结构细节，可以看成RTL代码的高级语言版本。表 1给出了Godsonx模拟器的详细配置。
本文使用SPEC CPU 2000程序作为分析对象。SPEC CPU 2000是用来测试CPU性能的标准测试程序组，其分值被认为是衡量处理器性能的一个标准[22]。本文设计中的时延、面积信息则是基于GodsonX的RTL代码，使用Synopsys的Design Compiler(2006.06 for amd64)软件完成。1.        引言
根据摩尔定律，微处理器的速度每十年增长十倍以上，而常用存储器(DRAM)的访存时间却只是缩短到原来的一半。因此，相对于处理器 来说，访存延迟以每十年5倍的速度增长。从1986年到2000年，处理器速度的年增长率为55%，而存储器速度的年增长率仅为10%，按照这种速度推算可知，处理器与存储器以及通信性能上的差距不断增加，造成了系统结构的失衡，形成了阻碍性能提升的"内存墙"[1,2]。日益严峻的访存速度问题正在成为影响处理器性能的瓶颈，严重制约了处理器速度的进一步发展。

降低load-to-use延迟是提高处理器访存性能的关键，高速缓存cache的引入就是为了缓解这一问题[3,4]，通过位于处理器主流水线和存储器之间的这层存储逻辑，处理器可以在大多数情况下避免直接访问内存，提高了访存的性能，延缓了“内存墙”问题。目前几乎所有的主流通用处理器都在流水线中包含高速缓存逻辑，并且高速缓存逻辑往往被作为独立的流水级。在其他条件确定的情况下，增加访存通路的带宽是降低load-to-use延迟的最有效途径，但增加带宽意味着增加访存通路的逻辑复杂度，并且访存通路上的RAM逻辑都需要提供双端口。这些复杂度上的增加势必会增加访存通路的时延和功耗。
本文的工作立足于分析程序固有的访存特性，探索高带宽访存流水线的设计和优化空间。通过分析总结出程序访存行为的规律性，并根据这些规律性给出高带宽访存流水线的低复杂度、低延迟、低功耗的高带宽访存解决方案。本文的工作大大简化了高带宽访存流水线的设计，降低了关键路径的时延和功耗，被用于指导Godsonx处理器的访存设计（Godsonx是基于Godson2[5]设计的X86处理器）。采用优化高带宽访存设计后，相对原始的宽度为1的访存流水线，处理器的整体面积仅增加了1.7%，处理器的平均性能提高了8.6%。
本文首先介绍了高带宽访存流水线的相关研究，然后介绍了试验环境，并分别给出cache、TLB的优化策略，评价了改进后的性能提升，最后对全文工作进行了总结。
2.        相关研究
处理器设计者对性能的要求是无止境的，对指令级并行性的追求也不会停止，而片山存储系统是影响指令并行性开发的关键，因此对片上存储系统性能的要求也会持续。程序中大约有三分之一的指令是访存指令或者涉及访存操作[6]，对于4发射的超标量处理器来说，具有平均每拍处理两条访存操作的能力是必需的。面对这样的需求，在处理器中采用高带宽的访存流水线非常必要。这就要求采用多端口的Cache。Cache位于流水线的关键路径上并且逻辑复杂[7]，因此有必要研究一种简化的多端口Cache，同时满足对Cache带宽的要求。
目前，多端口Cache的设计方法主要有四种[8]：传统的复杂的理想多端口Cache，分时访问的多端口Cache，多份复制的单端口Cache组成的多端口Cache，以及采用多体交叉策略的多端口Cache。DEC Alpha 21264采用的是分时多端口Cache设计技术[9]，Cache的工作频率是其他流水级频率的两倍，在主流水线的一拍内可以先后处理两条访存操作，借此实现双端口的效果。随着处理器主频的不断提高，SRAM已经成为流水线时延的关键路径，这种策略已被淘汰。DEC Alpha 21164[10]采用的是由多份复制的单端口Cache组成的多端口Cache，使用两个内容完全相同的单端口Cache实现了双端口Cache。MIPS R10000采用了双体的DCache[3]。两个同时被处理的访存操作必须对应不同的体。对于比较平衡和调度良好的访存操作流，这种策略可以提供良好的访存并行性和较高的带宽，但如果访存操作流并不平衡，频繁发生的体冲突将严重影响访存的性能。虽然各项多端口Cache设计技术都有其缺点，多体交叉技术仍然是应付不断提高的指令级并行性的关键方法，目前主流的微处理器都倾向于采用这种策略[11,3]。
在主流的处理器的设计中，快速地址转换部件TLB(Translation Look aside Buffer)作为访存部分的核心部件，是流水线中不可或缺的一环[5,12,13]。为了降低访存延迟，主流处理器一般将cache和TLB放在相同的流水级，采用虚地址索引的cache，访存操作同时访问Cache和TLB[14,15]，所以高带宽的访存流水线设计同样会对TLB的设计产生影响。
随着多端口TLB在先进通用处理器中的应用，由高带宽的访存流水线带来的虚实地址转换压力得到了缓解，研究人员开始把越来越多的注意力放在多端口TLB的设计和优化上。[16]给出了一种L0 TLB的设计策略，整个L0 TLB只有一项，利用连续访存操作的页面局部性，简单的TLB结构可以同时处理多个访存操作的虚实地址转换，[17]中也介绍了相似的设计。[18]中介绍了selective filter-bank TLB，使用几个较小的缓冲区来处理大多数的访问，用以降低TLB的延迟。Kenneth Yeager介绍了另一种TLB结构，TLB中的一项被几个连续的页面公用，这种设计思路和MIPS处理器类似[19]。Interleaved TLB使用互连结构，根据不同的地址将多个虚实地址转换请求分配到多个bank[20]。
Cache、TLB是通用处理器访存流水线中最为核心的两个部件，这些部件的设计直接影响访存流水线的性能，后面会分别从单个部件的角度对高带宽访存流水线的优化进行研究。
3.        实验环境
本文的研究工作以Godsonx模拟器作为平台。Godsonx是一款4发射的超标量X86处理器。因为X86指令集缺乏结构寄存器[21]，X86程序中的很多临时数据往往需要借助内存来存放，并且参数传递大量依赖栈来完成，这些导致X86处理器的访存操作非常密集[6]，而Godsonx的原始设计中访存带宽为1，所以设计高带宽的访存通路对Godsonx来说尤其重要。
Godsonx模拟器是基于Godson2模拟器实现的，是一个完全兼容IA-32指令集的全系统信号级模拟器，详细模拟了真实处理器的所有结构细节，可以看成RTL代码的高级语言版本。表 1给出了Godsonx模拟器的详细配置。
本文使用SPEC CPU 2000程序作为分析对象。SPEC CPU 2000是用来测试CPU性能的标准测试程序组，其分值被认为是衡量处理器性能的一个标准[22]。本文设计中的时延、面积信息则是基于GodsonX的RTL代码，使用Synopsys的Design Compiler(2006.06 for amd64)软件完成。