摘要：為解決超高速采集系統(tǒng)中的數(shù)據(jù)緩存問(wèn)題，文中基于Xilinx Kintex-7 FPGA MIG_v1.9 IP核進(jìn)行了DDR3 SDRAM控制器的編寫，分析并提出了提高帶寬利用率的方法。最終將其進(jìn)行類FIFO接口的封裝，屏蔽掉了DDR3 IP核復(fù)雜的用戶接口，為DDR3數(shù)據(jù)流緩存的實(shí)現(xiàn)提供便利。系統(tǒng)測(cè)試表明，該設(shè)計(jì)滿足大容量數(shù)據(jù)緩存要求，并具有較強(qiáng)的可移植性。

隨著寬帶雷達(dá)技術(shù)的發(fā)展，超高速和寬帶采樣已成為基本要求［１］，超高速采集系統(tǒng)需要相匹配的數(shù)據(jù)緩存設(shè)計(jì)，DDR3 SDRAM是當(dāng)前最常用的高效方案［２－４］。

DDR SDRAM是同步動(dòng)態(tài)隨機(jī)存儲(chǔ)器，其采用雙倍速率存取，數(shù)據(jù)在工作時(shí)鐘的上升沿和下降沿采樣，有效提升了存儲(chǔ)速率。DDR SDRAM系列存儲(chǔ)設(shè)備經(jīng)歷了DDR、DDR2和DDR3幾個(gè)階段。DDR3 SDRAM在降低系統(tǒng)功耗的同時(shí)提高了系統(tǒng)性能，其利用“FlyBy”和動(dòng)態(tài)片上匹配技術(shù)對(duì)于信號(hào)完整性的改善效果明顯［５］。本文基于Xilinx的MIG_v1.91 IP核進(jìn)行了DDR3 SDRAM控制器的編寫，并在Kintex-7 FPGA芯片上完成了功能測(cè)試及實(shí)現(xiàn)。
?

1 DDR3連續(xù)讀寫操作的FPGA 實(shí)現(xiàn)

設(shè)計(jì)選用８片Mircon公司型號(hào)為 MT42J128M16的芯片作為緩存區(qū)。每片芯片的數(shù)據(jù)位寬為8bit，行地址復(fù)用14條地址線，列地址復(fù)用10條地址線，共有8個(gè)Bank。每片容量為128MB，８片DDR3共同組成位寬為64bit，容量為1GB的緩存區(qū)域［６］。

本文中DDR3控制器是基于Xilinx MIG IP核設(shè)計(jì)的。用戶首先需要在MIG IP核配置頁(yè)面對(duì)DDR3芯片型號(hào)、總線位寬、速度等級(jí)、引腳分配等參數(shù)進(jìn)行設(shè)置。設(shè)置完成后即可得到DDR3控制器接口解決方案，Xilinx Kintex-7系列FPGA內(nèi)存接口解決方案如圖1所示［７］。

該方案由用戶控制模塊、用戶接口模塊、內(nèi)存控制模塊和物理層接口模塊４部分組成。用戶接口模塊位于設(shè)計(jì)的最前端，通過(guò)呈現(xiàn)一個(gè)扁平化的地址空間和緩沖器，提供了一個(gè)簡(jiǎn)單的用戶接口，用以代替本地接口進(jìn)行數(shù)據(jù)的讀寫操作。內(nèi)存控制模塊位于用戶接口模塊和物理層模塊之間，其前端為用戶接口模塊提供本地接口。本地接口支持用戶設(shè)計(jì)提交存儲(chǔ)器讀寫請(qǐng)求，并提供用戶設(shè)計(jì)模塊與外部存儲(chǔ)設(shè)備之間的數(shù)據(jù)傳輸機(jī)制。內(nèi)存控制模塊還提供了一個(gè)具有重排序的功能選項(xiàng)，可以對(duì)接收到的請(qǐng)求進(jìn)行重新排序，進(jìn)而優(yōu)化數(shù)據(jù)傳輸?shù)耐掏铝考皶r(shí)延。內(nèi)存控制器后端連接至物理層接口，并處理所有該模塊的接口請(qǐng)求。物理層接口前端連接至內(nèi)存控制器模塊，后端連接外部存儲(chǔ)設(shè)備，其主要功能是捕獲DDR3發(fā)出的數(shù)據(jù)，產(chǎn)生DDR3所需要的控制指令信號(hào)，并通過(guò)輸入輸出緩存發(fā)送所有DDR3的控制信號(hào)、地址信號(hào)以及數(shù)據(jù)信號(hào)，同時(shí)保證指令與地址、數(shù)據(jù)的同步和信號(hào)的維持［５］。

用戶使用時(shí)，只需設(shè)計(jì)DDR3讀寫控制模塊即可通過(guò)IP核對(duì)DDR3進(jìn)行讀寫操作。app_rdy信號(hào)是用戶接口模塊準(zhǔn)備就緒的標(biāo)識(shí)，在進(jìn)行讀操作時(shí)，只需在app_rdy信號(hào)為１時(shí)更新讀地址即可，讀操作時(shí)序如圖2所示［７］。而寫操作相對(duì)復(fù)雜，若要成功進(jìn)行寫操作，則必須保證寫地址和寫數(shù)據(jù)都有效，而寫地址和寫數(shù)據(jù)不必同時(shí)有效，可以相差幾個(gè)周期，當(dāng)用戶接口反饋的app_rdy信號(hào)和用戶控制的app_en信號(hào)同時(shí)為１時(shí)，寫操作指令app_cmd以及寫地址app_addr有效。而對(duì)于需要寫入的數(shù)據(jù)app_wdf_data來(lái)說(shuō)，只有當(dāng)用戶接口反饋的app_wdf_rdy信號(hào)和用戶控制的app_wdf_wren信號(hào)同時(shí)拉高時(shí)才是有效的。寫操作對(duì)應(yīng)的時(shí)序如圖３所示［７］。

圖１　Xilinx Kintex-7 FPGA內(nèi)存接口解決方案

圖２　讀操作時(shí)序圖

圖３　寫操作時(shí)序圖

本文基于Verilog HDL 硬件描述語(yǔ)言［８］，設(shè)計(jì)如圖４所示的狀態(tài)機(jī)實(shí)現(xiàn)DDR3的連續(xù)寫操作。在IDLE狀態(tài)下，當(dāng)DDR3 IP核完成校準(zhǔn)后，經(jīng)過(guò)幾十μs的延時(shí)，寫地址和寫數(shù)據(jù)被同時(shí)送入IP核，狀態(tài)機(jī)進(jìn)入WRITE狀態(tài)。如果寫地址與寫數(shù)據(jù)均得到響應(yīng)（app_rdy & app_wdf_rdy為1），寫地址和寫數(shù)據(jù)將得到更新，狀態(tài)機(jī)繼續(xù)處于WRITE狀態(tài)。如果只有寫數(shù)據(jù)得到響應(yīng)（! app_rdy & app_wdf_rdy為１），則停止寫數(shù)據(jù)更新，狀態(tài)機(jī)進(jìn)入WAIT1狀態(tài)，待寫地址得到響應(yīng)后，再更新寫地址和寫數(shù)據(jù)，并返回到ＷＲＩＴＥ狀態(tài)。如果只有寫地址得到響應(yīng)（app_rdy & ! app_wdf_rdy為１），則停止寫地址更新，進(jìn)入WAIT2狀態(tài)，待寫數(shù)據(jù)得到響應(yīng)后，更新寫地址和寫數(shù)據(jù)，并返回WRITE狀態(tài)。經(jīng)實(shí)際測(cè)試狀態(tài)WAIT2并不會(huì)出現(xiàn)，所以可以將WAIT2狀態(tài)去掉，對(duì)狀態(tài)機(jī)進(jìn)行優(yōu)化。

圖４　DDR3連續(xù)寫控制模塊狀態(tài)機(jī)"

本文設(shè)計(jì)的狀態(tài)機(jī)，通過(guò)對(duì)IP核的控制，成功實(shí)現(xiàn)了DDR3連續(xù)寫操作。用 Chipscope軟件進(jìn)行信號(hào)觀測(cè)，波形如圖５所示。由于連續(xù)讀操作比較簡(jiǎn)單，文中不再贅述。

圖５　DDR3連續(xù)寫操作Chipscope相關(guān)信號(hào)波形

2 DDR3讀寫效率測(cè)試與分析

為滿足高速數(shù)據(jù)傳輸?shù)囊螅珼DR3需要保證較高的帶寬利用率。DDR3的極限速率為兩倍工作時(shí)鐘頻率與數(shù)據(jù)總線位寬的乘積。但是，DDR3的讀寫共用同一組數(shù)據(jù)總線，同時(shí)DDR3內(nèi)部是以BANK／行／列的形式組織起來(lái)的。在對(duì)新的ＢBANK／行進(jìn)行讀寫前，需要執(zhí)行預(yù)充命令和激活命令等［9-10］。同時(shí)不同指令之間也有各種時(shí)間間隙要求。因此，DDR3的實(shí)際傳輸速率與極限速率有一定差距。根據(jù)使用方式的不同，DDR3的接口帶寬利用率會(huì)存在差異［11-13］。

本文通過(guò)測(cè)試不同使用情形下DDR3的帶寬利用率來(lái)尋求具有較高效率的讀寫控制方式。本測(cè)試計(jì)算帶寬效率的方式是，向IP核中輸入指定的激勵(lì)，觀察DDR3芯片接口上的有效數(shù)據(jù)所占的比例，由此計(jì)算出有效帶寬。

本文對(duì)以下３種DDR3讀寫方式進(jìn)行了帶寬利用率的測(cè)試：
（１）固定Bank多行切換測(cè)試。單Bank內(nèi)，每完成一次寫操作，則進(jìn)入下一個(gè)行的相同列。由于兩列的打開(kāi)操作有時(shí)間間隙要求，打開(kāi)列到寫操作也有時(shí)間間隙要求，導(dǎo)致單Bank內(nèi)行切換時(shí)，測(cè)得的帶寬利用率較低，僅為11％；

（２）讀寫切換測(cè)試。對(duì)DDR3同一地址空間，每進(jìn)行完１次寫操作之后，進(jìn)行１次讀操作。由于相鄰讀寫操作間有時(shí)間間隙要求，導(dǎo)致該方式下，帶寬利用率較低，僅為10.7％。接著按照先進(jìn)行Ｎ次寫操作，再進(jìn)行Ｎ次讀操作的讀寫方式進(jìn)行測(cè)試，其結(jié)果記錄如表１所示；

（３）兩Bank不換行平滑過(guò)渡測(cè)試。先在Bank0的同一個(gè)行內(nèi)連續(xù)寫８次然后過(guò)渡到Bank1的同一個(gè)行內(nèi)連續(xù)寫８次。結(jié)果顯示，在Bank0的寫操作過(guò)程中打開(kāi)Bank1的一個(gè)Row，而不影響B(tài)ank0的寫操作。由于提前了足夠的時(shí)間打開(kāi)Bank1，那么等Bank0的寫操作結(jié)束后，可以直接平滑的過(guò)渡到Bank1的寫操作階段，中間沒(méi)有等待。該方式下，帶寬利用率為91%。

經(jīng)測(cè)試項(xiàng)驗(yàn)證可發(fā)現(xiàn)：Xilinx MIG IP 核對(duì)DDR3芯片進(jìn)行按地址連續(xù)存儲(chǔ)，效率較高。但Xilinx MIG IP 核對(duì)DDR3的隨機(jī)地址存取效率比較低。使讀寫效率降低的主要原因有：同Bank行切換、讀寫切換、IP核Bank管理方式。故可采取以下方式提高DDR3帶寬利用率：（１）降低讀寫切換的頻率；（２）采用連續(xù)地址存取的方式，減少Bank和行的切換；（３）在對(duì)MIG IP 核進(jìn)行配置時(shí)，用戶接口地址映射方式采用“ROW——BANK——COLUMN”方式，降低行切換的頻率。

3 DDR3讀寫控制模塊的類FIFO封裝

為便于DDR3模塊與其他模塊對(duì)接，方便用戶的使用，對(duì)其進(jìn)行類FIFO接口封裝［14-15］，整個(gè)模塊結(jié)構(gòu)框圖如圖６所示。可見(jiàn)封裝后的DDR3模塊外部接口與FIFO非常相似，因此有效提升了使用的便捷性。DDR3模塊是由寫FIFO模塊、讀FIFO模塊、DDR3讀寫控制模塊、DDR3 IP 核４部分組成。寫FIFO模塊用來(lái)接收數(shù)據(jù)。讀FIFO模塊用來(lái)輸出從DDR3內(nèi)讀取的數(shù)據(jù)。DDR3讀寫控制模塊用來(lái)控制DDR3的讀寫操作，合理切換讀寫狀態(tài)，保證讀寫效率。DDR3 IP核模塊為FPGA與DDR3的物理接口。

圖６　類FIFO接口封裝結(jié)構(gòu)圖

可以看出，DDR3模塊設(shè)計(jì)的關(guān)鍵是讀寫控制狀態(tài)機(jī)的編寫。此狀態(tài)機(jī)共有３種狀態(tài)，IDLE狀態(tài)下不進(jìn)行讀寫操作，WRITE狀態(tài)下進(jìn)行連續(xù)寫操作，READ狀態(tài)下進(jìn)行連續(xù)讀操作。根據(jù)上述分析，為保證較高的讀寫效率就要避免頻繁的讀寫切換。因此，寫FIFO的編程空信號(hào)
wr_fifo_prog_empty和讀FIFO的編程滿信號(hào)rd_fifo_prog_full均采用雙門限的設(shè)置。若寫FIFO滿，則數(shù)據(jù)會(huì)丟失，而讀FIFO滿只會(huì)使數(shù)據(jù)在DDR3內(nèi)緩存，因此，寫操作的優(yōu)先級(jí)高于讀操作，狀態(tài)機(jī)如圖７所示。

圖７　DDR3讀寫狀態(tài)機(jī)

為確保設(shè)計(jì)的可行性及可靠性，對(duì)編寫的DDR3讀寫控制器進(jìn)行板級(jí)驗(yàn)證，硬件測(cè)試中選用Xilinx公司的Kintex-7 FPGA以及Micron公司的DDR3 SDRAM芯片。DDR3工作頻率為500MHz，經(jīng)測(cè)試其可對(duì)3GB/s的數(shù)據(jù)流進(jìn)行穩(wěn)定緩存。

4 結(jié)束語(yǔ)

本文對(duì)DDR3讀寫狀態(tài)機(jī)進(jìn)行了設(shè)計(jì)與優(yōu)化，并對(duì)DDR3在不同讀寫方式下的帶寬利用率進(jìn)行了測(cè)試與分析，提出了保證帶寬率的相應(yīng)措施。在此基礎(chǔ)上，將FPGA的DDR3的讀寫控制模塊封裝成簡(jiǎn)單的類FIFO接口。并將其在Xilinx公司的Kintex-7 系列FPGA芯片上實(shí)現(xiàn)，工作穩(wěn)定可靠、有較高的工作效率、接口簡(jiǎn)單、可移植性高，為DDR3在高速數(shù)據(jù)流緩存中的應(yīng)用提供了便利。