??? 摘? 要: 介紹了內(nèi)嵌 ARM核的FPGA芯片EPXA10的主要功能特點(diǎn)、內(nèi)部結(jié)構(gòu)及工作方式,通過(guò)其在圖像驅(qū)動(dòng)和處理方面的應(yīng)用,體現(xiàn)了EPXA10邏輯控制實(shí)現(xiàn)簡(jiǎn)單、對(duì)大量數(shù)據(jù)做簡(jiǎn)單處理速度快以及軟件編程靈活的特點(diǎn)。?
??? 關(guān)鍵詞: ARM? FPGA? EPXA10? 圖像驅(qū)動(dòng)? 圖像處理
?
??? 隨著亞微米技術(shù)的發(fā)展,FPGA芯片密度不斷增加,并以強(qiáng)大的并行計(jì)算能力和方便靈活的動(dòng)態(tài)可重構(gòu)性,被廣泛地應(yīng)用于各個(gè)領(lǐng)域。但是在復(fù)雜算法的實(shí)現(xiàn)上,FPGA卻遠(yuǎn)沒(méi)有32位RISC處理器靈活方便,所以在設(shè)計(jì)具有復(fù)雜算法和控制邏輯的系統(tǒng)時(shí),往往需要RISC和FPGA結(jié)合使用。這樣,電路設(shè)計(jì)的難度也就相應(yīng)大大增加。隨著第四代EDA開(kāi)發(fā)工具的使用,特別是在IP核產(chǎn)業(yè)的迅猛發(fā)展下產(chǎn)生的SOPC技術(shù)的發(fā)展,使嵌入RISC的通用及標(biāo)準(zhǔn)的FPGA器件呼之欲出。單片集成的RISC處理器和FPGA大大減小了硬件電路的復(fù)雜性和體積,同時(shí)也降低了功耗、提高了系統(tǒng)可靠性。Altera公司的EPXA10芯片就是應(yīng)用SOPC技術(shù),集高密度" title="高密度">高密度邏輯(FPGA)、存儲(chǔ)器(SRAM)及嵌入式處理器" title="嵌入式處理器">嵌入式處理器(ARM)于單片可編程邏輯器件上,實(shí)現(xiàn)了速度與編程能力的完美結(jié)合。本文所介紹的圖像驅(qū)動(dòng)和處理系統(tǒng)正是應(yīng)用了EPXA10的這些特點(diǎn),充分發(fā)揮了FPGA邏輯控制實(shí)現(xiàn)簡(jiǎn)單、對(duì)大量數(shù)據(jù)做簡(jiǎn)單處理速度快的優(yōu)勢(shì)以及ARM軟件編程靈活的特點(diǎn)。?
1 內(nèi)嵌ARM核的FPGA芯片EPXA10及其主要特點(diǎn)?
??? EPXA10單片集成了ARM核、高密度的FPGA、存儲(chǔ)器及接口和控制模塊,不僅簡(jiǎn)化了ARM與FPGA之間的通訊,也使片外擴(kuò)展存儲(chǔ)器以及和外設(shè)通訊變得相對(duì)簡(jiǎn)單;同時(shí)通過(guò)在FPGA中嵌入各種IP核和用戶控制邏輯可以實(shí)現(xiàn)各種接口和控制任務(wù)。這樣的高度集成化不僅大大加快了ARM與片內(nèi)各種資源的通訊速度,而且減小了硬件電路的復(fù)雜性、體積和功耗,真正實(shí)現(xiàn)了SOPC。?
??? EPXA10內(nèi)部結(jié)構(gòu)框圖如圖1所示,主要分為嵌入式處理器和FPGA兩部分。?
?
?
1.1 嵌入式微處理器ARM922T?
??? EPXA10嵌入式處理器部分集成了業(yè)界領(lǐng)先的32位ARM處理器(ARM922T),工作頻率可達(dá)200MHz;支持32位ARMv4T指令集和16位Thumb擴(kuò)展指令集;具有全性能的內(nèi)存管理單元以及8K的指令緩存和8K數(shù)據(jù)緩存,以支持實(shí)時(shí)操作系統(tǒng)(RTOS)、C語(yǔ)言和匯編語(yǔ)言。?
1.2 高密度的FPGA?
??? EPXA10片內(nèi)FPGA部分具有1000000門可編程邏輯、3MB的內(nèi)置RAM和512個(gè)可供用戶使用的I/O管腳,可以通過(guò)嵌入各種IP核實(shí)現(xiàn)各種標(biāo)準(zhǔn)工業(yè)接口(如PCI、USB等)。?
1.3 先進(jìn)的存儲(chǔ)支持?
??? EPXA10嵌入式處理器部分集成了256KB單口SRAM和128KB雙口SRAM;同時(shí)集成了兩個(gè)先進(jìn)的存儲(chǔ)支持:(1)SDRAM控制器,用于控制單倍速/雙倍速SDRAM。SDRAM的各種工作狀態(tài)是依據(jù)信號(hào)線上提供的不同控制時(shí)序來(lái)確定的,實(shí)現(xiàn)起來(lái)非常復(fù)雜。有了SDRAM 控制器的支持,只需要在Altera公司提供的EDA開(kāi)發(fā)軟件Quartus II中設(shè)置好SDRAM工作所需的各種參數(shù),就可以按照直接給出指令、地址和數(shù)據(jù)的方式對(duì)SDRAM進(jìn)行操作,控制器會(huì)自動(dòng)將各種指令轉(zhuǎn)化成SDRAM所需的工作時(shí)序,大大降低了對(duì)SDRAM的控制難度。(2)擴(kuò)展總線接口(EBI),可外接4個(gè)存儲(chǔ)設(shè)備,如閃速存儲(chǔ)器、SRAM等,總?cè)萘扛哌_(dá)128MB。其中EBI接口0外接閃速存儲(chǔ)器,用于存儲(chǔ)用戶的軟件、硬件設(shè)計(jì)代碼。?
1.4 方便的接口模塊
??? EPXA10嵌入式處理器部分嵌入了串口" title="串口">串口通訊模塊(UART),可以不用編程直接實(shí)現(xiàn)ARM與超級(jí)終端之間的串行通訊,實(shí)時(shí)監(jiān)視軟件的運(yùn)行情況。如果要實(shí)現(xiàn)計(jì)算機(jī)與ARM之間的數(shù)據(jù)傳遞存儲(chǔ),只需用戶編寫基于VC++語(yǔ)言的串口通訊程序,這需要用到Microsoft公司提供的MSComm串行通訊控件。?
1.5 靈活的啟動(dòng)方式?
??? EPXA10共有兩種啟動(dòng)方式:(1)從ARM啟動(dòng)。這種啟動(dòng)方式需要將設(shè)計(jì)下載到片外閃速存儲(chǔ)器中,而且設(shè)計(jì)中必須包含對(duì)ARM的應(yīng)用。啟動(dòng)時(shí)ARM為主動(dòng),配置各種寄存器及FPGA,執(zhí)行軟件代碼。(2)從FPGA啟動(dòng)。這種啟動(dòng)方式需要將設(shè)計(jì)下載到片外E2PROM中,而且設(shè)計(jì)中可以只包含F(xiàn)PGA部分的應(yīng)用。啟動(dòng)時(shí)FPGA為主動(dòng),ARM處于復(fù)位狀態(tài),配置完成后,如果有對(duì)ARM的應(yīng)用,則ARM解除復(fù)位,執(zhí)行軟件代碼;反之,ARM一直處于復(fù)位狀態(tài)。?
2 EPXA10的工作方式?
??? EPXA10嵌入式處理器部分提供了兩條32位AMBA微控制器總線AHB1、AHB2,分別用于片內(nèi)各種資源的通訊,如圖1所示。基于AHB1、AHB2總線,EPXA10的工作方式大致可分為三種:(1)ARM作為AHB1總線的主控,直接訪問(wèn)AHB1總線的從屬資源,包括SDRAM 控制器、片上SRAM、中斷控制器等。(2)ARM作為AHB1總線的主控,通過(guò)AHB1-2 橋訪問(wèn)AHB2總線上的從屬資源,包括UART、EBI、SRAM、Stripe-To-PLD 橋等,同時(shí)通過(guò)Stripe-To-PLD橋?qū)PGA進(jìn)行訪問(wèn)和控制。(3)FPGA通過(guò)AHB2的總線主控 PLD-To-Stripe橋訪問(wèn)AHB2總線上的從屬資源,包括SRAM、SDRAM控制器、UART等。?
??? EPXA10片內(nèi)集成了軟件可編程鎖相環(huán)路(PLL),為微控制器總線及SDRAM控制器提供了靈活精確的時(shí)鐘基準(zhǔn)。?
3 EPXA10在圖像驅(qū)動(dòng)和處理方面的應(yīng)用?
??? 本文所述的圖像驅(qū)動(dòng)和處理系統(tǒng)主要利用FPGA邏輯控制實(shí)現(xiàn)簡(jiǎn)單、對(duì)大量數(shù)據(jù)做簡(jiǎn)單處理速度快以及ARM軟件編程靈活的特點(diǎn),系統(tǒng)框圖如圖2所示。在芯片F(xiàn)PGA部分,構(gòu)造了CMOS驅(qū)動(dòng)模塊,驅(qū)動(dòng)CMOS圖像傳感器使之能夠采集圖像數(shù)據(jù)" title="圖像數(shù)據(jù)">圖像數(shù)據(jù)。然后圖像數(shù)據(jù)經(jīng)數(shù)據(jù)接收模塊存入片外SDRAM中,并經(jīng)串口傳入PC機(jī),要將圖像數(shù)據(jù)在PC機(jī)中顯示成圖像,還需編寫基于CDib類的圖像顯示程序;同時(shí)將圖像數(shù)據(jù)經(jīng)芯片ARM部分的圖像處理" title="圖像處理">圖像處理算法(本系統(tǒng)采用Sobel算子)處理,處理后的圖像數(shù)據(jù)才能經(jīng)串口傳給PC機(jī)進(jìn)行顯示。為了驗(yàn)證基于ARM的圖像處理算法實(shí)現(xiàn)的正確性,還將這一算法在PC機(jī)中進(jìn)行了實(shí)現(xiàn),最后針對(duì)同一幅圖像,將兩種實(shí)現(xiàn)的結(jié)果進(jìn)行了比較。?
?
?
3.1 圖像的驅(qū)動(dòng)?
3.1.1 CMOS圖像傳感器的驅(qū)動(dòng)?
??? 要使CMOS圖像傳感器成像,必須設(shè)計(jì)正確的驅(qū)動(dòng)時(shí)序,包括行同步、列同步、場(chǎng)同步及曝光時(shí)間設(shè)定等時(shí)序。利用FPGA邏輯編程簡(jiǎn)單的特點(diǎn),用硬件描述語(yǔ)言Verilog HDL編程,可在FPGA中實(shí)現(xiàn)CMOS圖像傳感器的驅(qū)動(dòng)時(shí)序,該驅(qū)動(dòng)時(shí)序的仿真結(jié)果如圖3所示。圖中,ld_y為行選通信號(hào);ld_x為列選通信號(hào);cal為場(chǎng)選通信號(hào);clk_adc為內(nèi)部A/D轉(zhuǎn)換器所需的時(shí)鐘;addr為行列地址線;sys_reset為曝光時(shí)間設(shè)定信號(hào);s和r為內(nèi)部放大器選通信號(hào)。?
?
?
3.1.2 圖像的采集?
??? CMOS圖像傳感器輸出的信號(hào)為數(shù)字信號(hào)(即數(shù)字圖像數(shù)據(jù)),所以圖像的采集要通過(guò)FPGA中的數(shù)據(jù)接收模塊將圖像數(shù)據(jù)保存到片外SDRAM中。數(shù)據(jù)接收模塊狀態(tài)機(jī)如圖4所示。標(biāo)志Flag為1,開(kāi)始采集數(shù)據(jù)。因?yàn)镃MOS圖像傳感器在每個(gè)A/D轉(zhuǎn)換時(shí)鐘周期輸出一個(gè)數(shù)據(jù)(如圖3所示),接收模塊也相應(yīng)地設(shè)計(jì)成一個(gè)時(shí)鐘接收周期接收一個(gè)數(shù)據(jù)(Burst狀態(tài)),這樣也就發(fā)揮了FPGA對(duì)大量數(shù)據(jù)處理速度快的優(yōu)勢(shì)。?
?
?
3.1.3 圖像的顯示?
??? ARM將SDRAM中的圖像數(shù)據(jù)經(jīng)串口傳給計(jì)算機(jī),在計(jì)算機(jī)中用VC++語(yǔ)言編寫串口協(xié)議和圖像顯示程序,將CMOS圖像傳感器采集到的圖像顯示在屏幕上,以便于監(jiān)測(cè)驗(yàn)證。?
3.2 圖像的處理?
??? 本系統(tǒng)采用的圖像處理算法基于Sobel邊緣檢測(cè)算子。圖像的邊緣是由灰度不連續(xù)性所反映的,是圖像的最基本信息。邊緣檢測(cè)算子檢查每個(gè)像素的鄰域并對(duì)灰度變化率進(jìn)行量化,也包括方向的確定,大多數(shù)使用基于方向?qū)?shù)掩模求卷積的方法。就sobel算子而言,如圖5所示,采用了兩個(gè)3×3卷積核形成邊緣算子模板,緊鄰中心像素的像素有4個(gè),和中心像素成斜對(duì)角的像素也有4個(gè),距離中心像素近的模板值的系數(shù)為2,成斜對(duì)角的比較遠(yuǎn),所以其系數(shù)為1,該系數(shù)反映了這樣一點(diǎn):鄰域?qū)Ξ?dāng)前像素的灰度梯度的影響程度越近影響越大,越遠(yuǎn)影響越小。圖像中的每個(gè)點(diǎn)都用這兩個(gè)核做卷積,一個(gè)核對(duì)垂直邊緣響應(yīng)最大,而另一個(gè)核對(duì)水平邊緣響應(yīng)最大,兩個(gè)卷積的最大值作為該點(diǎn)的輸出位,反映了當(dāng)前位置灰度梯度(圖像邊緣)的主要方向和大小。運(yùn)算結(jié)果反映了一幅邊緣幅度圖像。?
?
?
??? 因?yàn)榕臄z的圖像為1024×1024,采用的Sobel算子為3×3模板,所以圖像周邊的一圈像素(第1行、第1024行、第1列、第1024列)保持原灰度值。在圖像的第2行2列到1023行1023列的范圍內(nèi),用圖5所示的算子模板進(jìn)行掃描計(jì)算,即當(dāng)前像素和與當(dāng)前像素相鄰的8個(gè)像素,分別與模板中位置相應(yīng)的9個(gè)系數(shù)相乘,累加這9個(gè)乘積結(jié)果,就得到針對(duì)某一方向的灰度梯度。比較兩個(gè)方向的計(jì)算結(jié)果,取最大者作為當(dāng)前位置的灰度梯度。圖7為圖6經(jīng)過(guò)Sobel算子進(jìn)行邊緣提取后得到的圖像。該算法在ARM中是基于C語(yǔ)言實(shí)現(xiàn)的,體現(xiàn)了ARM軟件編程靈活的特點(diǎn)。?
3.3 試驗(yàn)結(jié)果?
??? 圖6是成功驅(qū)動(dòng)CMOS圖像傳感器后拍攝的景物圖像,可見(jiàn)圖像非常清晰。本文分別針對(duì)Soble算子進(jìn)行了基于PC機(jī)和基于ARM的實(shí)現(xiàn),圖7為圖6經(jīng)過(guò)ARM中的Sobel算子的邊緣提取結(jié)果,圖8為圖6經(jīng)過(guò)PC機(jī)中Sobel算子的邊緣提取結(jié)果,圖9為圖7和圖8逐像素的比較結(jié)果。可見(jiàn)兩種實(shí)現(xiàn)方法得到的結(jié)果完全一致,說(shuō)明了基于ARM的Sobel算子的實(shí)現(xiàn)是正確的。?
?
?
??? 上述圖像驅(qū)動(dòng)和處理系統(tǒng)如果僅用FPGA來(lái)實(shí)現(xiàn),算法部分的實(shí)現(xiàn)會(huì)比較復(fù)雜;如果僅用ARM來(lái)實(shí)現(xiàn),驅(qū)動(dòng)時(shí)序的設(shè)計(jì)也會(huì)非常困難。而采用內(nèi)嵌ARM核的FPGA芯片EPXA10,單片就實(shí)現(xiàn)了上述系統(tǒng),大大減小了設(shè)計(jì)的難度和電路的復(fù)雜性,同時(shí)也減小了硬件電路的體積和功耗,在系統(tǒng)小型化方面有著獨(dú)特的優(yōu)勢(shì)。由于EPXA10集成了先進(jìn)的ARM922T處理器器以及高密度的FPGA,所以在不增加體積和改進(jìn)硬件電路的情況下,可以實(shí)現(xiàn)更加復(fù)雜的圖像處理算法和硬件控制邏輯設(shè)計(jì),具有很強(qiáng)的系統(tǒng)擴(kuò)展?jié)摿Α＿@種嵌入式方案必將成為集成電路的發(fā)展趨勢(shì),將會(huì)在未來(lái)較短的時(shí)間里得到快速的發(fā)展。?
參考文獻(xiàn)?
1 ARM922T(Rev 0) Technical Reference Manual. ARM??Limited,2000?
2 Excalibur Devices Hardware Reference Manual(Version3.1).?Altera Corporation,2002?
3 譚思亮,鄒超群. Visual C++串口通信工程開(kāi)發(fā)實(shí)例導(dǎo)航.北京:人民郵電出版社,2003?
4 夏宇聞. 復(fù)雜數(shù)字電路與系統(tǒng)的Verilog HDL設(shè)計(jì)技術(shù).北京:北京航空航天大學(xué)出版社,2002?
5 李于劍. Visual C++實(shí)踐與提高-圖形圖像編程篇.北京:中國(guó)鐵道出版社,2001