服務熱線
135-3059-7494
自動化集成系統配套服務商-日弘智能今天為大家講講基于ARM和CPLD的嵌入式視覺系統系統方案與原理。隨著嵌入式微處理器技術的進步,32位ARM處理器系統擁有很高的運算速度和很強的信號處理能力,可以作為視覺系統的處理器,代替PC機來實現簡單的視覺處理算法。下面介紹一種基于ARM和CPLD的嵌入式視覺系統,希望能分享嵌入式視覺開發過程中的一些經驗。
1 系統方案與原理
在嵌入式視覺的設計中,目前主流的有以下2種方案:
方案1圖像傳感器+微處理器(ARM或DSP)+SRAM
方案2圖像傳感器+CPLD/FPGA+微處理器+SRAM
方案1系統結構緊湊,功耗低。在圖像采集時,圖像傳感器輸出的同步時序信號的識別需要借助ARM的中斷,而中斷處理時,微處理器需要完成程序跳轉、保存上下文等工作[1],降低了圖像采集的速度,適合對采集速度要求不高、功耗低的場合。
方案2借助CPLD來識別圖像傳感器的同步時序信號,不必經過微處理器的中斷,因而系統的采集速度提高,但CPLD的介入會使系統的功耗提高。
為了綜合以上2種方案的優勢,在硬件上采用“ARM+CPLD+圖像傳感器+SRAM”。該方案充分利用了CPLD的可編程性,通過軟件編程來兼有方案1的優勢,具體體現在以下方面:
① 功耗的高低可以控制。對于功耗有嚴格要求的場合,通過CPLD的可編程性將時序部分的接口與ARM的中斷端口相連,僅僅是組合邏輯的總線相連,可以降低CPLD的功耗從而達到方案1的效果;對于采集速度要求高而功耗要求不高的情況,可以充分發揮CPLD的優勢,利用組合與時序邏輯來實現圖像傳感器輸出同步信號的識別,并將圖像數據寫入SRAM中。
② 器件的選擇可以多樣。在硬件設計上,所有總線均與CPLD相連;在軟件設計上,不同的模塊單獨按功能封裝。這樣以CPLD為中心,系統的其他器件均可更換而無需對CPLD部分程序進行改動,有利于系統的功能升級。
作為本系統的一種應用,開發了視覺跟蹤的程序,可以在目標和背景顏色對比強烈的情況下對物體進行跟蹤。通過對CMOS攝像頭采集來的數據進行實時處理,根據物體的顏色計算出被追蹤物體的質心坐標。下面分別描述系統各部分的功能。
2 系統硬件
2.1 硬件組成及連接
系統的硬件主要有4部分:CMOS圖像傳感器OV6620、可編程器件CPLD、512 KB的SRAM和32位微處理器LPC2214。
OV6620是美國OmniVision公司生產的CMOS圖像傳感器,以其高性能、低功耗適合應用在嵌入式圖像采集系統中,本系統圖像數據的輸入都是通過OV6620采集進來的;可編程器件CPLD采用Altera公司的EPM7128S,用Verilog硬件編程語言在QuartusII下編寫程序;作為系統的數據緩沖,SRAM選用的是IS61LV5128,其隨機訪問的特性為圖像處理程序提供了便利;而LPC2214在PLL(鎖相環)的支持下最高可以運行在60 MHz的頻率下,為圖像的快速處理提供了硬件支持。
OV6620集成在一個板卡上,有獨立的17 MHz晶振。輸出3個圖像同步的時序信號:像素時鐘PCLK、幀同步VSYNC和行同步HREF。同時,還可以通過8位或16位的數據總線輸出RGB或YCrCb格式的圖像數據。
在硬件設計上,有2個問題需要解決:
① 圖像采集的嚴格時序同步;
② 雙CPU共享SRAM的總線仲裁。
解決第一個問題的關鍵在于如何實時、準確地讀取OV6620的時序輸出信號,據此將圖像數據寫入SRAM中。這里采用的解決方案是用CPLD來實現時序信號的識別以及圖像數據的寫入。CPLD在硬件上可以識別信號的邊沿,速度更快,通過Verilog語言編寫Mealy狀態機來實現圖像數據的SRAM寫入,更加穩定。
對于雙CPU共享SRAM,可以通過合理的連接方式來解決。考慮到CPLD的可編程性,將OV6620的數據總線,LPC2214的地址、數據總線以及SRAM的總線都連接到CPLD上。通過編程來控制總線之間的連接,只要在軟件上保證總線的互斥性,即在同一時刻有且僅有一個控制器(CPLD或者LPC2214)來操作SRAM的總線,就可以有效地避免總線沖突。這樣,硬件上的仲裁就可以通過軟件來保證,該過程可以通過在CPLD中編寫多路數據選擇器來實現。
微處理器的總線接在CPLD上,在對功耗有嚴格要求的場合中,只需要在CPLD中,將OV6620的同步時序信號所對應的引腳與LPC2214連接在CPLD上的中斷引腳相連,系統就可以轉換成方案1的形式。對CPLD而言,引腳相連的僅僅是組合邏輯,降低了功耗。
在Verilog語言中,對上升沿的檢測是通過always語句來實現的。例如檢測時鐘信號cam_pclk的上升沿:
根據得到的結果,可以計算出更多關于跟蹤物體的信息:
① 計算區域面積。計算每條線段的長度l(n),然后將l(n)進行累積疊加,即可獲得跟蹤區域面積值S。
② 計算質心橫坐標。
③ 計算質心縱坐標。
④ 識別物體的形狀。根據得到的每行跟蹤點的長度,以及同一行中有幾段符合要求的連續跟蹤點,可以得知物體從攝像頭角度看到的形狀。特別是在檢測平面上線條時,可以識別是否有分支,這一點是幀處理模式無法做到的。
需要指出的是,行處理模式雖然會得到關于跟蹤目標的更多信息,但是每行處理的方式增大了處理器的負擔,處理速度也沒有幀處理快。
4 提高系統的工作速率
目前,系統工作在幀處理模式下的工作速率是25幀/s,作為系統功能的驗證,這里采用的算法是顏色跟蹤。如果僅做純粹的圖像采集,而不做圖像處理,那么系統可以達到OV6620的最高工作速率,即60幀/s。而在圖像處理方面,不同的圖像處理程序效率對系統的工作頻率有較大的影響。下面給出在通用ARM處理器下提高程序效率的幾個建議:
① 內嵌(inline)可通過刪除子函數調用的開銷來提高性能。如果函數在別的模塊中不被調用,一個好的建議是用static標識函數;否則,編譯器將在內嵌譯碼里把該函數編譯成非內嵌的。
② 在ARM系統中,函數調用過程中參數個數≤4時,通過R0~R3傳遞;參數個數>4時,通過壓棧方式傳遞(需要額外的指令和慢速的存儲器操作)。通常限制參數的個數,使它為4或更少。如果不可避免,則把常用的前4個參數放在R0~R3中。
③ 在for(), while() do…while()的循環中,用“減到0”代替“加到某個值”。比如:
for (loop = 1; loop <= total; loop++) //ADD和CMP
替換為:for (loop = total; loop != 0; loop--) //SUBS
第1種方式比較需要2條指令ADD和CMP,而第2種方式只需一條指令SUBS。
④ ARM核不含除法硬件,除法通常用一個運行庫函數來實現,運行需要很多個周期。一些除法操作在編譯時作為特例來處理,例如除以2的操作用左移代替余數的操作符“%”,通常使用模算法。如果這個值的模不是2的n次冪,則將花費大量的時間和代碼空間避免這種情況的發生。具體辦法是使用if()作狀態檢查。
比如,count的范圍是0~59:
count = (count+1) % 60;
用下面語句代替:
if (++count >= 60)
count = 0;
⑤ 避免使用大的局部結構體或數組,可以考慮用malloc/free代替。
⑥ 避免使用遞歸。
關于基于ARM和CPLD的嵌入式視覺系統系統方案與原理的知識點,想要了解更多的,可關注日弘智能官網,如有需要了解更多運動控制卡,運動控制器,Ethercat總線控制器,Codesys,視覺系統,視覺運動控制系統,視覺激光打標機系統,視覺點膠機系統,五軸聯動系統,振動刀切割系統,裁布切割系統的相關技術知識,歡迎留言獲取!