400 025 3599 
六自由度平臺視覺引導(dǎo)系統(tǒng)基于多目立體視覺技術(shù)，采用多相機組合實現(xiàn)反光標(biāo)記點的檢測以及對接對象目標(biāo)位姿的檢測與輸出，多目立體視覺技術(shù)在機器人對接引導(dǎo)系統(tǒng)中的應(yīng)用涉及使用多個相機或視點來檢測和追蹤靶標(biāo)的位姿，以協(xié)助機器人在對接過程中實現(xiàn)精確的定位和對準(zhǔn)，該技術(shù)允許機器人識別和跟蹤目標(biāo)靶標(biāo)的位置和姿態(tài)，從而實現(xiàn)安全和準(zhǔn)確的對接操作。
多目立體視覺系統(tǒng)使用多個攝像頭或相機來同時捕獲目標(biāo)靶標(biāo)的圖像，這些相機可以布置在不同位置和角度。這樣，系統(tǒng)可以獲得豐富的圖像信息，從不同視角觀察靶標(biāo)。在每個攝像頭的圖像中，多目立體視覺系統(tǒng)會提取靶標(biāo)上的標(biāo)志物特征點，這些特征點按照特定的方式排列安裝。然后，系統(tǒng)會嘗試將這些特征點在不同圖像之間進(jìn)行匹配，以進(jìn)一步確定該標(biāo)志物特征的空間三維信息。隨后根據(jù)標(biāo)志物特征點特定的排列規(guī)則和空間位置關(guān)系進(jìn)行靶標(biāo)位姿估計。通過匹配特征點和空間位置關(guān)系計算，系統(tǒng)可以估計靶標(biāo)的位姿，包括其位置和方向，該位姿信息將用于引導(dǎo)機器人正確對準(zhǔn)目標(biāo)。以下為該多目立體視覺引導(dǎo)系統(tǒng)具體工作原理及流程概述，其主要工作包括以下幾部分：相機的架設(shè)與調(diào)試、多目相機掃場標(biāo)定、定位相機系統(tǒng)參考坐標(biāo)系、靶球位置檢測以及目標(biāo)位姿計算。
(1)相機的架設(shè)與調(diào)試
采用四個相機的多目立體視覺系統(tǒng)中，相機的架設(shè)可以根據(jù)實際應(yīng)用場景進(jìn)行調(diào)整，采用特定的架設(shè)方式，通常采用四邊形布局架設(shè)相機，如圖1 所示，設(shè)備安裝實物圖如圖2所示，以確保最大程度覆蓋目標(biāo)區(qū)域并獲得多角度的視圖。將四個相機以平面布置在目標(biāo)區(qū)域的不同位置，相機可以均勻分布在一個平面上，也可以根據(jù)需要分布在不同的高度和角度，這樣可以獲得多個視角的信息，有助于提高位姿檢測的準(zhǔn)確性和魯棒性。但每個相機所拍攝的畫面應(yīng)該具有一定的重疊區(qū)域，以確保目標(biāo)對象在兩個以上不同相機之間存在共同可見的區(qū)域，以便進(jìn)行立體視覺匹配，重疊視野有助于提高立體視覺匹配的成功率，特別是對于復(fù)雜的場景。其中標(biāo)記球無需同時被四個相機所檢測到。
多相機系統(tǒng)需實現(xiàn)同步拍攝，確保四個相機能夠在相同的時間點拍攝圖像，以避免時間差引起的視差問題。通過一個工控主機實現(xiàn)外部的觸發(fā)同步系統(tǒng)來確保相機同時觸發(fā)快門，同時通過工控機實現(xiàn)與處理器和機器人系統(tǒng)的交互，系統(tǒng)構(gòu)成如圖3所示。
另外，需確保相機之間的相對位置和朝向是已知的，這需要進(jìn)行精確的相機掃場標(biāo)定過程來實現(xiàn)，以獲得準(zhǔn)確的相機參數(shù)。
圖1 相機架設(shè)方式
圖2 設(shè)備安裝實物圖
圖3 系統(tǒng)構(gòu)成
(2)相機掃場標(biāo)定
機器視覺就是用機器代替人眼來做測量和判斷。機器視覺系統(tǒng)是指通過機器視覺產(chǎn)品將被攝取目標(biāo)轉(zhuǎn)換成圖像信號，傳送給專用的圖像處理系統(tǒng)，得到被攝目標(biāo)的形態(tài)信息，根據(jù)像素分布和亮度、顏色等信息，轉(zhuǎn)變成數(shù)字化信號;圖像系統(tǒng)對這些信號進(jìn)行各種運算來抽取目標(biāo)的特征，進(jìn)而根據(jù)判別的結(jié)果來控制現(xiàn)場的設(shè)備動作。
在圖像測量過程以及機器視覺應(yīng)用中，為確定空間物體表面某點的三維幾何位置與其在圖像中對應(yīng)點之間的相互關(guān)系，必須建立相機成像的幾何模型，這些幾何模型參數(shù)就是相機參數(shù)。在大多數(shù)條件下這些參數(shù)必須通過實驗與計算才能得到，這個求解參數(shù)的過程就稱之為相機標(biāo)定(或攝像機標(biāo)定)。無論是在圖像測量或者機器視覺應(yīng)用中，相機參數(shù)的標(biāo)定都是非常關(guān)鍵的環(huán)節(jié)，其標(biāo)定結(jié)果的精度及算法的穩(wěn)定性直接影響相機工作產(chǎn)生結(jié)果的準(zhǔn)確性。因此，做好相機標(biāo)定是做好后續(xù)工作的前提。相機標(biāo)定方法有：傳統(tǒng)相機標(biāo)定法、主動視覺相機標(biāo)定方法、相機自標(biāo)定法。
此外，多目相機掃場標(biāo)定(Multi-camera Scene Calibration)是一種用于獲取多個相機之間以及相機與世界坐標(biāo)系之間的關(guān)系的過程。這個過程通常涉及到標(biāo)定相機的內(nèi)部參數(shù)(如焦距、主點位置、畸變系數(shù)等)以及相機的外部參數(shù)(位置和姿態(tài))。
相機模型：在多目相機標(biāo)定中，通常使用針孔相機模型來描述相機的成像過程。這個模型包括相機的內(nèi)部參數(shù)和外部參數(shù)。
內(nèi)部參數(shù)：這些參數(shù)描述了相機的內(nèi)部屬性，如焦距、主點位置、畸變系數(shù)(徑向和切向畸變)等。內(nèi)部參數(shù)通常在相機制造商的規(guī)格表中提供，但為了更準(zhǔn)確的標(biāo)定，可以使用標(biāo)定板或校準(zhǔn)目標(biāo)來測量它們。
外部參數(shù)：這些參數(shù)描述了相機在世界坐標(biāo)系中的位置和姿態(tài)。它們包括相機的位置(三維坐標(biāo))以及相機的方向(通常使用歐拉角或四元數(shù)表示)。
標(biāo)定目標(biāo)：在多目相機標(biāo)定中，通常需要使用一個或多個標(biāo)定目標(biāo)，如一維標(biāo)定桿、標(biāo)定板或標(biāo)定棋盤。這些標(biāo)定目標(biāo)上通常有已知的特征點，例如角點。這些特征點在世界坐標(biāo)系中的位置是已知的，并且可以被用來計算相機的外部參數(shù)。通過以下相機成像模型和坐標(biāo)系轉(zhuǎn)換等原理進(jìn)行單目相機標(biāo)定，并通過基于一維標(biāo)定物的多攝像機標(biāo)定方法進(jìn)行多相機統(tǒng)一標(biāo)定。
針孔成像模型：在計算機視覺這一學(xué)科領(lǐng)域的研究中，成像模型是指三維立體場景中的目標(biāo)物體投影至像平面的成像關(guān)系，攝相機的成像模型是一種簡化的光學(xué)成像模型，目前為止已有線性和非線性兩種成像模型。針孔成像模型是一種基本成像模型，通常也稱作線性模型，主要由光心、投影中心、成像面和光軸組成。實際的攝像系統(tǒng)通常都由透鏡或透鏡組構(gòu)成，平行于主光軸的光線穿過透鏡時，會聚到焦點上，焦點到透鏡中心的距離即為焦距f，相機的鏡頭相當(dāng)于凸透鏡，感光元件就在這個凸透鏡的焦點附近，將焦距近似為透鏡中心到感光元件的距離就成為針孔成像模型，如圖4所示。
圖4 針孔成像模型示意圖
坐標(biāo)系轉(zhuǎn)換關(guān)系：攝相機標(biāo)定過程涉及到世界坐標(biāo)系、相機坐標(biāo)系、成像面坐標(biāo)系以及像素坐標(biāo)系之間的關(guān)系。
(3)靶球位置檢測以及目標(biāo)位姿計算
視覺引導(dǎo)機器人定位對接系統(tǒng)中，目標(biāo)檢測部分是關(guān)鍵的技術(shù)組成部分之一，它使機器人能夠識別和定位目標(biāo)物體，以便安全、精確地對接、導(dǎo)航或操作。目標(biāo)檢測是旨在從圖像或視頻中識別和定位特定對象的技術(shù)方法。位姿檢測是實現(xiàn)對接目標(biāo)位置與姿態(tài)檢測的一個重要任務(wù)，它涉及到相機視覺系統(tǒng)、圖像處理、坐標(biāo)系轉(zhuǎn)換等多個原理和步驟。
雙目視覺的工作原理來源于人類的雙目視覺系統(tǒng)，也就是說從不同的視角通過兩個相同的相機捕獲同一個位置下的左右兩側(cè)圖像，然后再利用三角測量原理獲取物體的深度信息，通過這些深度信息重建出物體的三維模型。多目視覺是雙目視覺的一種延伸，它是在雙目視覺的基礎(chǔ)上，增加一臺或者多臺攝像機作為輔助進(jìn)行測量，從而獲得不同角度下同一物體的多對圖像。
多目視覺法不需要人為地對相關(guān)輻射源進(jìn)行設(shè)置，能夠在不接觸的情況下進(jìn)行自動在線檢測。這種方法的優(yōu)點是可以減少測量中的盲區(qū)，獲得更大的視野范圍，更高的識別精度;此外，該方法還能解決雙目視覺中的誤匹配現(xiàn)象，能夠適應(yīng)各種場景。目前，多目視覺法在車輛自主駕駛、機器人視覺、多自由度機械裝置控制等很多領(lǐng)域獲得了廣泛的應(yīng)用。
4)視差原理：
視差法是進(jìn)行深度計算、三維測量和三維重建的關(guān)鍵方法，通過計算不同攝相機抓取的二維圖像對應(yīng)點位間的視差，并根據(jù)視差法數(shù)學(xué)模型求解深度信息，進(jìn)而可以實現(xiàn)三維測量的目的，由此即可根據(jù)三維測量獲得目標(biāo)點的三維坐標(biāo)信息并進(jìn)行三維模型重建。視差是指同一物體在不同視角下產(chǎn)生的像素位移。在雙目視覺或多目立體視覺系統(tǒng)中，當(dāng)相機位于不同位置觀察同一場景時，同一物體在不同圖像中的位置差異就是視差。這個差異可以用來估計物體的深度信息。視差的大小與物體距離相機系統(tǒng)的遠(yuǎn)近有關(guān)，距離越遠(yuǎn)，視差越小，距離越近，視差越大。
視差法的第一步是計算視差圖。它是一幅灰度圖像，每個像素的灰度值表示該像素處的視差大小。視差圖中的每個像素都對應(yīng)于左圖像和右圖像中的一個匹配點。視差圖的生成通常涉及計算左圖像中的每個像素與右圖像中可能的匹配點之間的匹配代價。常用的匹配代價度量包括絕對差異、平方差異、歸一化互相關(guān)等。目標(biāo)是找到在右圖像中與左圖像中每個像素最匹配的點。在計算視差圖時，需要確定搜索策略，即確定每個像素在右圖像中搜索匹配點的范圍。通常使用的方法是在左圖像中確定一個搜索窗口，然后在右圖像中在一定范圍內(nèi)搜索匹配點。一旦得到視差圖，可以將視差值轉(zhuǎn)換為深度值。這通常涉及使用相機參數(shù)和基線長度等信息來執(zhí)行逆三角測量。較大的視差對應(yīng)于較近的物體，較小的視差對應(yīng)于較遠(yuǎn)的物體。將深度值從視差圖轉(zhuǎn)換為深度地圖，其中每個像素的深度值表示物體在空間中的距離。深度地圖可以用于三維重建和物體識別。
5)圖像預(yù)處理與特征點提?。?/b>
圖像預(yù)處理和特征點提取是本系統(tǒng)中的兩個重要步驟，目的是為了更好地分析圖像并從中提取靶球信息。預(yù)處理過程主要包括圖像濾波降噪、閾值分割以及形態(tài)學(xué)處理等操作。通過圖像預(yù)處理過程，可以實現(xiàn)降低數(shù)據(jù)復(fù)雜性，原始圖像可能包含大量的信息，包括噪聲和不相關(guān)的細(xì)節(jié)。圖像預(yù)處理有助于去除這些不必要的信息，從而降低數(shù)據(jù)的復(fù)雜性，使后續(xù)處理更加高效。同時可以消除圖像噪聲，圖像通常受到各種類型的噪聲干擾，如電子噪聲、模糊和偽影。預(yù)處理步驟，如平滑和濾波，有助于減少或去除噪聲，提高圖像質(zhì)量，并增強圖像關(guān)鍵信息，有時圖像中的靶球關(guān)鍵信息可能不夠明顯，或者受到光照變化的影響。圖像預(yù)處理可以通過增強特定特征或區(qū)域，使其更容易檢測和分析。
特征點提取的目的則為定位二維圖像中三個放反光標(biāo)記點的二維位置坐標(biāo)信息。通過輪廓提取、邊緣檢測以及亞像素中心點提取等操作步驟，獲取靶球二維位置信息，以供后續(xù)特征點匹配并計算靶標(biāo)空間位姿信息使用。
6)特征點匹配與空間位姿計算：
在不同相機采集的圖像中，進(jìn)行特征點的匹配。通過以下方法中的一種可以實現(xiàn)匹配。基于描述子的匹配：對每個特征點計算描述子，然后使用描述子之間的距離度量(如歐氏距離)來匹配特征點?；谧罱彛簩τ诿總€特征點，在另一個圖像中找到最接近的特征點作為匹配點?？梢允褂胟最近鄰算法(k-NN)來實現(xiàn)。基于RANSAC的匹配：使用RANSAC(隨機采樣一致性)算法來估計兩個圖像之間的變換矩陣，以過濾掉錯誤的匹配點。本系統(tǒng)采用基于RANSAC的匹配，效率及準(zhǔn)確率更高。完成基匹配過程后，通過以下方法確定匹配。閾值篩選：根據(jù)特征點之間的距離或相似性分?jǐn)?shù)設(shè)置一個閾值，篩選掉不滿足條件的匹配。幾何驗證：使用幾何變換關(guān)系，如基礎(chǔ)矩陣或本質(zhì)矩陣，對匹配進(jìn)行驗證，并排除不符合幾何約束的匹配點。本系統(tǒng)根據(jù)靶球設(shè)置安裝的空間距離信息進(jìn)行匹配篩選，如圖12所示，最終確定匹配關(guān)系。
最后，一旦確定了匹配的特征點，即可以使用三角測量、視差原理等重建標(biāo)記球的三維信息，包括其在世界坐標(biāo)系中的位置。圖像處理操作均通過使用OpenCV計算機視覺庫以及機器學(xué)習(xí)技術(shù)來實現(xiàn)。
在線咨詢 
