機(jī)器視覺(jué)三維成像技術(shù)簡(jiǎn)介（二）

結(jié)構(gòu)光

結(jié)構(gòu)光（Structured Light），利用鐳射二極管（Laser Diode，LD）或數(shù)字光源處理器（Digital Light Processor，DLP）將預(yù)先設(shè)計(jì)的具有特殊結(jié)構(gòu)的圖案（比如離散光斑、條紋光、編碼結(jié)構(gòu)光等）投影在被測(cè)物上，使用另一個(gè)相機(jī)觀察經(jīng)由物體不同高度位置反射回來(lái)的圖案變形情況，如果被測(cè)物表面是一個(gè)平面，則所觀察的結(jié)構(gòu)光圖案與投影類似，沒(méi)有變形，只是根據(jù)距離遠(yuǎn)近發(fā)生一定的尺度變化。但是如果被測(cè)物表面是不平的，有高低差的，則所觀察到的結(jié)構(gòu)光圖案就會(huì)隨著被測(cè)物的高度變化而發(fā)生不同程度的變形，根據(jù)這些變形就能計(jì)算被測(cè)物的位置和深度信息。

結(jié)構(gòu)光成像一般分為三步（條紋投影技術(shù)為例）：

第1步，條紋產(chǎn)生：通過(guò)計(jì)算機(jī)編程產(chǎn)生正弦條紋，將該正弦條紋通過(guò)投影設(shè)備投影至被測(cè)物，利用 CCD 相機(jī)拍攝條紋受物體調(diào)制的彎曲程度，解調(diào)該彎曲條紋得到相位，再將相位轉(zhuǎn)化為全場(chǎng)的高度。這里使用的是四步移相法， 因此這里產(chǎn)生四幅相位差 pi/2 的條紋。然后將該四幅條紋分時(shí)投影到被測(cè)物（面具）上，采集到如下圖左邊的圖（當(dāng)然也是四幅），同時(shí)要采集四幅參考面的條紋（未被調(diào)制，同樣四幅）。

第2步，相位恢復(fù)：由采集到的四幅受調(diào)制條紋圖計(jì)算出被調(diào)制相位，這里得到的相位圖是截?cái)嘞辔粓D，因?yàn)樗?步移相算法得到的結(jié)果是由反正切函數(shù)計(jì)算所得，因而被限制在[-pi,pi]之間，也就是說(shuō)每當(dāng)其值超過(guò)該范圍，其又會(huì)重新開始。

第3步，3D 重構(gòu)：上述二者相減得到相位差，該相位差則表征了被測(cè)物相對(duì)參考面的高度信息，再代入相位與高度轉(zhuǎn)化公式（其中相應(yīng)參數(shù)經(jīng)過(guò)標(biāo)定），得到 3D 結(jié)構(gòu)的圖像，具體的 3D 重構(gòu)十分依賴算法的支持，具體重構(gòu)過(guò)程需 要的算法也十分復(fù)雜。

結(jié)構(gòu)光三維成像技術(shù)目前是機(jī)器人三維視覺(jué)感知的主要方式，結(jié)構(gòu)光成像系統(tǒng)是由若干個(gè)投影儀和相機(jī)組成，常用的結(jié)構(gòu)形式有：?jiǎn)瓮队皟x-單相機(jī)、單投影儀-雙相機(jī)、單投影儀-多相機(jī)、單相機(jī)-雙投影儀和單相機(jī)-多投影儀等典型結(jié)構(gòu)形式。

結(jié)構(gòu)光和雙目立體視覺(jué)都是基于三角測(cè)量原理，要求相機(jī)和投影儀之間或雙目視覺(jué)中兩個(gè)相機(jī)之間必須間隔一定的距離，并且存在一定的夾角a（一般>15°）才能實(shí)現(xiàn)測(cè)量，都存在體積較大，如果被測(cè)物表面陡峭或有臺(tái)階容易產(chǎn)生遮擋的缺點(diǎn)。

基于結(jié)構(gòu)光和三維物體識(shí)別技術(shù)開發(fā)的機(jī)器人三維視覺(jué)引導(dǎo)系統(tǒng)，可對(duì)較大深度測(cè)量范圍內(nèi)散亂堆放的零件進(jìn)行全自由的定位和抓取。相比傳統(tǒng)的二維視覺(jué)定位方式只能對(duì)固定深度零件進(jìn)行識(shí)別且只能獲取零件的部分自由度的位置信息，具有更高的應(yīng)用柔性和更大的檢測(cè)范圍?？蔀闄C(jī)床上下料、零件分揀、碼垛堆疊等工業(yè)問(wèn)題提供有效的自動(dòng)化解決方案。

結(jié)構(gòu)光技術(shù)和激光三角有一些類似之處，但系統(tǒng)更加復(fù)雜獲取的信息也更豐富，可以生成更多細(xì)節(jié)的點(diǎn)云。結(jié)構(gòu)光相機(jī)更適合被測(cè)物靜止的場(chǎng)景，激光三角相機(jī)則更適合被測(cè)物運(yùn)動(dòng)的狀態(tài)，尤其是傳送帶或傳輸線上。在環(huán)境光復(fù)雜或者陽(yáng)光直射的場(chǎng)景，大功率激光三角相機(jī)更具有優(yōu)勢(shì)，激光器通過(guò)投射一個(gè)波長(zhǎng)非常窄的光，圖像傳感器可以通過(guò)窄帶濾波器濾除環(huán)境光干擾。結(jié)構(gòu)光相機(jī)大多使用LED光源，沒(méi)有安全風(fēng)險(xiǎn)。激光三角相機(jī)則使用激光，對(duì)眼睛有潛在的安全風(fēng)險(xiǎn)。對(duì)于亞微米應(yīng)用場(chǎng)景，結(jié)構(gòu)光相機(jī)更有優(yōu)勢(shì)，激光三角相機(jī)由于存在激光散斑而達(dá)不到亞微米的精度。結(jié)構(gòu)光相機(jī)是全視場(chǎng)一次即可完成三維成像，而不像激光三角相機(jī)那樣一次只可以獲取被測(cè)物斷面的深度信息。實(shí)際應(yīng)用中，結(jié)構(gòu)光相機(jī)是將精確校準(zhǔn)的白色或藍(lán)色且有特殊結(jié)構(gòu)的光投影到被測(cè)物上，常見(jiàn)的結(jié)構(gòu)有平行的線、條紋或者網(wǎng)格。當(dāng)結(jié)構(gòu)光照射在被測(cè)物表面上，光的結(jié)構(gòu)會(huì)隨著被測(cè)物表面高低及曲率的變化而變化。以條紋形結(jié)構(gòu)光為例，條紋在被測(cè)物表面會(huì)變厚或變薄，意味著這些地方的采樣點(diǎn)與相機(jī)的距離相應(yīng)地較近或較遠(yuǎn)，特殊設(shè)計(jì)的模式識(shí)別和三維重建算法會(huì)根據(jù)信息完成三維成像。一些結(jié)構(gòu)光相機(jī)的投影儀同時(shí)具有RGB相機(jī)的作用可以獲取被測(cè)物的紋理和色彩信息。

昊艾智能代理的ZIVID結(jié)構(gòu)光相機(jī)采用單投影儀單相機(jī)的設(shè)計(jì)，與主動(dòng)雙目立體視覺(jué)相似，但是少了一個(gè)相機(jī)。通過(guò)主動(dòng)投射結(jié)構(gòu)化光源的形式人為給目標(biāo)測(cè)量物體添加了易于識(shí)別的特征點(diǎn)。由于結(jié)構(gòu)預(yù)先已知且不是隨機(jī)的，特征提取的運(yùn)算量更低，同時(shí)也避免了相關(guān)性計(jì)算問(wèn)題。單投影儀單相機(jī)的結(jié)構(gòu)光相機(jī)和主動(dòng)雙目立體視覺(jué)相機(jī)一樣，同樣面臨著塊平均、分辨率和精度的問(wèn)題。ZIVID結(jié)構(gòu)光相機(jī)為了克服這些問(wèn)題通過(guò)引入同時(shí)具有時(shí)域和空間域編碼的結(jié)構(gòu)光。但是結(jié)構(gòu)光相機(jī)和激光三角相機(jī)一樣，對(duì)于鏡面、深色或吸收率大的物體，依然會(huì)產(chǎn)生數(shù)據(jù)丟失和檢測(cè)錯(cuò)誤。下面是ZIVID結(jié)構(gòu)光相機(jī)和雙目立體視覺(jué)相機(jī)所獲取的點(diǎn)云對(duì)比：

小米在小米8透明探索版上發(fā)了安卓陣營(yíng)的3D結(jié)構(gòu)光技術(shù)，OPPO隨后在Find X中也用上了3D結(jié)構(gòu)光，Vivo發(fā)了ToF 3D超感應(yīng)技術(shù)，30萬(wàn)個(gè)紅外測(cè)量點(diǎn)。ToF有效深度信息量是結(jié)構(gòu)光10倍的由來(lái)，除了信息量更高之外，ToF的工作距離也要比結(jié)構(gòu)光更高，使用距離可達(dá)3米，達(dá)到了后者的三倍。

激光三角

激光三角（Laser Triangulation）測(cè)量法是將相機(jī)鏡頭和激光成一定的角度，激光光源投射到被測(cè)物的表面，生成物體表面的輪廓線，若要獲取被測(cè)物的三維圖像，物體和相機(jī)必須要發(fā)生相對(duì)運(yùn)動(dòng)以生成多條物體表面輪廓線，最后相機(jī)將這些輪廓線組成一副三維圖像。該方法通過(guò)測(cè)量一條線的幾何偏移，該線的值與物體的高度有關(guān)。它是基于對(duì)象掃描的一維成像技術(shù)。根據(jù)激光發(fā)射器與被測(cè)物的距離，鐳射點(diǎn)會(huì)出現(xiàn)在相機(jī)視場(chǎng)的不同位置。由鐳射點(diǎn)、相機(jī)和激光發(fā)射器形成三角形光路，因此該技術(shù)常被稱為三角測(cè)量。該技術(shù)對(duì)結(jié)構(gòu)化或復(fù)雜的表面敏感，在被測(cè)物過(guò)高時(shí)一些激光線會(huì)因?yàn)檎趽醵荒芊瓷涞较鄼C(jī)。

按入射光束與被測(cè)物體表面法線的角度關(guān)系，激光三角測(cè)量法可分為斜射式和直射式兩種。直射式是入射光束與被測(cè)物體表面法線的夾角為0。斜射式是入射光束與被測(cè)物體表面法線的夾角為a>0。常見(jiàn)的直射式和斜射式布置方式具體如下圖所示：

直射式

斜射式

下面以直射式為例介紹激光三角測(cè)量法的原理。

上圖中紅色、綠色和藍(lán)色虛線表示不同距離反射光將投射到相機(jī)成像面的不同位置，根據(jù)這些位置計(jì)算傳感器與被測(cè)物表面的距離。垂直距離d的變化將導(dǎo)致相機(jī)成像位置d'的變化?？梢钥闯鲞@種技術(shù)的測(cè)量范圍和精度相互制約。精度越高意味著垂直距離的變化反映在相機(jī)成像面上位移變化越小。這樣一來(lái)，目標(biāo)位置的變化范圍必然是有限的。隨著目標(biāo)深度的增加，很快就會(huì)超過(guò)相機(jī)成像傳感器的物理尺寸。在光學(xué)系統(tǒng)的具體設(shè)計(jì)中，需要根據(jù)測(cè)量需求在測(cè)量范圍和測(cè)量精度上做權(quán)衡，以實(shí)現(xiàn)佳的效果。

以激光三角測(cè)量法為基礎(chǔ)的相機(jī)主要由鐳射二極管（Laser Diode，LD）、會(huì)聚鏡頭、接收鏡頭、圖像傳感器和一個(gè)信號(hào)處理單元組成。其光路具體如下圖所示：

• x表示被測(cè)物表面相對(duì)于初始參考平面的偏移

• x'表示被測(cè)物在圖像傳感器上的偏移

• a表示激光束與接收鏡頭光軸的夾角

• β表示接收鏡頭光軸與成像傳感器表面的夾角

• L表示被測(cè)物表面與接收鏡頭的距離

• L'表示接收鏡頭與圖像傳感器所成像的距離

則利用相似三角形原理，可得到：

激光三角測(cè)量法具有非常高的分辨率和測(cè)量精度，其分辨率可擴(kuò)展到毫米及微米級(jí)別，但在實(shí)際應(yīng)用中受相機(jī)和激光光源橫向距離的限制，并且測(cè)量時(shí)間較長(zhǎng)，僅適用于較短距離的測(cè)量。對(duì)于直射式激光三角相機(jī)雖然增大相機(jī)光軸和激光平面之間的夾角，可以提高 z 軸分辨率，但隨著夾角 θ 的增大，光學(xué)遮擋現(xiàn)象也會(huì)愈發(fā)明顯尤其是物體表面有凹凸起伏時(shí)，這種結(jié)構(gòu)均存在一定的遮擋：激光線照不到的區(qū)域稱為陰影，相機(jī)接收不著反射光線的區(qū)域稱為盲區(qū)。

如果被測(cè)物體的表面不均勻，則除了光學(xué)遮擋外，還有可能出現(xiàn)多重反射。

如下圖，光線1是入射光在物體表面發(fā)生的第1次反射，光線2是入射光在物體表面發(fā)生的第二次反射，這兩條光線在探測(cè)器上的成像位置不同。

如下圖，紅色入射光線在物體表面發(fā)生的兩次次反射，這兩次光線在探測(cè)器上的成像位置相同。

Zivid 2+ M60

昊艾智能代理的Zivid 2+ M60是高分辨率機(jī)器人固定式3D+2D相機(jī)，用于對(duì)分辨率、準(zhǔn)確性和細(xì)節(jié)要求高的應(yīng)用。該款相機(jī)是Zivid 3D相機(jī)中可以捕獲最清晰、最密集點(diǎn)云的產(chǎn)品，每平方厘米可達(dá)5000個(gè)點(diǎn)，尺寸準(zhǔn)確度大于99.8%，一切物體都可以以其真實(shí)形式展現(xiàn)。對(duì)于檢測(cè)質(zhì)量和精細(xì)靈巧的裝配任務(wù)，它可以輕松地觀察到每個(gè)細(xì)節(jié)、特征以及缺陷。僅100毫秒的時(shí)間內(nèi)捕捉到最令人驚嘆的點(diǎn)云。

關(guān)于昊艾智能

昊艾智能是德國(guó) ZIVID 在中國(guó) 3D 視覺(jué)領(lǐng)域的專業(yè)代理商。

昊艾智能專注于提供3D機(jī)器視覺(jué)整體解決方案，助力中國(guó)智能制造水平的提升與產(chǎn)業(yè)升級(jí)！

目前，我們擁有一批高素質(zhì)的3D機(jī)器視覺(jué)應(yīng)用工程師與算法研發(fā)工程師，具有完備的機(jī)器視覺(jué)項(xiàng)目評(píng)估能力與底層核心算法開發(fā)能力。我們的3D機(jī)器視覺(jué)整體解決方案在動(dòng)力電池、汽車行業(yè)、消費(fèi)電子、白色家電、軌交檢測(cè)等多個(gè)領(lǐng)域成功落地實(shí)施，積累了豐富的3D機(jī)器視覺(jué)項(xiàng)目應(yīng)用與軟件開發(fā)經(jīng)驗(yàn)！

昊艾智能主營(yíng)產(chǎn)品：3D機(jī)器視覺(jué)整體解決方案，包括結(jié)構(gòu)光3D相機(jī)、激光線掃相機(jī)、SICK 3D線激光輪廓傳感器、TOF相機(jī)，高精度3D測(cè)量系統(tǒng)、視覺(jué)引導(dǎo)定位系統(tǒng)、無(wú)序抓取系統(tǒng)等，可實(shí)現(xiàn)平面度、高度差、位置度測(cè)量、凹凸缺陷檢測(cè)、膠路檢測(cè)、視覺(jué)引導(dǎo)機(jī)器人打磨、視覺(jué)引導(dǎo)機(jī)器人工件定位裝配、工件無(wú)序抓取等功能。