視覺(jué) AI BU 出品深度好文，強(qiáng)烈建議收藏！

從手機(jī)解鎖、支付消費(fèi)到工廠的生產(chǎn)應(yīng)用，3D 視覺(jué)已經(jīng)深入到生活的方方面面。那到底什么是3D 視覺(jué)。它在仙工智能視覺(jué) AI 解決方案中又扮演著什么角色？

3D視覺(jué)與2D視覺(jué)的技術(shù)差異  

3D 視覺(jué)與 2D視覺(jué)技術(shù)的最大區(qū)別在于處理的數(shù)據(jù)類型不同。在 3D 視覺(jué)領(lǐng)域，被處理的對(duì)象通常是依靠 3D 傳感器采集到的三維點(diǎn)云數(shù)據(jù)，而 2D 視覺(jué)技術(shù)主要被用于處理平面圖像里的信息。這決定了 3D 視覺(jué)不僅能夠感知場(chǎng)景中物體的有無(wú)，還能夠準(zhǔn)確的感知到物體離我們距離遠(yuǎn)近、尺寸大小和位置朝向。

搭配上 RoboView Server 算法平臺(tái)，AMR 就可以擁有像人眼一樣能夠真實(shí)感知物體的三維尺寸信息的視覺(jué)，更好地實(shí)現(xiàn) 2D 視覺(jué)無(wú)法實(shí)現(xiàn)或者不好實(shí)現(xiàn)的功能。

RoboView 如何

通過(guò) 3D 視覺(jué)實(shí)現(xiàn)這些功能

雖然 3D 成像技術(shù)在不斷發(fā)展，但目前依然沒(méi)有具備抗環(huán)境光干擾能力強(qiáng)、成像距離遠(yuǎn)、測(cè)距精度高、分辨高和成本低等優(yōu)點(diǎn)于一身的 3D 傳感器。

因此，目前 3D 視覺(jué)的應(yīng)用還是依據(jù)具體的使用場(chǎng)景和預(yù)算來(lái)選擇相機(jī)，然后根據(jù)相機(jī)成像結(jié)果來(lái)定制性的進(jìn)行算法開發(fā)。這種成本高、周期久的應(yīng)用模式嚴(yán)重限制了 3D 視覺(jué)在實(shí)際場(chǎng)景中的使用。

本著以標(biāo)準(zhǔn)化產(chǎn)品支撐非標(biāo)應(yīng)用的思維，RoboView 的3D 視覺(jué)模塊對(duì)過(guò)往3D視覺(jué)非標(biāo)項(xiàng)目進(jìn)行總結(jié)性分析，六大基本操作流程，就像生產(chǎn)線上的六道基本工序一樣對(duì) 3D 視覺(jué)數(shù)據(jù)進(jìn)行分解、處理和分析，最終得到我們想要的信息。

第一步-數(shù)據(jù)采集

3D 數(shù)據(jù)采集流程主要工作是獲取場(chǎng)景的 3D 信息，該流程對(duì)外面對(duì)的是不同品牌和型號(hào)的 3D 傳感器接口，對(duì)內(nèi)是輸出同一格式的 3D 視覺(jué)數(shù)據(jù)。實(shí)現(xiàn)了對(duì)外整合和對(duì)內(nèi)的統(tǒng)一。

第二步-數(shù)據(jù)標(biāo)定

數(shù)據(jù)標(biāo)定主要工作是建立3D 傳感器與真實(shí)場(chǎng)景之間的聯(lián)系，將3D傳感器看到的事物與真實(shí)場(chǎng)景中存在的事物建立一一對(duì)應(yīng)關(guān)系。完成數(shù)據(jù)標(biāo)定過(guò)程，我們就可以將3D視覺(jué)數(shù)據(jù)分析出來(lái)的結(jié)果反饋到到真實(shí)場(chǎng)景中。

第三步-數(shù)據(jù)濾波

數(shù)據(jù)濾波過(guò)程相當(dāng)于對(duì)采集到的3D信息進(jìn)行一次初略的清洗，去除與后續(xù)分析對(duì)象無(wú)關(guān)的信息，可以方便我們更加聚焦在需要處理的對(duì)象上。

第四步-場(chǎng)景分割

場(chǎng)景分割是對(duì)3D數(shù)據(jù)進(jìn)行降維處理，將濾波后的3D視覺(jué)數(shù)據(jù)根據(jù)其結(jié)構(gòu)特征及紋理差異分割成平面、連續(xù)曲面等一系列簡(jiǎn)單結(jié)構(gòu)的3D視覺(jué)數(shù)據(jù)。通過(guò)將場(chǎng)景內(nèi)的3D視覺(jué)數(shù)據(jù)分割成一塊塊簡(jiǎn)單結(jié)構(gòu)特征，可以有效的避免兩個(gè)不同對(duì)象干擾后期的目標(biāo)識(shí)別結(jié)果。

第五步-目標(biāo)識(shí)別

目標(biāo)識(shí)別就是確定目標(biāo)物體在場(chǎng)景中的位置和姿態(tài)，利用目標(biāo)識(shí)別算法準(zhǔn)確的識(shí)別場(chǎng)景中的貨物所在位置為后續(xù)數(shù)據(jù)評(píng)估提供基礎(chǔ)。識(shí)別出貨物的位置與姿態(tài)也可以用來(lái)引導(dǎo)機(jī)器人對(duì)貨物進(jìn)行叉取轉(zhuǎn)運(yùn)。

第六步-數(shù)據(jù)評(píng)估

準(zhǔn)確識(shí)別出場(chǎng)景中的貨物后，數(shù)據(jù)評(píng)估流程就可以評(píng)估貨物的長(zhǎng)、寬、高等尺寸信息，進(jìn)而分析出貨物堆疊層高、貨物類型等深層次信息。

RoboView 3D 視覺(jué)提供功能

1、障礙物檢測(cè)

3D 視覺(jué)下，無(wú)懼陰影和視線遮擋等，有效減少誤警問(wèn)題，大幅提升應(yīng)急通道障礙物檢測(cè)功能的準(zhǔn)確性。

2、庫(kù)位管理

帶有 3D 視覺(jué)的庫(kù)位管理，不僅可以準(zhǔn)確管理庫(kù)位內(nèi)貨物有無(wú)信息，更高級(jí)的貨物尺寸信息、堆疊層高和貨物擺放位姿等信息。這些深層次的信息為后續(xù)的高層級(jí)應(yīng)用如目標(biāo)檢測(cè)，AGV 調(diào)度等深層次的庫(kù)位管理功能提供了可能。

除此之外，仙工智能視覺(jué) AI 解決方案 RoboView 為客戶提供覆蓋生產(chǎn)、安全、管理等環(huán)節(jié)下眾多應(yīng)用的視覺(jué) AI 解決方案。解決方案涵蓋前期調(diào)研、中期研發(fā)、落地和后期的產(chǎn)品維護(hù)和升級(jí)，助力客戶提高生產(chǎn)效率，加速完成智能化生產(chǎn)。

關(guān)于仙工智能上海仙工智能科技有限公司由 RoboCup 世界冠軍團(tuán)隊(duì)創(chuàng)立，是一家以智能控制及數(shù)字化為核心的工業(yè)物流解決方案提供商。公司總部位于上海，全國(guó)設(shè)有 7 個(gè)辦事處、2 個(gè)生產(chǎn)基地，業(yè)務(wù)遍及全球 20 多個(gè)國(guó)家和地區(qū)。

仙工智能掌握世界領(lǐng)先的技術(shù)與理念，打造智能、高效、可靠、易用的端到端工業(yè)物流解決方案，方案涵蓋移動(dòng)機(jī)器人控制器、移動(dòng)機(jī)器人及相關(guān)數(shù)字化系統(tǒng)軟件，幫助客戶降本增效，實(shí)現(xiàn)智能化與數(shù)字化升級(jí)。