曾經，機(ji)器(qi)(qi)人(ren)(ren)(ren)還只是存在于科幻電(dian)影和小說中的(de)一種虛擬想象(xiang)，如今，掃地機(ji)器(qi)(qi)人(ren)(ren)(ren)、服(fu)務機(ji)器(qi)(qi)人(ren)(ren)(ren)、配送機(ji)器(qi)(qi)人(ren)(ren)(ren)……人(ren)(ren)(ren)工智能已經能夠(gou)以(yi)越來越多(duo)的(de)方式(shi)服(fu)務于我們的(de)日常生活。在這一過程中，機(ji)器(qi)(qi)人(ren)(ren)(ren)視覺傳感器(qi)(qi)的(de)發展起(qi)到了不可(ke)或缺的(de)作用。
近(jin)日舉行的(de)第二(er)十(shi)四屆高交會(hui)中(zhong)，元(yuan)橡科技機(ji)器人(ren)(ren)視(shi)覺產品線負責人(ren)(ren)周揚(yang)揚(yang)在(zai)其中(zhong)的(de)2022“智能(neng)提升(sheng)制造(zao)業競爭(zheng)力(li)”中(zhong)國先進制造(zao)業創新論(lun)壇帶(dai)來(lai)《機(ji)器人(ren)(ren)環境(jing)感知與雙目(mu)立體(ti)視(shi)覺》主題分享。以下為分享摘要。
一般來說，機器人(ren)會有三個(ge)核心的(de)技(ji)術：感(gan)知、決策、控(kong)制(zhi)執(zhi)行。而我們專注(zhu)的(de)雙目立體視覺其實就是感(gan)知層面的(de)一種技(ji)術方(fang)案。
正(zheng)如我(wo)們(men)所(suo)知，人(ren)類(lei)(lei)身(shen)上的“傳感器”是(shi)我(wo)們(men)的眼睛、耳朵、鼻子(zi)等(deng)(deng)，不同的傳感器起到不同的作用，最終我(wo)們(men)可(ke)以根(gen)據感知去決策并控制我(wo)們(men)的運(yun)動(dong)。機(ji)器人(ren)也(ye)是(shi)一樣(yang)(yang)的，對(dui)于(yu)可(ke)移動(dong)機(ji)器人(ren)來(lai)說，最核心的技(ji)術點(dian)在于(yu)建圖和定位(wei)，就是(shi)一要(yao)知道(dao)周(zhou)邊有什么環(huan)境，二要(yao)知道(dao)自己在什么位(wei)置(zhi)；對(dui)于(yu)工業制造類(lei)(lei)機(ji)器人(ren)來(lai)說，側重點(dian)可(ke)能不一樣(yang)(yang)，它要(yao)去識別、定位(wei)、檢測、測量等(deng)(deng)等(deng)(deng)。
目前我們已經有很多類(lei)型的(de)傳感器，而(er)在具體(ti)領域的(de)應用上，我們就要(yao)去對(dui)比每一種傳感器的(de)優缺(que)點，從而(er)找(zhao)到(dao)最適合的(de)方(fang)案。
環境感知技術對比
首先單(dan)目攝像頭是(shi)一個非常廣泛使(shi)用并且成(cheng)本較低(di)的(de)(de)方案(an)，它的(de)(de)優點(dian)是(shi)便(bian)宜成(cheng)熟，分辨率可(ke)以(yi)做的(de)(de)很高(gao)，但是(shi)對于機(ji)器人而言，單(dan)目攝像頭只有X、Y方向的(de)(de)信息，缺少距離(li)感(gan)知。
雙目攝(she)像頭相(xiang)當于兩個單目疊(die)加，它除了(le)具備單目的(de)優勢和(he)特點之外(wai)，還能通(tong)過一系(xi)列運算得到周圍物(wu)體的(de)深(shen)度(du)信息和(he)尺寸信息，因此(ci)可以更(geng)好地應用于移動(dong)機器(qi)人的(de)定位、避(bi)障(zhang)等場景。
激(ji)(ji)光(guang)雷達(da)(da)也是(shi)在機(ji)器(qi)人或者車載領域用的(de)(de)很(hen)(hen)多的(de)(de)一種(zhong)傳(chuan)感(gan)器(qi)，它的(de)(de)測(ce)量是(shi)基于光(guang)的(de)(de)飛行(xing)時間。激(ji)(ji)光(guang)雷達(da)(da)的(de)(de)優點(dian)是(shi)光(guang)的(de)(de)距(ju)離可以(yi)達(da)(da)到很(hen)(hen)遠，就(jiu)是(shi)如果場景很(hen)(hen)大，要做測(ce)距(ju)也能測(ce)的(de)(de)很(hen)(hen)準。而(er)它的(de)(de)缺點(dian)就(jiu)在于成本(ben)高昂，如果要去感(gan)知一個(ge)非常精密的(de)(de)3D場景，那就(jiu)需(xu)要用到多線激(ji)(ji)光(guang)雷達(da)(da)，成本(ben)會(hui)很(hen)(hen)高。
還(huan)有一(yi)(yi)種我們(men)經常用(yong)到的傳(chuan)感(gan)(gan)器是(shi)超(chao)聲波(bo)(bo)雷達(da)(da)，汽(qi)車(che)倒車(che)雷達(da)(da)就(jiu)是(shi)它的一(yi)(yi)個典型應用(yong)場景，機器人里面(mian)也會用(yong)來做一(yi)(yi)些(xie)避障。超(chao)聲波(bo)(bo)雷達(da)(da)是(shi)感(gan)(gan)知層面(mian)多(duo)傳(chuan)感(gan)(gan)器融(rong)合的技(ji)術方(fang)案里面(mian)必不(bu)可少的一(yi)(yi)個低成(cheng)本(ben)感(gan)(gan)知方(fang)式。它可以解決視覺和激(ji)光雷達(da)(da)面(mian)臨的一(yi)(yi)些(xie)問題，比如透明(ming)玻(bo)璃或者(zhe)說一(yi)(yi)些(xie)反(fan)光的物體，超(chao)聲波(bo)(bo)雷達(da)(da)在(zai)應對這些(xie)問題上是(shi)一(yi)(yi)個很好(hao)的補(bu)充。
另外一(yi)些傳感器，比(bi)如IMU是用來做自身姿態(tai)的(de)檢測的(de)，包括加速度、角(jiao)速度以(yi)及方(fang)位等。還有全球導航定位系(xi)統可以(yi)提供精確的(de)具(ju)體位置(zhi)，在(zai)室外機器人上應用比(bi)較多，但問題(ti)是容易受(shou)到一(yi)些遮擋物的(de)干(gan)擾(rao)，導致定位精度下(xia)降很快。
雙目立體視覺深度感知
在所有的環(huan)境(jing)感知(zhi)技術中，雙目立體(ti)視覺的原(yuan)理(li)是基于三角測(ce)量原(yuan)理(li)，利用成像設備從不同(tong)的位置(zhi)獲(huo)取(qu)被測(ce)物(wu)體(ti)的兩幅圖像，通過計(ji)算圖像對應點(dian)間的位置(zhi)偏(pian)差(cha)，來(lai)獲(huo)取(qu)物(wu)體(ti)三維(wei)幾何信息的方法。
在移動機器人領域，深度感(gan)(gan)知(zhi)(zhi)是非常重要的(de)(de)。一般來說，單目攝像(xiang)頭也能(neng)做一些簡單的(de)(de)深度感(gan)(gan)知(zhi)(zhi)處理，通過獲(huo)取大(da)量的(de)(de)數據進行學習(xi)訓(xun)練(lian)，基于先驗(yan)知(zhi)(zhi)識去判斷這(zhe)個物(wu)(wu)體距離有多遠(yuan)，但(dan)不(bu)(bu)足之(zhi)處就在于它不(bu)(bu)能(neng)窮舉數據集，總會遇到一些沒有學習(xi)訓(xun)練(lian)過的(de)(de)一些物(wu)(wu)體，這(zhe)樣的(de)(de)話(hua)就很難去做感(gan)(gan)知(zhi)(zhi)。這(zhe)是單目的(de)(de)先天性局限。
而雙目是基于數學(xue)(xue)測量方式(shi)，就像(xiang)我們人眼一樣，我們走到(dao)任何一個(ge)地方，不需要知道這個(ge)地方有什么東西，也可(ke)以判斷它的(de)(de)(de)距離有多遠。雙目立體(ti)視(shi)覺不需要大量的(de)(de)(de)先驗學(xue)(xue)習(xi)，它利用可(ke)靠的(de)(de)(de)物理信息分析場(chang)景(jing)，得到(dao)很詳(xiang)細的(de)(de)(de)信息數據(ju)。
那雙(shuang)目和激(ji)(ji)光(guang)雷達(da)(da)又(you)有什么樣的(de)(de)差別呢(ni)？激(ji)(ji)光(guang)雷達(da)(da)在(zai)自動駕駛(shi)、機(ji)器人領域已(yi)經有了比(bi)較廣泛的(de)(de)應用。它的(de)(de)好(hao)處是(shi)(shi)精度可(ke)以(yi)做的(de)(de)比(bi)較高(gao)，距(ju)離(li)看(kan)的(de)(de)比(bi)較遠，比(bi)如(ru)(ru)說(shuo)看(kan)100米或者更(geng)遠距(ju)離(li)，它的(de)(de)精度跟看(kan)1米的(de)(de)距(ju)離(li)是(shi)(shi)一樣的(de)(de)。而它的(de)(de)不足是(shi)(shi)信息量偏少，如(ru)(ru)果(guo)增加線數(shu)就(jiu)帶來(lai)成本(ben)的(de)(de)很(hen)(hen)大上(shang)升。相比(bi)較而言，雙(shuang)目分(fen)辨(bian)率可(ke)以(yi)做很(hen)(hen)高(gao)，比(bi)如(ru)(ru)720P的(de)(de)攝像頭可(ke)以(yi)等(deng)效于(yu)720線激(ji)(ji)光(guang)雷達(da)(da)，1080P攝像頭的(de)(de)等(deng)效激(ji)(ji)光(guang)線數(shu)就(jiu)是(shi)(shi)1080線。但是(shi)(shi)由(you)于(yu)雙(shuang)目的(de)(de)成像原理，如(ru)(ru)果(guo)這(zhe)個(ge)物體離(li)得(de)比(bi)較遠，那感知(zhi)精度就(jiu)會下降，相反如(ru)(ru)果(guo)物體離(li)得(de)很(hen)(hen)近，那它的(de)(de)精度甚(shen)至會超過激(ji)(ji)光(guang)雷達(da)(da)。雙(shuang)目最(zui)大的(de)(de)好(hao)處就(jiu)是(shi)(shi)它的(de)(de)成本(ben)很(hen)(hen)低。
雙目立體視覺在機器人中的價值
在機器人里(li)面雙(shuang)目(mu)的(de)(de)應用主要(yao)(yao)有(you)障礙物(wu)測距(ju)避障、空間可(ke)通(tong)過(guo)性(xing)檢(jian)測等，比如前方空間內(nei)有(you)沒有(you)無法通(tong)過(guo)的(de)(de)限寬(kuan)，地面上是(shi)不是(shi)有(you)一些凹槽等等，都可(ke)以用雙(shuang)目(mu)來感知。當然(ran)還有(you)一個非常(chang)重(zhong)要(yao)(yao)的(de)(de)功能就是(shi)雙(shuang)目(mu)VSLAM建(jian)圖定位(wei)可(ke)以做到非常(chang)好的(de)(de)效果。
無論在車端還是機器(qi)人上，用(yong)雙目替代部分(fen)的激光雷達可以實現最終產品的低成本化(hua)，加速(su)商業(ye)落地。形成商業(ye)閉環(huan)的核心因素就(jiu)是成本因素，同時有了高分(fen)辨率(lv)的深度(du)感知(zhi)信(xin)息(xi)也就(jiu)可以做到很多的應用(yong)，包括體(ti)積(ji)測量(liang)、體(ti)感定位、三維建圖等等。
還(huan)有(you)我們基于Depth的(de)Deep learning，在有(you)深度信息(xi)的(de)情況下來做深度學習，對于三(san)維空間環(huan)境(jing)和物體的(de)感知以及工業(ye)生(sheng)產缺陷的(de)檢測等都有(you)非常好的(de)一個(ge)幫助。
元橡移動機器人視覺產品特色
元橡雙目產品的(de)的(de)核(he)(he)心技術(shu)(shu)特點包括小尺(chi)寸(cun)，可以在(zai)短基(ji)線（即(ji)小尺(chi)寸(cun)）的(de)基(ji)礎上來(lai)做(zuo)遠距離探測（10厘(li)米基(ji)線可探測距離達到200米）；高(gao)(gao)精(jing)度，30米內能(neng)(neng)達到約99%的(de)精(jing)度；低(di)時延，運用了單(dan)行(xing)輸(shu)入、單(dan)行(xing)計算的(de)核(he)(he)心處理技術(shu)(shu)，可以做(zuo)到非常(chang)低(di)的(de)一個時延，這(zhe)個對于移動機器人來(lai)說(shuo)也是非常(chang)重要的(de)；低(di)能(neng)(neng)耗(hao)，高(gao)(gao)精(jing)度算法硬件(jian)化，能(neng)(neng)耗(hao)降(jiang)至(zhi)非常(chang)低(di)；多(duo)(duo)規(gui)格(ge)多(duo)(duo)方(fang)案(an)，多(duo)(duo)種尺(chi)寸(cun)規(gui)程，不同(tong)視角配置，廣泛場(chang)景(jing)適應(ying)，可選智能(neng)(neng)化方(fang)案(an)，直接輸(shu)出障礙物檢(jian)測/定位/建圖結果，降(jiang)低(di)用戶開發難度。
元橡機器人視覺產品
元橡針對機(ji)器人推出的(de)雙(shuang)目立體(ti)視覺產(chan)品包括元目S3系列、R3系列等。
S3系(xi)(xi)列相(xiang)機(ji)基于我們(men)自研的(de)雙(shuang)目ASIC深度芯(xin)片，尺寸(cun)不大(da)但(dan)測量距(ju)離能(neng)夠達到20米(mi)，3米(mi)內誤(wu)差(cha)低(di)至±1%。S3系(xi)(xi)列相(xiang)機(ji)已經在無(wu)人(ren)機(ji)、無(wu)人(ren)車和服務機(ji)器人(ren)上進行了廣泛的(de)應用(yong)。
?元目S3系(xi)列相機
R3系(xi)列相機(ji)尺(chi)寸(cun)更小，性價(jia)比更高，主要應用在(zai)服務機(ji)器(qi)人等的(de)避障和(he)地面近距(ju)離感知等場景(jing)，更偏向于(yu)室內機(ji)器(qi)人的(de)應用。
?元目R3系列(lie)相機
同時我們(men)(men)也(ye)有一套整體的相(xiang)(xiang)機(ji)解決(jue)方案(an)。這(zhe)(zhe)個(ge)解決(jue)方案(an)除了基(ji)于我們(men)(men)核心的3D感知產品外，還內(nei)置了我們(men)(men)的算法，也(ye)就是說包括障礙(ai)物的檢測(ce)、可(ke)行(xing)駛區域檢測(ce)、建(jian)圖定位等都在這(zhe)(zhe)個(ge)相(xiang)(xiang)機(ji)里(li)面完成了，這(zhe)(zhe)樣用戶可(ke)以很(hen)方便地來集成。
除了機(ji)器(qi)人視覺產品(pin)外，元(yuan)橡雙(shuang)目相(xiang)(xiang)機(ji)在(zai)(zai)車載領域(yu)已(yi)經(jing)應用(yong)于數十款車型 ，在(zai)(zai)工業(ye)檢(jian)測(ce)方(fang)(fang)面，我們(men)也提出了相(xiang)(xiang)關方(fang)(fang)案，比如(ru)目前已(yi)經(jing)落地的(de)油箱焊(han)(han)接(jie)質(zhi)量(liang)在(zai)(zai)線視覺檢(jian)測(ce)方(fang)(fang)案，基于工業(ye)相(xiang)(xiang)機(ji)、3D雙(shuang)目相(xiang)(xiang)機(ji)再(zai)加上(shang)配(pei)套的(de)檢(jian)測(ce)算(suan)法和軟件(jian)，實時進(jin)行(xing)焊(han)(han)接(jie)質(zhi)量(liang)檢(jian)測(ce)，包括焊(han)(han)接(jie)點位(wei)是否缺失、偏位(wei)、破損(sun)以(yi)及是否牢固等等。
元橡科技簡介
元(yuan)橡科(ke)技成立(li)(li)于2017年(nian)(nian)，創始團(tuan)隊最早就(jiu)是(shi)(shi)做(zuo)(zuo)車(che)(che)(che)載(zai)雙(shuang)目(mu)(mu)出身，在(zai)雙(shuang)目(mu)(mu)技術(shu)領域至今已經有15年(nian)(nian)以(yi)上(shang)(shang)的(de)研(yan)發經驗，這也(ye)是(shi)(shi)為(wei)什么我們(men)(men)在(zai)成立(li)(li)的(de)第(di)二年(nian)(nian)就(jiu)實(shi)(shi)現了(le)龍頭商用(yong)車(che)(che)(che)企的(de)量(liang)(liang)(liang)產(chan)供貨(huo)。2021年(nian)(nian)，元(yuan)橡立(li)(li)體(ti)視覺(jue)相機(ji)年(nian)(nian)出貨(huo)量(liang)(liang)(liang)達(da)到20萬(wan)套。在(zai)車(che)(che)(che)載(zai)領域我們(men)(men)有了(le)很好(hao)的(de)布局(ju)，在(zai)無人(ren)機(ji)、機(ji)器人(ren)等產(chan)品上(shang)(shang)我們(men)(men)也(ye)實(shi)(shi)現了(le)落地。今年(nian)(nian)，乘用(yong)車(che)(che)(che)的(de)前裝定點已經陸續敲定，未來(lai)，很多搭載(zai)我們(men)(men)雙(shuang)目(mu)(mu)技術(shu)的(de)乘用(yong)車(che)(che)(che)也(ye)將走向市(shi)場(chang)。元(yuan)橡的(de)核心技術(shu)主要就(jiu)在(zai)于我們(men)(men)的(de)立(li)(li)體(ti)視覺(jue)算法(fa)、ISP處理技術(shu)、專(zhuan)用(yong)芯片研(yan)發設計能力以(yi)及(ji)(ji)深(shen)度學(xue)習視覺(jue)算法(fa)等等，當然最后的(de)工程整(zheng)合也(ye)會包(bao)(bao)含我們(men)(men)的(de)光機(ji)電整(zheng)套系統，也(ye)包(bao)(bao)括(kuo)我們(men)(men)的(de)質量(liang)(liang)(liang)管(guan)(guan)理體(ti)系，目(mu)(mu)前元(yuan)橡正在(zai)通過IATF-16949的(de)車(che)(che)(che)規級質量(liang)(liang)(liang)管(guan)(guan)理體(ti)系認證(zheng)。未來(lai)，無論面向車(che)(che)(che)載(zai)客戶(hu)還是(shi)(shi)機(ji)器人(ren)及(ji)(ji)工業(ye)檢測客戶(hu)，元(yuan)橡的(de)產(chan)品都將以(yi)更高(gao)的(de)質量(liang)(liang)(liang)標準去做(zuo)(zuo)更好(hao)的(de)交付(fu)。
