8月24日，元(yuan)橡科(ke)技(ji)產(chan)(chan)品VP趙利軍在講(jiang)科(ke)學(xue)直播(bo)中帶來了《雙目立體視(shi)覺在移(yi)動場景的應用(yong)和發展》主題演講(jiang)。講(jiang)科(ke)學(xue)AiiSCI平(ping)臺(tai)主要服務于(yu)圍繞人工(gong)智能與機(ji)器人技(ji)術(shu)以及相關(guan)衍(yan)生技(ji)術(shu)的科(ke)技(ji)創(chuang)新(xin)和成果(guo)(guo)轉化(hua)，打通(tong)產(chan)(chan)學(xue)研用(yong)，通(tong)過(guo)知識傳播(bo)，降低全(quan)行業(ye)企業(ye)的研發成本；通(tong)過(guo)推廣創(chuang)新(xin)成果(guo)(guo)，幫(bang)助創(chuang)新(xin)企業(ye)實現科(ke)技(ji)成果(guo)(guo)變現。
以下為直播演講重點摘錄，與(yu)大(da)家(jia)分享(xiang)。
大(da)家(jia)好，非常高興能夠有機會(hui)和大(da)家(jia)一(yi)起做立(li)(li)體視(shi)(shi)覺(jue)方面的(de)分享。我叫趙利軍(jun)，來自元(yuan)橡科技(ji)，主要負責公司產品部門。元(yuan)橡科技(ji)主要在立(li)(li)體視(shi)(shi)覺(jue)領(ling)域提供專業的(de)綜合(he)視(shi)(shi)覺(jue)解(jie)決方案，所以今天重點圍繞立(li)(li)體視(shi)(shi)覺(jue)，把(ba)我們所做的(de)這些(xie)工作跟(gen)大(da)家(jia)做一(yi)些(xie)探討。
?圖(tu)片來自網絡
首先從這(zhe)樣一張(zhang)圖開始，這(zhe)張(zhang)圖應(ying)該很多(duo)人(ren)都(dou)認得，它(ta)是天問一號(hao)任務火(huo)星車，也就(jiu)是祝融號(hao)，祝融號(hao)原計劃在(zai)火(huo)星工作(zuo)三個(ge)(ge)火(huo)星月，大(da)概92個(ge)(ge)地球(qiu)日(ri)，但目(mu)前(qian)為止已經工作(zuo)了(le)超過一年了(le)，依然是非常穩(wen)定的(de)一個(ge)(ge)狀態，說明這(zhe)個(ge)(ge)火(huo)星車的(de)可靠性還是非常高的(de)。
那么(me)火星車在火星這樣一(yi)個距離地球(qiu)大概幾(ji)億公里的(de)地方(fang)，周圍(wei)環(huan)境(jing)(jing)(jing)尤(you)其微觀環(huan)境(jing)(jing)(jing)是非常陌生(sheng)的(de)，它怎(zen)樣能夠走起(qi)來？怎(zen)樣能夠避免(mian)各種突發(fa)事故(gu)呢？就跟人一(yi)樣，假如把你放到一(yi)個特殊的(de)陌生(sheng)環(huan)境(jing)(jing)(jing)，你該怎(zen)么(me)運動呢？雙眼(yan)的(de)作(zuo)用(yong)至關重要。
我們可(ke)以(yi)看到火星(xing)(xing)車上(shang)(shang)有(you)兩(liang)處非(fei)常顯眼的(de)(de)(de)(de)位置是(shi)安裝了雙目(mu)的(de)(de)(de)(de)，這(zhe)(zhe)是(shi)祝融號(hao)上(shang)(shang)非(fei)常重要的(de)(de)(de)(de)一(yi)(yi)個(ge)(ge)傳感(gan)器(qi)。看到這(zhe)(zhe)樣兩(liang)只(zhi)眼睛(jing)(jing)也許我們并不(bu)(bu)會覺得(de)很特(te)別，因為這(zhe)(zhe)就跟(gen)人一(yi)(yi)樣，機器(qi)人有(you)兩(liang)個(ge)(ge)眼睛(jing)(jing)一(yi)(yi)眨(zha)一(yi)(yi)眨(zha)，非(fei)常自然。那么，如果我們把(ba)雙目(mu)換成一(yi)(yi)個(ge)(ge)單目(mu)或(huo)者其(qi)他傳感(gan)器(qi)，在火星(xing)(xing)這(zhe)(zhe)樣一(yi)(yi)個(ge)(ge)非(fei)常遙遠的(de)(de)(de)(de)地方(fang)，這(zhe)(zhe)個(ge)(ge)機器(qi)人能(neng)(neng)不(bu)(bu)能(neng)(neng)自主工作(zuo)？或(huo)者把(ba)你的(de)(de)(de)(de)一(yi)(yi)只(zhi)眼睛(jing)(jing)用手擋著(zhu)，試一(yi)(yi)試在陌生環境亦(yi)或(huo)是(shi)熟悉的(de)(de)(de)(de)屋子里走(zou)一(yi)(yi)走(zou)，是(shi)不(bu)(bu)是(shi)也會有(you)一(yi)(yi)些(xie)不(bu)(bu)一(yi)(yi)樣的(de)(de)(de)(de)感(gan)覺呢？
今天我們主(zhu)(zhu)要(yao)針對雙(shuang)目為(wei)(wei)什么能夠支持機(ji)器人在(zai)陌生(sheng)環境行走以及雙(shuang)目有些(xie)什么特(te)點給大家(jia)做一些(xie)分(fen)享，會集(ji)中(zhong)在(zai)移(yi)動場景(jing)，包(bao)括(kuo)移(yi)動機(ji)器人和自(zi)主(zhu)(zhu)運動車輛等(deng)方(fang)面，因為(wei)(wei)雙(shuang)目立體(ti)視覺在(zai)比如VR、AR、工業檢測(ce)等(deng)很多領域(yu)都有應用，但(dan)是在(zai)靜態場景(jing)里面可(ke)能有各種各樣的替代方(fang)案，而在(zai)移(yi)動場景(jing)里面雙(shuang)目有它獨特(te)的優勢。
雙目立體視覺介紹
剛提到(dao)雙(shuang)目和(he)人的(de)(de)(de)(de)眼睛很像，也(ye)被認為是(shi)(shi)一(yi)(yi)種仿生學的(de)(de)(de)(de)技術(shu)(shu)。那么雙(shuang)目攝像頭(tou)如(ru)何得(de)到(dao)空間(jian)信息？其(qi)原理就是(shi)(shi)雙(shuang)目三角測(ce)量技術(shu)(shu)。左右相機對于同一(yi)(yi)對象(xiang)在水平方向(xiang)的(de)(de)(de)(de)像素(su)差(cha)(cha)(cha)異(yi)叫做視(shi)(shi)(shi)差(cha)(cha)(cha)，視(shi)(shi)(shi)差(cha)(cha)(cha)在立體視(shi)(shi)(shi)覺領域(yu)是(shi)(shi)最(zui)關鍵、最(zui)核心(xin)的(de)(de)(de)(de)一(yi)(yi)個術(shu)(shu)語，視(shi)(shi)(shi)差(cha)(cha)(cha)和(he)距(ju)離(li)（也(ye)就是(shi)(shi)我們所說的(de)(de)(de)(de)空間(jian)中Z方向(xiang)的(de)(de)(de)(de)值）一(yi)(yi)一(yi)(yi)對應，距(ju)離(li)越(yue)遠視(shi)(shi)(shi)差(cha)(cha)(cha)越(yue)小。通過Z=BF/D的(de)(de)(de)(de)公式就可以(yi)得(de)到(dao)物體距(ju)離(li)，有了距(ju)離(li)（Z值）之后還(huan)可以(yi)算(suan)出X和(he)Y的(de)(de)(de)(de)值，因此基(ji)于雙(shuang)目就可以(yi)得(de)到(dao)一(yi)(yi)個空間(jian)信息。
單目和雙目檢測比較
單目和雙目有(you)什(shen)么(me)區別？或者說用(yong)一只眼睛(jing)和兩只眼睛(jing)看到的世界有(you)什(shen)么(me)不一樣(yang)？
在很(hen)多應用里，單目對世界(jie)的(de)(de)(de)認(ren)知(zhi)首先(xian)要通過(guo)先(xian)驗(yan)知(zhi)識的(de)(de)(de)學習，就是(shi)(shi)(shi)(shi)說我(wo)(wo)認(ren)識這(zhe)是(shi)(shi)(shi)(shi)一(yi)輛車、一(yi)個(ge)(ge)人或者其他的(de)(de)(de)一(yi)個(ge)(ge)東(dong)(dong)西(xi)，有了(le)這(zhe)個(ge)(ge)先(xian)驗(yan)知(zhi)識并(bing)且知(zhi)道這(zhe)個(ge)(ge)東(dong)(dong)西(xi)的(de)(de)(de)實(shi)際尺寸，那(nei)么當(dang)看(kan)(kan)到這(zhe)個(ge)(ge)東(dong)(dong)西(xi)的(de)(de)(de)時候，基于(yu)先(xian)驗(yan)知(zhi)識就可(ke)以(yi)產生(sheng)空(kong)間信(xin)息的(de)(de)(de)判斷。所(suo)以(yi)大家如果在一(yi)個(ge)(ge)熟悉的(de)(de)(de)環境里把一(yi)只眼睛閉上，可(ke)能(neng)會覺得這(zhe)跟雙目看(kan)(kan)到的(de)(de)(de)基本差不多，但如果是(shi)(shi)(shi)(shi)在一(yi)個(ge)(ge)陌生(sheng)的(de)(de)(de)環境里，單目就無法(fa)分辨，而利用雙目則可(ke)以(yi)直(zhi)(zhi)接(jie)拿到我(wo)(wo)們所(suo)看(kan)(kan)到的(de)(de)(de)環境里的(de)(de)(de)視差信(xin)息，或者說所(suo)觀察對象的(de)(de)(de)空(kong)間數據(ju)，這(zhe)個(ge)(ge)數據(ju)是(shi)(shi)(shi)(shi)直(zhi)(zhi)接(jie)得到的(de)(de)(de)而不是(shi)(shi)(shi)(shi)依據(ju)于(yu)很(hen)多經(jing)驗(yan)來得到的(de)(de)(de)，所(suo)以(yi)雙目是(shi)(shi)(shi)(shi)一(yi)個(ge)(ge)很(hen)直(zhi)(zhi)接(jie)的(de)(de)(de)技(ji)術。
這也就是(shi)為什么祝(zhu)融號在(zai)火(huo)星(xing)上要利用雙目感知。火(huo)星(xing)上那些(xie)非常微觀的東西(xi)我們根(gen)本(ben)看(kan)不到，沒有(you)先驗知識，而通過(guo)雙目計算可直接得到空間信息。包括(kuo)一些(xie)自動駕(jia)駛的事故(gu)也是(shi)同等道理(li)，當道路上出現了一些(xie)平常很(hen)(hen)少(shao)出現的物體，深度學習或者機器訓練很(hen)(hen)少(shao)碰到的物體，單目很(hen)(hen)有(you)可能(neng)就無法識別，另外還有(you)一些(xie)駕(jia)駛員沒有(you)集中精力導致的撞上限高(gao)桿等情況，都可以通過(guo)雙目測(ce)量技術來解決。
雙(shuang)目(mu)在機器人、自動駕駛(shi)等移動場景中具(ju)體的作用(yong)是什么(me)？
可移動機器人及自動駕駛系統的主要構成
當談到(dao)可移(yi)動(dong)(dong)機器(qi)(qi)人、自動(dong)(dong)駕駛，其核心組件(jian)至少包括環(huan)(huan)境(jing)(jing)感(gan)知(zhi)(zhi)、行(xing)(xing)為(wei)(wei)決策還有執行(xing)(xing)控制。環(huan)(huan)境(jing)(jing)感(gan)知(zhi)(zhi)首先(xian)要知(zhi)(zhi)道所處周(zhou)邊環(huan)(huan)境(jing)(jing)是(shi)什么(me)樣的，對(dui)周(zhou)邊環(huan)(huan)境(jing)(jing)有所認知(zhi)(zhi)才能夠(gou)做出行(xing)(xing)為(wei)(wei)決策，到(dao)底是(shi)往前走(zou)(zou)、往后退還是(shi)轉(zhuan)圈等行(xing)(xing)為(wei)(wei)決策會被傳遞到(dao)執行(xing)(xing)控制系統，從而帶動(dong)(dong)機器(qi)(qi)人行(xing)(xing)走(zou)(zou)。在幾個(ge)核心部件(jian)里面(mian)環(huan)(huan)境(jing)(jing)感(gan)知(zhi)(zhi)是(shi)最(zui)基礎的輸入部分，是(shi)整(zheng)個(ge)移(yi)動(dong)(dong)機器(qi)(qi)人非常重要的一(yi)個(ge)前置條件(jian)。
環(huan)境感(gan)知的傳感(gan)器主要包括：激光(guang)雷(lei)達、單目(mu)攝(she)像頭、雙目(mu)攝(she)像頭、毫米(mi)波雷(lei)達、超聲波雷(lei)達、GNSS/IMU/RTK等。
其(qi)中單目和雙目的(de)特點就是(shi)(shi)圖像(xiang)密度非常(chang)大(da)，而(er)且現在(zai)(zai)攝像(xiang)技(ji)術(shu)(shu)(shu)以及基于圖像(xiang)的(de)深度學習的(de)技(ji)術(shu)(shu)(shu)都(dou)發展得特別(bie)迅速，我們看到的(de)很(hen)多(duo)機器(qi)人、車(che)輛(liang)都(dou)已經用(yong)(yong)了這樣的(de)技(ji)術(shu)(shu)(shu)，當(dang)然攝像(xiang)頭也有(you)一(yi)些(xie)局限性，比如對光(guang)線(xian)的(de)感知，它受(shou)(shou)環境(jing)(jing)影(ying)(ying)響(xiang)就會比較(jiao)(jiao)大(da)一(yi)些(xie)，尤(you)其(qi)是(shi)(shi)一(yi)些(xie)惡劣(lie)的(de)天(tian)氣。另一(yi)個技(ji)術(shu)(shu)(shu)是(shi)(shi)激光(guang)雷(lei)達(da)，目前在(zai)(zai)掃地機、機器(qi)人上面(mian)應用(yong)(yong)比較(jiao)(jiao)普遍，它精度很(hen)高(gao)并很(hen)容易構建周圍3D環境(jing)(jing)，但也存在(zai)(zai)受(shou)(shou)惡劣(lie)天(tian)氣影(ying)(ying)響(xiang)較(jiao)(jiao)大(da)、功耗大(da)、價(jia)格高(gao)等(deng)問(wen)題，尤(you)其(qi)是(shi)(shi)多(duo)線(xian)束激光(guang)雷(lei)達(da)，價(jia)格是(shi)(shi)非常(chang)高(gao)的(de)。
雙目視覺VS激光雷達
雙目視覺(jue)與激光雷達是目前(qian)自(zi)動駕駛主傳感器的技(ji)術(shu)路線。
兩者(zhe)相比較，激光(guang)雷達的(de)特(te)點(dian)是：
①水(shui)平(ping)分辨(bian)(bian)率高，垂(chui)直(zhi)分辨(bian)(bian)率低
②遠近精度保持一致
③主要采用(yong)點云處理(li)手段，處理(li)方式比(bi)較固(gu)定
④高線束(shu)激光(guang)雷達成本高昂
雙目的特點是：
①水平和(he)垂直分(fen)辨率都高
②近處精度高于遠處
③深度(du)圖(tu)加圖(tu)像的處(chu)理(li)手段，應用技術(shu)隨圖(tu)像處(chu)理(li)技術(shu)在持(chi)續演進
④成本低
雙目立體視覺的應用
在(zai)自動(dong)駕駛的應用方(fang)面(mian)，雙(shuang)(shuang)目可以提(ti)(ti)供(gong)多場景解決(jue)方(fang)案(an)，如高(gao)速道(dao)(dao)路、復(fu)雜(za)(za)路口(kou)、常規的雨(yu)水天氣、夜晚人車混雜(za)(za)、隧(sui)道(dao)(dao)跟蹤、多功(gong)能集成等情況，都可通過立(li)體視覺去(qu)(qu)解決(jue)。例如駕駛員沒(mei)有注意到(dao)前方(fang)橋梁、限(xian)高(gao)桿導致撞上(shang)去(qu)(qu)的情況，激光(guang)、毫米波、單目等方(fang)案(an)難以應對，就可以通過雙(shuang)(shuang)目限(xian)高(gao)預警功(gong)能來進行精(jing)準測量并給予提(ti)(ti)示。對于(yu)一些大(da)型車輛，在(zai)道(dao)(dao)路行駛的過程會存在(zai)很大(da)的盲區，通過立(li)體視覺檢測就能發現盲區中的人或物體，從而(er)規避事故發生。
在機(ji)器人視覺方面，雙目可以(yi)實現自主跟隨(sui)（包括列隊(dui)跟隨(sui)、組群(qun)跟隨(sui)）、避障等，有非(fei)常廣(guang)泛(fan)的應用價值。
雙目視覺的未來發展
關于雙目立體視覺，目前學(xue)界、企業(ye)界最關注(zhu)的(de)一些核心點是(shi)什么？我們怎么去(qu)做一些相(xiang)關的(de)工(gong)作？
首先(xian)要解決的(de)(de)一(yi)個問題(ti)就是感(gan)知距(ju)離(li)，雙目探測(ce)精度(du)和(he)距(ju)離(li)成反比，遠的(de)(de)地方(fang)精度(du)會下降。還(huan)有(you)檢測(ce)盲(mang)區，包括(kuo)人眼也會有(you)盲(mang)區，當你把(ba)手放在眼前的(de)(de)時候，有(you)段(duan)距(ju)離(li)你是看不到的(de)(de)，如何減小盲(mang)區、增(zeng)大(da)攝像機的(de)(de)測(ce)量范(fan)圍也是我們提(ti)升性能的(de)(de)重(zhong)要著(zhu)眼點。
其次是(shi)(shi)關于(yu)測量(liang)精(jing)度(du)。和(he)激光雷達相(xiang)比，雙目近處精(jing)度(du)好但是(shi)(shi)遠處的精(jing)度(du)會低一些(xie)，對于(yu)用(yong)戶來(lai)說，采用(yong)雙目的時候一定(ding)是(shi)(shi)希望在(zai)工作距離之內能夠(gou)得到盡可能高的精(jing)度(du)。
第三個(ge)問題是(shi)速(su)度。雙(shuang)目這幾年(nian)普及比較(jiao)快也是(shi)因為計算速(su)度有一個(ge)比較(jiao)大的(de)(de)改善，早年(nian)大家做雙(shuang)目計算的(de)(de)時候(hou)很多(duo)都是(shi)在PC上做的(de)(de)，如果達不(bu)到(dao)15幀或者(zhe)更高的(de)(de)幀率(lv)，那么在機器人等場(chang)景里的(de)(de)反應就是(shi)慢的(de)(de)，也就解決不(bu)了客(ke)戶的(de)(de)問題。
第四個問(wen)題是(shi)可(ke)靠(kao)性。如何使模組在各種震動(dong)、潮濕包括一(yi)些(xie)復(fu)雜的(de)電子環境里(li)保持穩(wen)定，雙目(mu)對(dui)比(bi)單目(mu)在穩(wen)定性上提出了更苛(ke)刻的(de)要求，因為雙目(mu)標(biao)定要解決左右目(mu)距位置關系，當一(yi)些(xie)機械結構變化，左右目(mu)關系發生變化以后，相機就會退化。
怎么樣解(jie)決這(zhe)些核(he)心問題(ti)呢？我們正(zheng)在做一系列工作。
一個(ge)(ge)(ge)方向是(shi)硬件(jian)，通(tong)過硬件(jian)提供(gong)高(gao)(gao)分辨(bian)率圖(tu)(tu)像(xiang)，圖(tu)(tu)像(xiang)分辨(bian)率提高(gao)(gao)了，檢測距離變遠(yuan)，精度(du)也相應提高(gao)(gao)。但(dan)是(shi)高(gao)(gao)分辨(bian)率圖(tu)(tu)像(xiang)也帶來一個(ge)(ge)(ge)問(wen)題，那就是(shi)計算量會迅(xun)速上升，所以這里的解決方案是(shi)要有高(gao)(gao)算力硬件(jian)，不過算力上現在發展也很快(kuai)。還有就是(shi)通(tong)過結構改進、材料改進、生產工藝改善，使(shi)整(zheng)個(ge)(ge)(ge)系統能夠保持一個(ge)(ge)(ge)穩定性。
除了(le)硬件(jian)之外，我們也會從軟件(jian)方(fang)向(xiang)去(qu)改進。包括算法(fa)改進，通(tong)過更好的匹配(pei)算法(fa)、超(chao)分(fen)辨率算法(fa)、深度學(xue)習等方(fang)式。
另(ling)外為了解決速(su)(su)度的問題，現(xian)在有專用(yong)芯(xin)片可(ke)以在速(su)(su)度和能(neng)耗(hao)上(shang)帶來(lai)優勢。
通過(guo)以上(shang)方式，就把雙(shuang)目從研究(jiu)室里(li)面的一(yi)個技(ji)術變成可以廣(guang)泛(fan)應用在各種(zhong)真實場(chang)景的技(ji)術。
企業核心研究
元橡科技產品和(he)技術具有以下核心優勢：
①小(xiao)尺寸， 更(geng)小(xiao)尺寸、結構更(geng)穩定、空間(jian)占用(yong)更(geng)小(xiao)，更(geng)小(xiao)盲(mang)區
②遠距離， 在小尺寸的前(qian)提下可探測距離達(da)百(bai)米
③低時延(yan)，利用硬件加速技(ji)術，超低時延(yan)
④高(gao)精度，更好(hao)的(de)匹配算法，亞像素技(ji)術
⑤低能耗(hao)，高(gao)精度算法(fa)硬件化，能耗(hao)降至最(zui)低
⑥多規(gui)格多方案，多種尺寸(cun)規(gui)程，不(bu)同視(shi)角配置(zhi)，廣泛場景適應，可選智能化(hua)方案，直接輸出檢測結(jie)果，降(jiang)低主控算力要(yao)求
元(yuan)橡(xiang)科技(ji)作(zuo)為(wei)一家在智能(neng)立(li)體(ti)(ti)視覺(jue)領域有多(duo)年沉淀的(de)企業(ye)，立(li)足于自主研發，從最底層(ceng)的(de)模組(zu)、芯(xin)片(pian)，再到頂上(shang)的(de)各(ge)(ge)(ge)種(zhong)應用，都(dou)是基于自己的(de)技(ji)術，獨(du)立(li)構建了一個垂(chui)直(zhi)系(xi)統。包括立(li)體(ti)(ti)視覺(jue)專(zhuan)用芯(xin)片(pian)，專(zhuan)為(wei)立(li)體(ti)(ti)視覺(jue)而(er)設置，支(zhi)持(chi)720P@60FPS，可以帶來功耗(hao)和效率上(shang)的(de)很大提(ti)升。在專(zhuan)用芯(xin)片(pian)的(de)基礎上(shang)，可以提(ti)供雙(shuang)目模組(zu)，靈(ling)活適配客戶(hu)產品(pin)，直(zhi)接輸(shu)出各(ge)(ge)(ge)種(zhong)圖像+深度信息，無需外加處理器。獨(du)立(li)的(de)雙(shuang)目相機適用于各(ge)(ge)(ge)種(zhong)不同的(de)業(ye)務領域，對(dui)(dui)做實驗或者小批量的(de)情況(kuang)很友(you)好(hao)，能(neng)夠快速滿(man)足客戶(hu)需求。元(yuan)橡(xiang)也會針對(dui)(dui)多(duo)種(zhong)場景(jing)定制立(li)體(ti)(ti)視覺(jue)解(jie)決(jue)方案來解(jie)決(jue)行(xing)業(ye)痛點，滿(man)足各(ge)(ge)(ge)類需求，也降低傳感(gan)器使用門檻(jian)。
元(yuan)(yuan)橡科技的(de)(de)產(chan)品包括車載領域的(de)(de)ADAS雙目(mu)相機(ji)商(shang)用(yong)車版、ADAS雙目(mu)相機(ji)乘用(yong)車版、BSD盲區相機(ji)等(deng)；適(shi)用(yong)于機(ji)器人和小型車輛(liang)的(de)(de)元(yuan)(yuan)目(mu)S系列、R系列等(deng)產(chan)品，如S3系列相機(ji)更(geng)適(shi)合室外及半室內場景(jing)，R3系列則(ze)更(geng)多傾向于室內場景(jing)，其中都運用(yong)了元(yuan)(yuan)橡的(de)(de)自研(yan)芯(xin)片，實現遠距離、高(gao)精(jing)度等(deng)更(geng)佳(jia)的(de)(de)性能指標。
現場Q&A
Q：雙目視覺直接取代激光(guang)雷達(da)還存在什么瓶頸(jing)嗎？
A：目(mu)前在自動駕(jia)駛領(ling)域，像(xiang)特斯拉是(shi)(shi)使用(yong)了很(hen)多個(ge)(ge)攝像(xiang)頭，走(zou)的(de)純視(shi)覺(jue)(jue)技術路(lu)線(xian)，還有一(yi)些企業(ye)尤其國內新勢力(li)(li)造車(che)企業(ye)是(shi)(shi)走(zou)的(de)激光路(lu)線(xian)，上文提到(dao)激光的(de)一(yi)個(ge)(ge)好處就是(shi)(shi)相(xiang)(xiang)對來說(shuo)(shuo)比(bi)較(jiao)穩定(ding)，而(er)(er)且計算比(bi)較(jiao)簡單。而(er)(er)視(shi)覺(jue)(jue)和立體(ti)(ti)視(shi)覺(jue)(jue)的(de)信息密度比(bi)較(jiao)大(da)，所(suo)以會對計算資(zi)源和計算能力(li)(li)要求(qiu)比(bi)較(jiao)高。目(mu)前這兩(liang)條道(dao)路(lu)是(shi)(shi)在相(xiang)(xiang)互競爭賽跑，也(ye)在相(xiang)(xiang)互促進，國內很(hen)多傳(chuan)感器(qi)廠(chang)商(shang)也(ye)都在走(zou)這兩(liang)條路(lu)線(xian)。而(er)(er)從小型(xing)機器(qi)人角(jiao)度來講，目(mu)前我們見到(dao)的(de)各種各樣的(de)酒店(dian)服務機器(qi)人、餐飲機器(qi)人、物流車(che)等用(yong)立體(ti)(ti)視(shi)覺(jue)(jue)的(de)會更多一(yi)些，激光相(xiang)(xiang)對來說(shuo)(shuo)不占優。
所以(yi)從(cong)一個(ge)從(cong)業(ye)者(zhe)的(de)角度來(lai)看(kan)，我覺(jue)得這(zhe)兩個(ge)技術(shu)路線(xian)會長期(qi)共存一段時間，我個(ge)人還是比較(jiao)看(kan)好(hao)(hao)視覺(jue)，包括雙目(mu)(mu)立(li)體視覺(jue)未來(lai)的(de)趨勢(shi)，一個(ge)是因為它天然的(de)信息密(mi)度大，在這(zhe)個(ge)好(hao)(hao)的(de)原料(liao)的(de)基礎(chu)上可(ke)以(yi)加工，這(zhe)是一個(ge)很(hen)難代替的(de)優勢(shi)。另(ling)外也是因為雙目(mu)(mu)具備了一個(ge)功(gong)耗(hao)低(di)的(de)好(hao)(hao)處(chu)，因為立(li)體視覺(jue)是一個(ge)被動器(qi)件，只要(yao)接收(shou)自然光就可(ke)以(yi)了，而激光雷達要(yao)想做高線(xian)束、遠距(ju)離(li)的(de)話就需要(yao)一個(ge)相(xiang)當大的(de)功(gong)耗(hao)。我們也和(he)很(hen)多朋友一起討論(lun)過，尤(you)其是在很(hen)多特殊場景里面(mian)，這(zhe)樣的(de)功(gong)耗(hao)對于(yu)很(hen)多機(ji)器(qi)是無法(fa)承受的(de)。
技術(shu)瓶頸(jing)的(de)話主要是(shi)涉及到系統整體(ti)的(de)穩定性和(he)大規模計算，但是(shi)這(zhe)些硬件能力(li)是(shi)會逐步得到滿足的(de)。
Q：元橡(xiang)有多目環視相機方案(an)或者產品嗎？
A：元(yuan)橡(xiang)有一個整車解決方(fang)案，我們(men)叫瞰行系(xi)統。瞰行系(xi)統就是(shi)在(zai)包括前視(shi)、后視(shi)以及盲(mang)區(qu)的(de)不(bu)同位(wei)置，通過安裝雙目(mu)組合做(zuo)到一個全(quan)車的(de)安全(quan)方(fang)案。
Q：元橡的雙目相機(ji)(ji)在機(ji)(ji)器狗(gou)上(shang)有應用嗎？
A：我(wo)們(men)和(he)國內的(de)(de)一些(xie)機器(qi)(qi)狗(gou)以(yi)及類(lei)似四足機器(qi)(qi)人(ren)的(de)(de)公司是有接(jie)觸或合(he)作(zuo)(zuo)的(de)(de)，目(mu)前和(he)國內一家非常主(zhu)流(liu)的(de)(de)四足機器(qi)(qi)人(ren)廠商有非常深入的(de)(de)合(he)作(zuo)(zuo)。
Q：深度(du)估計(ji)是傳統雙(shuang)(shuang)目深度(du)估計(ji)還是基(ji)于深度(du)學習(xi)的雙(shuang)(shuang)目深度(du)估計(ji)？這兩(liang)者(zhe)各(ge)有什么樣(yang)的優勢？
A：上文我們所講(jiang)到的(de)(de)(de)(de)這(zhe)(zhe)些(xie)內容(rong)里面(mian)(mian)主要(yao)還(huan)是傳(chuan)統(tong)(tong)雙目(mu)深(shen)度計算(suan)，主要(yao)解決(jue)逐(zhu)點視(shi)差(cha)計算(suan)，這(zhe)(zhe)個(ge)(ge)計算(suan)需要(yao)消耗非(fei)常大(da)的(de)(de)(de)(de)算(suan)力，也是基于(yu)現在(zai)硬件以(yi)及(ji)計算(suan)能力提(ti)升而能夠達(da)到這(zhe)(zhe)樣的(de)(de)(de)(de)一(yi)(yi)(yi)(yi)(yi)(yi)個(ge)(ge)效果(guo)。基于(yu)逐(zhu)點視(shi)差(cha)的(de)(de)(de)(de)結(jie)果(guo)，為后續處理提(ti)供(gong)了(le)非(fei)常大(da)的(de)(de)(de)(de)便利性，降低(di)后續計算(suan)的(de)(de)(de)(de)復雜度。而深(shen)度學習(xi)在(zai)一(yi)(yi)(yi)(yi)(yi)(yi)些(xie)案例中也體現了(le)一(yi)(yi)(yi)(yi)(yi)(yi)定成(cheng)效，我們前面(mian)(mian)提(ti)到的(de)(de)(de)(de)算(suan)法演(yan)進這(zhe)(zhe)塊，也有深(shen)度學習(xi)這(zhe)(zhe)樣一(yi)(yi)(yi)(yi)(yi)(yi)個(ge)(ge)分支(zhi)。但是在(zai)量(liang)產產品里面(mian)(mian)，目(mu)前看到的(de)(de)(de)(de)用(yong)深(shen)度學習(xi)的(de)(de)(de)(de)還(huan)是非(fei)常少，可能大(da)家做一(yi)(yi)(yi)(yi)(yi)(yi)些(xie)實驗系統(tong)(tong)時(shi)用(yong)的(de)(de)(de)(de)會更(geng)多一(yi)(yi)(yi)(yi)(yi)(yi)些(xie)。未(wei)來應(ying)該說兩(liang)者會有一(yi)(yi)(yi)(yi)(yi)(yi)些(xie)結(jie)合，深(shen)度學習(xi)一(yi)(yi)(yi)(yi)(yi)(yi)個(ge)(ge)大(da)的(de)(de)(de)(de)前提(ti)就是需要(yao)大(da)量(liang)數據的(de)(de)(de)(de)積累，而對于(yu)未(wei)知環境來說，傳(chuan)統(tong)(tong)視(shi)覺計算(suan)是更(geng)可靠的(de)(de)(de)(de)一(yi)(yi)(yi)(yi)(yi)(yi)個(ge)(ge)方法。
Q：雙目在線標(biao)定復雜嗎？
A：比如(ru)元橡做(zuo)雙(shuang)目(mu)標(biao)(biao)定的話，它涉及到(dao)兩塊：第一塊就(jiu)是(shi)(shi)相(xiang)(xiang)機(ji)在出廠(chang)前(qian)的標(biao)(biao)定，出廠(chang)前(qian)標(biao)(biao)定包括相(xiang)(xiang)機(ji)的內參(can)(can)和(he)外參(can)(can)，使(shi)相(xiang)(xiang)機(ji)達到(dao)一個(ge)可(ke)用的狀態。然后相(xiang)(xiang)機(ji)安裝(zhuang)到(dao)車(che)輛(liang)(liang)上(shang)的時候，因為(wei)相(xiang)(xiang)機(ji)和(he)車(che)輛(liang)(liang)之間(jian)有(you)一個(ge)相(xiang)(xiang)對位置(zhi)關(guan)系(xi)，所(suo)以需要對相(xiang)(xiang)機(ji)和(he)車(che)輛(liang)(liang)的相(xiang)(xiang)對位置(zhi)關(guan)系(xi)做(zuo)現場計算。現場計算現在我們(men)也有(you)很多的方法(fa)，包括標(biao)(biao)定板或(huo)者(zhe)道路參(can)(can)照，另外更簡(jian)單的方法(fa)是(shi)(shi)把雙(shuang)目(mu)裝(zhuang)到(dao)車(che)上(shang)以后試跑一段(duan)時間(jian)，跑個(ge)幾十(shi)公里(li)、幾十(shi)分(fen)鐘(zhong)，系(xi)統自動就(jiu)標(biao)(biao)定好(hao)了。所(suo)以經過我們(men)的實踐，覺得雙(shuang)目(mu)在線標(biao)(biao)定尤其是(shi)(shi)和(he)車(che)輛(liang)(liang)之間(jian)的標(biao)(biao)定不(bu)是(shi)(shi)很復雜，已經被極大(da)簡(jian)化了。
Q：看到(dao)自動駕駛行業也有一(yi)些公司用單目(mu)視覺，請問自動駕駛領域單目(mu)和雙(shuang)目(mu)各有什么優(you)劣勢嗎？
A：在車載領(ling)域一(yi)般都(dou)不(bu)是(shi)用純單(dan)(dan)(dan)目(mu)(mu)(mu)(mu)(mu)和(he)(he)雙(shuang)目(mu)(mu)(mu)(mu)(mu)比(bi)，而經常是(shi)單(dan)(dan)(dan)目(mu)(mu)(mu)(mu)(mu)+毫米(mi)波(bo)雷達和(he)(he)雙(shuang)目(mu)(mu)(mu)(mu)(mu)進行比(bi)較，單(dan)(dan)(dan)目(mu)(mu)(mu)(mu)(mu)有(you)(you)自動學習的(de)(de)(de)(de)(de)能(neng)力，它可(ke)(ke)以(yi)判斷一(yi)些主要障礙物， 但(dan)是(shi)它在測(ce)距方(fang)面有(you)(you)天然(ran)的(de)(de)(de)(de)(de)缺陷(xian)，需要一(yi)個測(ce)距的(de)(de)(de)(de)(de)手段來輔助，所以(yi)會搭(da)配毫米(mi)波(bo)雷達使(shi)用。而雙(shuang)目(mu)(mu)(mu)(mu)(mu)具(ju)有(you)(you)圖(tu)像識(shi)別(bie)能(neng)力的(de)(de)(de)(de)(de)同(tong)時(shi)也天然(ran)具(ju)有(you)(you)測(ce)量能(neng)力，雙(shuang)目(mu)(mu)(mu)(mu)(mu)本身就(jiu)可(ke)(ke)以(yi)完(wan)成對象(xiang)的(de)(de)(de)(de)(de)識(shi)別(bie)和(he)(he)距離(li)測(ce)量，所以(yi)雙(shuang)目(mu)(mu)(mu)(mu)(mu)和(he)(he)單(dan)(dan)(dan)目(mu)(mu)(mu)(mu)(mu)+毫米(mi)波(bo)雷達相(xiang)比(bi)的(de)(de)(de)(de)(de)話，雙(shuang)目(mu)(mu)(mu)(mu)(mu)的(de)(de)(de)(de)(de)成本優勢會更(geng)明顯一(yi)些。當然(ran)如果純雙(shuang)目(mu)(mu)(mu)(mu)(mu)和(he)(he)單(dan)(dan)(dan)目(mu)(mu)(mu)(mu)(mu)對比(bi)，實(shi)際上(shang)單(dan)(dan)(dan)目(mu)(mu)(mu)(mu)(mu)做的(de)(de)(de)(de)(de)工作(zuo)雙(shuang)目(mu)(mu)(mu)(mu)(mu)也都(dou)能(neng)做，因(yin)為雙(shuang)目(mu)(mu)(mu)(mu)(mu)和(he)(he)單(dan)(dan)(dan)目(mu)(mu)(mu)(mu)(mu)都(dou)是(shi)基于攝像技術的(de)(de)(de)(de)(de)，但(dan)雙(shuang)目(mu)(mu)(mu)(mu)(mu)還(huan)同(tong)時(shi)具(ju)有(you)(you)測(ce)量能(neng)力。單(dan)(dan)(dan)目(mu)(mu)(mu)(mu)(mu)的(de)(de)(de)(de)(de)硬件會更(geng)簡單(dan)(dan)(dan)一(yi)些，目(mu)(mu)(mu)(mu)(mu)前(qian)支持的(de)(de)(de)(de)(de)分(fen)辨率也更(geng)大。實(shi)踐(jian)中，還(huan)有(you)(you)很多的(de)(de)(de)(de)(de)方(fang)案組(zu)合(he)，比(bi)如多個攝像頭(tou)組(zu)成的(de)(de)(de)(de)(de)全車系統，也是(shi)很多企業的(de)(de)(de)(de)(de)選擇。
Q：雙目左(zuo)右攝像頭看到(dao)的圖像如何(he)確定(ding)是同(tong)一個目標呢？有哪些(xie)比較(jiao)好的匹配方法？
A：首先這(zhe)里(li)有一些不同的技術。
如果是(shi)(shi)(shi)基于(yu)逐點(dian)匹配進(jin)行視(shi)差計算，我(wo)們是(shi)(shi)(shi)不(bu)(bu)區分(fen)(fen)目標的(de)(de)，而(er)是(shi)(shi)(shi)首先(xian)在相(xiang)機的(de)(de)生產(chan)和(he)制造過程(cheng)中對(dui)(dui)相(xiang)機的(de)(de)內外參進(jin)行計算，然(ran)后(hou)對(dui)(dui)相(xiang)機本身做(zuo)了一(yi)個標定，這個標定保證了做(zuo)計算的(de)(de)時候能夠對(dui)(dui)物(wu)(wu)理上的(de)(de)同(tong)一(yi)點(dian)進(jin)行視(shi)差計算，這樣(yang)得到的(de)(de)是(shi)(shi)(shi)整個空(kong)間的(de)(de)視(shi)差值(zhi)而(er)并不(bu)(bu)考慮它是(shi)(shi)(shi)屬于(yu)哪個物(wu)(wu)體上的(de)(de)點(dian)，反而(er)是(shi)(shi)(shi)當(dang)我(wo)得到視(shi)差值(zhi)以后(hou)，因為(wei)不(bu)(bu)同(tong)物(wu)(wu)體的(de)(de)空(kong)間位置(zhi)不(bu)(bu)一(yi)樣(yang)，就能非常容易地把這些對(dui)(dui)象分(fen)(fen)隔開來(lai)，相(xiang)當(dang)于(yu)是(shi)(shi)(shi)先(xian)有(you)視(shi)差或者說先(xian)有(you)空(kong)間點(dian)云，再有(you)對(dui)(dui)象。
另外一種可能(neng)大家也(ye)會(hui)想(xiang)(xiang)到的一個(ge)方法(fa)，就是如果不想(xiang)(xiang)那么(me)(me)辛苦(ku)地每個(ge)視(shi)差都(dou)算，那么(me)(me)就先把需要的對象摳出來(lai)，再進行左右比(bi)對，這也(ye)是可以的。
Q：為什么用雙目測距時會出現測量值跳動(dong)的情況？
A：雙目計(ji)(ji)算依賴于左右圖像的相似性計(ji)(ji)算，不同時(shi)刻(ke)的成(cheng)像多(duo)少會(hui)(hui)有(you)些差異，導致(zhi)了匹配算法(fa)結果的一(yi)(yi)些差異。因(yin)為(wei)距(ju)離(li)和視差成(cheng)反比(bi)，同樣視差偏差，距(ju)離(li)遠的地方會(hui)(hui)更(geng)(geng)明顯一(yi)(yi)些。影響成(cheng)像的因(yin)素(su)比(bi)較多(duo)，曝(pu)光時(shi)間算一(yi)(yi)個。這種擾動是客觀存(cun)在(zai)的。在(zai)實(shi)際中(zhong)，一(yi)(yi)方面通過相機改善(shan)，在(zai)空間和時(shi)間上做(zuo)到更(geng)(geng)好(hao)的穩定性。另一(yi)(yi)方面在(zai)應用里更(geng)(geng)多(duo)會(hui)(hui)采用一(yi)(yi)些統計(ji)(ji)算法(fa)來(lai)進行平(ping)滑。
非常(chang)高興能有(you)這樣一次分(fen)享交流(liu)的(de)機(ji)會，未來希望和大家(jia)在(zai)立體視覺領域(yu)有(you)更深入的(de)溝通和探討(tao)，共同進步。
