8月24日(ri)，元(yuan)橡科技(ji)產品VP趙利軍在(zai)講科學(xue)直(zhi)播中帶來了《雙目立體視覺(jue)在(zai)移動場景的(de)應用和(he)發展》主(zhu)題演講。講科學(xue)AiiSCI平臺主(zhu)要服務于圍繞人工智能與機器人技(ji)術(shu)以及相關衍生技(ji)術(shu)的(de)科技(ji)創新和(he)成(cheng)果(guo)(guo)轉化，打通產學(xue)研(yan)用，通過(guo)知識傳播，降低全行業企(qi)業的(de)研(yan)發成(cheng)本；通過(guo)推廣(guang)創新成(cheng)果(guo)(guo)，幫助創新企(qi)業實現科技(ji)成(cheng)果(guo)(guo)變(bian)現。
以下(xia)為(wei)直播演(yan)講重點(dian)摘(zhai)錄，與大家分享。
大(da)家(jia)好，非(fei)常高興能夠(gou)有機會和(he)大(da)家(jia)一起(qi)做立體(ti)視覺(jue)方(fang)(fang)面(mian)的(de)分享(xiang)。我叫趙利軍，來自(zi)元橡科技(ji)，主(zhu)要負責公(gong)司產品(pin)部門。元橡科技(ji)主(zhu)要在立體(ti)視覺(jue)領域提供專業的(de)綜合視覺(jue)解決方(fang)(fang)案，所以今天重(zhong)點圍繞立體(ti)視覺(jue)，把我們所做的(de)這(zhe)些工作(zuo)跟大(da)家(jia)做一些探討。
?圖片(pian)來自網絡
首先(xian)從這(zhe)樣一張(zhang)圖開始，這(zhe)張(zhang)圖應該(gai)很多人都認得，它(ta)是天問(wen)一號(hao)任務火(huo)星車(che)(che)，也就是祝(zhu)(zhu)融(rong)號(hao)，祝(zhu)(zhu)融(rong)號(hao)原(yuan)計劃在火(huo)星工作三個火(huo)星月，大概92個地球日(ri)，但(dan)目前為止已經工作了(le)超過一年了(le)，依然是非常穩定的一個狀態，說明這(zhe)個火(huo)星車(che)(che)的可靠性還是非常高的。
那么火星(xing)車在火星(xing)這樣(yang)一(yi)(yi)個(ge)距離地球大(da)概幾億(yi)公里的地方，周圍環(huan)(huan)境尤其微觀環(huan)(huan)境是非常陌(mo)生(sheng)的，它怎樣(yang)能夠走(zou)起(qi)來(lai)？怎樣(yang)能夠避免各種突發事(shi)故呢？就跟人一(yi)(yi)樣(yang)，假如把(ba)你(ni)放(fang)到一(yi)(yi)個(ge)特殊的陌(mo)生(sheng)環(huan)(huan)境，你(ni)該(gai)怎么運動呢？雙(shuang)眼(yan)的作用(yong)至關重(zhong)要(yao)。
我們可以看(kan)到火星車上有兩處非常(chang)顯眼(yan)的(de)(de)位置是安裝了雙目(mu)的(de)(de)，這是祝融號上非常(chang)重要的(de)(de)一(yi)(yi)(yi)個(ge)傳感器(qi)。看(kan)到這樣兩只眼(yan)睛也許我們并(bing)不(bu)會(hui)(hui)覺得很特別，因為(wei)這就跟人(ren)一(yi)(yi)(yi)樣，機器(qi)人(ren)有兩個(ge)眼(yan)睛一(yi)(yi)(yi)眨一(yi)(yi)(yi)眨，非常(chang)自然。那(nei)么，如果(guo)我們把雙目(mu)換成一(yi)(yi)(yi)個(ge)單目(mu)或者(zhe)其他(ta)傳感器(qi)，在火星這樣一(yi)(yi)(yi)個(ge)非常(chang)遙遠的(de)(de)地方，這個(ge)機器(qi)人(ren)能不(bu)能自主(zhu)工作(zuo)？或者(zhe)把你的(de)(de)一(yi)(yi)(yi)只眼(yan)睛用手擋著，試一(yi)(yi)(yi)試在陌生環境亦或是熟(shu)悉的(de)(de)屋子里(li)走(zou)一(yi)(yi)(yi)走(zou)，是不(bu)是也會(hui)(hui)有一(yi)(yi)(yi)些不(bu)一(yi)(yi)(yi)樣的(de)(de)感覺呢(ni)？
今(jin)天我們主(zhu)要(yao)針對(dui)雙(shuang)(shuang)(shuang)目為什(shen)么能(neng)夠支持機器人在(zai)(zai)陌生環境行走以及(ji)雙(shuang)(shuang)(shuang)目有些什(shen)么特(te)點(dian)給大(da)家做一(yi)些分享，會集中在(zai)(zai)移動場景(jing)，包括移動機器人和自主(zhu)運動車輛等方(fang)面，因為雙(shuang)(shuang)(shuang)目立體(ti)視覺在(zai)(zai)比如VR、AR、工業檢(jian)測等很多領域都有應用，但是在(zai)(zai)靜態(tai)場景(jing)里面可能(neng)有各種各樣的(de)替代方(fang)案，而在(zai)(zai)移動場景(jing)里面雙(shuang)(shuang)(shuang)目有它獨特(te)的(de)優勢。
雙目立體視覺介紹
剛提到(dao)雙(shuang)目(mu)(mu)和人(ren)的(de)(de)眼(yan)睛(jing)很像(xiang)(xiang)(xiang)，也(ye)被認為是一(yi)種(zhong)仿生學的(de)(de)技術。那么雙(shuang)目(mu)(mu)攝像(xiang)(xiang)(xiang)頭如何得(de)到(dao)空(kong)間信息(xi)？其原(yuan)理就(jiu)(jiu)是雙(shuang)目(mu)(mu)三角測(ce)量技術。左右相機對于同一(yi)對象(xiang)在(zai)(zai)水平方向(xiang)的(de)(de)像(xiang)(xiang)(xiang)素差(cha)異叫做視(shi)(shi)差(cha)，視(shi)(shi)差(cha)在(zai)(zai)立體視(shi)(shi)覺領域是最關鍵、最核心(xin)的(de)(de)一(yi)個術語，視(shi)(shi)差(cha)和距離(li)（也(ye)就(jiu)(jiu)是我們所說的(de)(de)空(kong)間中Z方向(xiang)的(de)(de)值）一(yi)一(yi)對應(ying)，距離(li)越遠視(shi)(shi)差(cha)越小。通(tong)過Z=BF/D的(de)(de)公式就(jiu)(jiu)可(ke)以(yi)(yi)得(de)到(dao)物體距離(li)，有了距離(li)（Z值）之后(hou)還可(ke)以(yi)(yi)算出X和Y的(de)(de)值，因此基于雙(shuang)目(mu)(mu)就(jiu)(jiu)可(ke)以(yi)(yi)得(de)到(dao)一(yi)個空(kong)間信息(xi)。
單目和雙目檢測比較
單目和雙目有(you)什么區別(bie)？或者說用一(yi)只眼(yan)睛和兩只眼(yan)睛看到的世界有(you)什么不一(yi)樣(yang)？
在很多(duo)應用(yong)里，單目(mu)對世界(jie)的(de)(de)(de)認知(zhi)首先要(yao)通過先驗(yan)知(zhi)識(shi)的(de)(de)(de)學習，就(jiu)是(shi)說我(wo)認識(shi)這是(shi)一(yi)輛車、一(yi)個(ge)人或者其他的(de)(de)(de)一(yi)個(ge)東西(xi)(xi)，有了這個(ge)先驗(yan)知(zhi)識(shi)并且(qie)知(zhi)道這個(ge)東西(xi)(xi)的(de)(de)(de)實際尺寸，那么當看(kan)到這個(ge)東西(xi)(xi)的(de)(de)(de)時候(hou)，基于先驗(yan)知(zhi)識(shi)就(jiu)可(ke)以(yi)產生空間信息的(de)(de)(de)判(pan)斷。所以(yi)大家如果在一(yi)個(ge)熟悉的(de)(de)(de)環(huan)境(jing)里把一(yi)只(zhi)眼睛閉上，可(ke)能會覺得這跟雙(shuang)目(mu)看(kan)到的(de)(de)(de)基本差不多(duo)，但如果是(shi)在一(yi)個(ge)陌生的(de)(de)(de)環(huan)境(jing)里，單目(mu)就(jiu)無法(fa)分辨，而利用(yong)雙(shuang)目(mu)則可(ke)以(yi)直接(jie)拿到我(wo)們(men)所看(kan)到的(de)(de)(de)環(huan)境(jing)里的(de)(de)(de)視差信息，或者說所觀察對象的(de)(de)(de)空間數據(ju)(ju)，這個(ge)數據(ju)(ju)是(shi)直接(jie)得到的(de)(de)(de)而不是(shi)依據(ju)(ju)于很多(duo)經驗(yan)來得到的(de)(de)(de)，所以(yi)雙(shuang)目(mu)是(shi)一(yi)個(ge)很直接(jie)的(de)(de)(de)技術。
這也就(jiu)是為什么祝融號在火星上(shang)(shang)(shang)要(yao)利用雙(shuang)(shuang)目感知。火星上(shang)(shang)(shang)那些(xie)非(fei)常微(wei)觀的東西我們根本看不到，沒有(you)先驗知識，而通過雙(shuang)(shuang)目計算可(ke)直接得到空間信(xin)息。包括一(yi)(yi)些(xie)自動駕(jia)駛的事(shi)故也是同等道理，當道路上(shang)(shang)(shang)出(chu)現(xian)了一(yi)(yi)些(xie)平常很少出(chu)現(xian)的物體，深度學(xue)習或者機器訓練很少碰到的物體，單目很有(you)可(ke)能就(jiu)無(wu)法識別，另外還有(you)一(yi)(yi)些(xie)駕(jia)駛員沒有(you)集中精力導致的撞上(shang)(shang)(shang)限高桿等情況(kuang)，都可(ke)以通過雙(shuang)(shuang)目測量技術來解決。
雙(shuang)目(mu)在機器人、自動駕駛等移動場(chang)景中具體的作(zuo)用(yong)是(shi)什么？
可移動機器人及自動駕駛系統的主要構成
當談(tan)到可移(yi)動機器人(ren)(ren)、自動駕駛(shi)，其核(he)(he)心(xin)組件(jian)至(zhi)少包括環境感(gan)知(zhi)、行(xing)(xing)為決策(ce)還有(you)執行(xing)(xing)控制。環境感(gan)知(zhi)首先要知(zhi)道所處周邊環境是(shi)什么(me)樣的(de)(de)，對周邊環境有(you)所認知(zhi)才能夠做出行(xing)(xing)為決策(ce)，到底是(shi)往(wang)前(qian)走、往(wang)后退還是(shi)轉(zhuan)圈等行(xing)(xing)為決策(ce)會被傳(chuan)遞到執行(xing)(xing)控制系統，從而帶(dai)動機器人(ren)(ren)行(xing)(xing)走。在幾個核(he)(he)心(xin)部件(jian)里面(mian)環境感(gan)知(zhi)是(shi)最(zui)基礎的(de)(de)輸(shu)入部分，是(shi)整個移(yi)動機器人(ren)(ren)非常重要的(de)(de)一個前(qian)置(zhi)條件(jian)。
環境感(gan)知的傳感(gan)器主(zhu)要包括：激光雷(lei)(lei)達、單目攝像(xiang)頭(tou)、雙目攝像(xiang)頭(tou)、毫米(mi)波雷(lei)(lei)達、超聲(sheng)波雷(lei)(lei)達、GNSS/IMU/RTK等(deng)。
其中單目和雙目的(de)(de)(de)特(te)點就是(shi)圖(tu)(tu)像(xiang)密度(du)非常大，而且現在攝(she)像(xiang)技術(shu)以及基于圖(tu)(tu)像(xiang)的(de)(de)(de)深度(du)學(xue)習的(de)(de)(de)技術(shu)都發(fa)展得特(te)別迅速，我們看(kan)到的(de)(de)(de)很多機(ji)器人(ren)、車輛(liang)都已(yi)經用(yong)了這樣的(de)(de)(de)技術(shu)，當然攝(she)像(xiang)頭也有一(yi)些(xie)局限(xian)性，比如對光(guang)線(xian)的(de)(de)(de)感知(zhi)，它受環境影(ying)響(xiang)就會比較大一(yi)些(xie)，尤(you)其是(shi)一(yi)些(xie)惡(e)劣(lie)的(de)(de)(de)天氣(qi)。另一(yi)個(ge)技術(shu)是(shi)激(ji)光(guang)雷達(da)，目前在掃地機(ji)、機(ji)器人(ren)上面應用(yong)比較普遍，它精度(du)很高并很容易構建周(zhou)圍3D環境，但(dan)也存在受惡(e)劣(lie)天氣(qi)影(ying)響(xiang)較大、功耗大、價格高等問題(ti)，尤(you)其是(shi)多線(xian)束激(ji)光(guang)雷達(da)，價格是(shi)非常高的(de)(de)(de)。
雙目視覺VS激光雷達
雙目(mu)視(shi)覺與激光雷(lei)達是(shi)目(mu)前自(zi)動駕駛主(zhu)傳感器的技術路線。
兩者(zhe)相比較，激光雷(lei)達(da)的特點(dian)是：
①水(shui)平分辨率(lv)高，垂直分辨率(lv)低
②遠近精度保持一致
③主要采(cai)用點云處(chu)理(li)手段，處(chu)理(li)方式比較固定
④高線束激光雷(lei)達成(cheng)本高昂
雙目的特點是：
①水(shui)平和垂直分辨率都高
②近處精度高于遠處
③深度圖(tu)加圖(tu)像的(de)處理手段，應用技(ji)術隨圖(tu)像處理技(ji)術在(zai)持(chi)續演進(jin)
④成本低
雙目立體視覺的應用
在(zai)(zai)(zai)自(zi)動(dong)駕駛的(de)(de)(de)應用(yong)方(fang)面，雙(shuang)目可以(yi)提供多場景解決(jue)方(fang)案，如高速道(dao)路(lu)、復雜(za)(za)路(lu)口(kou)、常規的(de)(de)(de)雨水天氣(qi)、夜晚人車混雜(za)(za)、隧道(dao)跟(gen)蹤、多功(gong)能集成等(deng)情況，都可通過(guo)立體視覺去解決(jue)。例如駕駛員沒有注意到前(qian)方(fang)橋梁、限(xian)高桿導致撞上去的(de)(de)(de)情況，激光、毫米波(bo)、單目等(deng)方(fang)案難(nan)以(yi)應對，就可以(yi)通過(guo)雙(shuang)目限(xian)高預警功(gong)能來進行精準測(ce)量并給予提示。對于一(yi)些大型車輛，在(zai)(zai)(zai)道(dao)路(lu)行駛的(de)(de)(de)過(guo)程會存在(zai)(zai)(zai)很大的(de)(de)(de)盲(mang)區，通過(guo)立體視覺檢測(ce)就能發現盲(mang)區中的(de)(de)(de)人或物體，從(cong)而規避事故發生。
在機器人視覺方面，雙(shuang)目可以(yi)實(shi)現自(zi)主跟隨（包括列(lie)隊跟隨、組群跟隨）、避障等，有非(fei)常廣泛的應(ying)用(yong)價值。
雙目視覺的未來發展
關于雙目立體視(shi)覺(jue)，目前學界、企業界最關注的(de)一(yi)些(xie)核心點(dian)是(shi)什么？我們怎么去做一(yi)些(xie)相關的(de)工(gong)作？
首先要解決的(de)(de)(de)(de)一個問題就是(shi)(shi)感(gan)知距離，雙目探(tan)測(ce)(ce)精(jing)度和距離成反比，遠的(de)(de)(de)(de)地方(fang)精(jing)度會下降(jiang)。還有檢測(ce)(ce)盲(mang)(mang)區，包括人眼(yan)也(ye)會有盲(mang)(mang)區，當(dang)你把手放(fang)在眼(yan)前的(de)(de)(de)(de)時候，有段距離你是(shi)(shi)看不到的(de)(de)(de)(de)，如何減(jian)小盲(mang)(mang)區、增大(da)攝像機(ji)的(de)(de)(de)(de)測(ce)(ce)量范(fan)圍也(ye)是(shi)(shi)我們提升性能的(de)(de)(de)(de)重要著眼(yan)點。
其次是(shi)(shi)關于測量精度(du)(du)。和激光(guang)雷達相比，雙目近處精度(du)(du)好但是(shi)(shi)遠處的(de)精度(du)(du)會低一(yi)些，對于用(yong)戶來說，采用(yong)雙目的(de)時候(hou)一(yi)定是(shi)(shi)希望在工(gong)作距離之內能夠得到(dao)盡可能高的(de)精度(du)(du)。
第三個問題(ti)是(shi)速度。雙(shuang)目(mu)這幾(ji)年(nian)普及(ji)比較快也(ye)(ye)是(shi)因為計算(suan)(suan)速度有一個比較大的(de)改善，早年(nian)大家做雙(shuang)目(mu)計算(suan)(suan)的(de)時候很(hen)多(duo)都是(shi)在PC上做的(de)，如果達不到15幀或者更高的(de)幀率，那(nei)么(me)在機器人等場景里的(de)反應就(jiu)是(shi)慢的(de)，也(ye)(ye)就(jiu)解決不了(le)客(ke)戶的(de)問題(ti)。
第四(si)個問題是可(ke)靠性。如何使模組在(zai)各種震(zhen)動、潮(chao)濕(shi)包括一些復雜(za)的電子環(huan)境里保持穩(wen)定(ding)，雙目(mu)(mu)對比單目(mu)(mu)在(zai)穩(wen)定(ding)性上提出了更苛(ke)刻的要求，因(yin)為雙目(mu)(mu)標(biao)定(ding)要解決左右(you)目(mu)(mu)距位置關(guan)系(xi)，當一些機(ji)械結構變化，左右(you)目(mu)(mu)關(guan)系(xi)發生變化以(yi)后，相機(ji)就會退化。
怎么樣解決(jue)這些核心問題呢？我們正在做(zuo)一(yi)系(xi)列(lie)工作(zuo)。
一個(ge)(ge)方(fang)向是硬件，通(tong)過硬件提供高(gao)(gao)分(fen)(fen)辨(bian)率(lv)圖(tu)像(xiang)，圖(tu)像(xiang)分(fen)(fen)辨(bian)率(lv)提高(gao)(gao)了，檢測距離變遠，精度也相應提高(gao)(gao)。但是高(gao)(gao)分(fen)(fen)辨(bian)率(lv)圖(tu)像(xiang)也帶來(lai)一個(ge)(ge)問題，那就是計算(suan)量會迅速(su)上(shang)升，所(suo)以這里的解決方(fang)案是要(yao)有高(gao)(gao)算(suan)力(li)硬件，不過算(suan)力(li)上(shang)現在(zai)發展也很(hen)快。還有就是通(tong)過結構改進、材料改進、生產工(gong)藝改善，使整個(ge)(ge)系(xi)統能夠(gou)保(bao)持一個(ge)(ge)穩定(ding)性。
除了硬件之(zhi)外，我們也會從(cong)軟件方向(xiang)去改(gai)進。包括算法(fa)改(gai)進，通過(guo)更好的(de)匹配(pei)算法(fa)、超分辨率(lv)算法(fa)、深(shen)度學習等方式。
另外(wai)為(wei)了解(jie)決速度的問題，現(xian)在有專用芯(xin)片可以(yi)在速度和能(neng)耗上帶(dai)來優(you)勢。
通過以(yi)上方式，就把(ba)雙目(mu)從研究室里面的一個技(ji)術(shu)變成(cheng)可以(yi)廣(guang)泛(fan)應用在(zai)各種真實場景(jing)的技(ji)術(shu)。
企業核心研究
元橡科技(ji)產(chan)品(pin)和(he)技(ji)術具有以下核心優勢：
①小尺寸， 更(geng)小尺寸、結構更(geng)穩定、空間占用更(geng)小，更(geng)小盲區
②遠距(ju)離， 在小尺寸的(de)前提(ti)下(xia)可探測距(ju)離達百米
③低(di)時(shi)延，利(li)用硬件加(jia)速技術(shu)，超(chao)低(di)時(shi)延
④高精(jing)度，更好(hao)的匹(pi)配(pei)算(suan)法，亞像素技術
⑤低(di)能耗，高精度算法硬(ying)件(jian)化，能耗降(jiang)至最(zui)低(di)
⑥多規格多方案，多種尺寸規程(cheng)，不同視角配置(zhi)，廣(guang)泛場景適(shi)應，可(ke)選智能化方案，直(zhi)接輸出檢測結果，降低主控算力要(yao)求(qiu)
元(yuan)橡(xiang)科技作為一家在智能(neng)立體(ti)視(shi)覺(jue)(jue)領域有多年沉淀的(de)企業(ye)，立足(zu)于(yu)自主研發，從最底層的(de)模組、芯片，再(zai)到頂(ding)上(shang)的(de)各種(zhong)應用(yong)，都是基于(yu)自己的(de)技術，獨(du)立構建了一個垂直系統(tong)。包括立體(ti)視(shi)覺(jue)(jue)專用(yong)芯片，專為立體(ti)視(shi)覺(jue)(jue)而設置，支持720P@60FPS，可(ke)以帶來(lai)功耗和效(xiao)率上(shang)的(de)很(hen)大提(ti)升(sheng)。在專用(yong)芯片的(de)基礎上(shang)，可(ke)以提(ti)供雙目模組，靈活適配客戶(hu)產品，直接輸出各種(zhong)圖像+深度信息(xi)，無(wu)需外加處理器。獨(du)立的(de)雙目相機(ji)適用(yong)于(yu)各種(zhong)不同的(de)業(ye)務(wu)領域，對做實(shi)驗或者(zhe)小批量的(de)情(qing)況很(hen)友好，能(neng)夠快速滿足(zu)客戶(hu)需求(qiu)(qiu)。元(yuan)橡(xiang)也會針(zhen)對多種(zhong)場景(jing)定制立體(ti)視(shi)覺(jue)(jue)解(jie)決方案來(lai)解(jie)決行業(ye)痛點(dian)，滿足(zu)各類(lei)需求(qiu)(qiu)，也降低(di)傳感器使用(yong)門檻。
元橡(xiang)科技的產品包括車載領域(yu)的ADAS雙目相(xiang)(xiang)機(ji)商用(yong)車版(ban)、ADAS雙目相(xiang)(xiang)機(ji)乘用(yong)車版(ban)、BSD盲區相(xiang)(xiang)機(ji)等；適用(yong)于機(ji)器人和小(xiao)型車輛的元目S系列(lie)、R系列(lie)等產品，如S3系列(lie)相(xiang)(xiang)機(ji)更(geng)適合室(shi)外及半室(shi)內場(chang)景，R3系列(lie)則更(geng)多傾(qing)向(xiang)于室(shi)內場(chang)景，其中都(dou)運用(yong)了元橡(xiang)的自研(yan)芯片，實(shi)現遠距離、高(gao)精度(du)等更(geng)佳(jia)的性(xing)能指標。
現場Q&A
Q：雙目視覺直接取代激光(guang)雷(lei)達還(huan)存(cun)在什(shen)么瓶頸嗎？
A：目前(qian)在(zai)自動駕駛領(ling)域，像特斯拉是(shi)使用(yong)了很(hen)多個攝像頭，走(zou)的(de)純視(shi)覺(jue)技術路(lu)(lu)線(xian)(xian)，還有一些企業尤其(qi)國(guo)(guo)內新(xin)勢力造車企業是(shi)走(zou)的(de)激光(guang)路(lu)(lu)線(xian)(xian)，上文提到(dao)激光(guang)的(de)一個好處就是(shi)相(xiang)(xiang)對來說(shuo)比(bi)較(jiao)穩定(ding)，而且計(ji)算比(bi)較(jiao)簡單。而視(shi)覺(jue)和立體(ti)視(shi)覺(jue)的(de)信(xin)息密(mi)度比(bi)較(jiao)大，所以會對計(ji)算資源和計(ji)算能力要求比(bi)較(jiao)高。目前(qian)這兩(liang)條道路(lu)(lu)是(shi)在(zai)相(xiang)(xiang)互(hu)競爭賽跑(pao)，也在(zai)相(xiang)(xiang)互(hu)促(cu)進(jin)，國(guo)(guo)內很(hen)多傳感(gan)器(qi)廠商也都在(zai)走(zou)這兩(liang)條路(lu)(lu)線(xian)(xian)。而從小型機(ji)器(qi)人(ren)角度來講，目前(qian)我們(men)見到(dao)的(de)各種各樣(yang)的(de)酒(jiu)店服務機(ji)器(qi)人(ren)、餐飲機(ji)器(qi)人(ren)、物流(liu)車等用(yong)立體(ti)視(shi)覺(jue)的(de)會更多一些，激光(guang)相(xiang)(xiang)對來說(shuo)不(bu)占優。
所以(yi)從(cong)一(yi)個(ge)(ge)從(cong)業者(zhe)的(de)角(jiao)度來(lai)看，我覺得這兩(liang)個(ge)(ge)技術路線會(hui)長(chang)期共存一(yi)段(duan)時間(jian)，我個(ge)(ge)人(ren)還是(shi)比較(jiao)看好(hao)視(shi)覺，包括雙目立體視(shi)覺未來(lai)的(de)趨勢(shi)，一(yi)個(ge)(ge)是(shi)因為(wei)它天(tian)然(ran)的(de)信(xin)息密度大，在(zai)這個(ge)(ge)好(hao)的(de)原料的(de)基礎上可以(yi)加工，這是(shi)一(yi)個(ge)(ge)很(hen)難代替的(de)優勢(shi)。另外也是(shi)因為(wei)雙目具備了一(yi)個(ge)(ge)功(gong)耗低(di)的(de)好(hao)處，因為(wei)立體視(shi)覺是(shi)一(yi)個(ge)(ge)被(bei)動器件(jian)，只要(yao)接(jie)收(shou)自然(ran)光(guang)就可以(yi)了，而激(ji)光(guang)雷(lei)達要(yao)想做高線束(shu)、遠距(ju)離的(de)話就需要(yao)一(yi)個(ge)(ge)相當大的(de)功(gong)耗。我們也和很(hen)多(duo)朋友一(yi)起討論過，尤其是(shi)在(zai)很(hen)多(duo)特殊場景里面，這樣的(de)功(gong)耗對于(yu)很(hen)多(duo)機器是(shi)無法承受的(de)。
技術瓶(ping)頸的話主要是(shi)涉及到系統整體(ti)的穩定(ding)性和大規模計算，但是(shi)這些硬件能(neng)力是(shi)會逐步得到滿(man)足的。
Q：元橡有多目環視相機方案(an)或者(zhe)產品(pin)嗎？
A：元橡有一(yi)(yi)個(ge)(ge)整車解(jie)決方案(an)，我們(men)叫瞰行系(xi)統(tong)。瞰行系(xi)統(tong)就是在包(bao)括前視、后視以及(ji)盲區的不同位(wei)置，通過安(an)裝雙目組合做到(dao)一(yi)(yi)個(ge)(ge)全(quan)車的安(an)全(quan)方案(an)。
Q：元橡(xiang)的雙目相機在機器狗上有應用嗎？
A：我們和國(guo)內的(de)一些(xie)機器狗以及(ji)類似四(si)足機器人的(de)公司是有(you)接觸或合作的(de)，目前和國(guo)內一家非常(chang)主(zhu)流的(de)四(si)足機器人廠(chang)商有(you)非常(chang)深入的(de)合作。
Q：深(shen)度估(gu)計(ji)是傳統雙目深(shen)度估(gu)計(ji)還是基于深(shen)度學(xue)習的(de)雙目深(shen)度估(gu)計(ji)？這兩者(zhe)各有什么樣的(de)優勢？
A：上文我們所講到的(de)(de)這些(xie)(xie)內容里面(mian)(mian)主(zhu)要(yao)還是傳(chuan)統雙目深(shen)度計(ji)(ji)算(suan)(suan)(suan)(suan)，主(zhu)要(yao)解決(jue)逐點(dian)視差(cha)(cha)計(ji)(ji)算(suan)(suan)(suan)(suan)，這個計(ji)(ji)算(suan)(suan)(suan)(suan)需要(yao)消(xiao)耗非(fei)常(chang)(chang)大(da)的(de)(de)算(suan)(suan)(suan)(suan)力(li)(li)，也(ye)是基于現(xian)在(zai)硬件以(yi)及計(ji)(ji)算(suan)(suan)(suan)(suan)能(neng)力(li)(li)提(ti)(ti)升而能(neng)夠(gou)達到這樣的(de)(de)一(yi)(yi)(yi)個效(xiao)果(guo)。基于逐點(dian)視差(cha)(cha)的(de)(de)結果(guo)，為后(hou)續處理提(ti)(ti)供了(le)非(fei)常(chang)(chang)大(da)的(de)(de)便利性，降低后(hou)續計(ji)(ji)算(suan)(suan)(suan)(suan)的(de)(de)復雜(za)度。而深(shen)度學(xue)習在(zai)一(yi)(yi)(yi)些(xie)(xie)案(an)例中也(ye)體現(xian)了(le)一(yi)(yi)(yi)定成(cheng)效(xiao)，我們前面(mian)(mian)提(ti)(ti)到的(de)(de)算(suan)(suan)(suan)(suan)法演進這塊，也(ye)有(you)深(shen)度學(xue)習這樣一(yi)(yi)(yi)個分支。但是在(zai)量產產品里面(mian)(mian)，目前看到的(de)(de)用深(shen)度學(xue)習的(de)(de)還是非(fei)常(chang)(chang)少(shao)，可能(neng)大(da)家做(zuo)一(yi)(yi)(yi)些(xie)(xie)實驗系統時用的(de)(de)會(hui)更多一(yi)(yi)(yi)些(xie)(xie)。未來應該說(shuo)兩(liang)者會(hui)有(you)一(yi)(yi)(yi)些(xie)(xie)結合，深(shen)度學(xue)習一(yi)(yi)(yi)個大(da)的(de)(de)前提(ti)(ti)就是需要(yao)大(da)量數據的(de)(de)積(ji)累，而對(dui)于未知環境來說(shuo)，傳(chuan)統視覺計(ji)(ji)算(suan)(suan)(suan)(suan)是更可靠的(de)(de)一(yi)(yi)(yi)個方法。
Q：雙目在線標定復雜嗎(ma)？
A：比(bi)如(ru)元橡(xiang)做(zuo)雙目(mu)標(biao)(biao)(biao)定(ding)(ding)(ding)的(de)(de)話，它涉及到(dao)兩塊：第一(yi)塊就是相(xiang)(xiang)(xiang)(xiang)機(ji)(ji)在(zai)(zai)出廠前的(de)(de)標(biao)(biao)(biao)定(ding)(ding)(ding)，出廠前標(biao)(biao)(biao)定(ding)(ding)(ding)包括相(xiang)(xiang)(xiang)(xiang)機(ji)(ji)的(de)(de)內參和(he)(he)外(wai)參，使相(xiang)(xiang)(xiang)(xiang)機(ji)(ji)達(da)到(dao)一(yi)個(ge)可用的(de)(de)狀態(tai)。然后相(xiang)(xiang)(xiang)(xiang)機(ji)(ji)安裝(zhuang)到(dao)車(che)輛(liang)上的(de)(de)時候，因為(wei)相(xiang)(xiang)(xiang)(xiang)機(ji)(ji)和(he)(he)車(che)輛(liang)之(zhi)間(jian)有一(yi)個(ge)相(xiang)(xiang)(xiang)(xiang)對位置關系(xi)，所以(yi)需要對相(xiang)(xiang)(xiang)(xiang)機(ji)(ji)和(he)(he)車(che)輛(liang)的(de)(de)相(xiang)(xiang)(xiang)(xiang)對位置關系(xi)做(zuo)現場計(ji)算(suan)(suan)。現場計(ji)算(suan)(suan)現在(zai)(zai)我們也有很多的(de)(de)方(fang)法，包括標(biao)(biao)(biao)定(ding)(ding)(ding)板(ban)或者(zhe)道(dao)路參照，另外(wai)更簡單的(de)(de)方(fang)法是把雙目(mu)裝(zhuang)到(dao)車(che)上以(yi)后試跑(pao)一(yi)段時間(jian)，跑(pao)個(ge)幾(ji)十公里(li)、幾(ji)十分鐘，系(xi)統自動就標(biao)(biao)(biao)定(ding)(ding)(ding)好了。所以(yi)經過我們的(de)(de)實踐，覺得雙目(mu)在(zai)(zai)線標(biao)(biao)(biao)定(ding)(ding)(ding)尤其是和(he)(he)車(che)輛(liang)之(zhi)間(jian)的(de)(de)標(biao)(biao)(biao)定(ding)(ding)(ding)不(bu)是很復雜，已經被(bei)極大簡化了。
Q：看到(dao)自(zi)動駕駛行業也有(you)一些(xie)公司用單目視覺(jue)，請問自(zi)動駕駛領(ling)域單目和雙目各有(you)什么優劣勢嗎(ma)？
A：在車載領域一(yi)般都(dou)不是用(yong)純單(dan)目(mu)(mu)和(he)雙(shuang)(shuang)(shuang)目(mu)(mu)比(bi)，而經常是單(dan)目(mu)(mu)+毫米波(bo)雷(lei)達和(he)雙(shuang)(shuang)(shuang)目(mu)(mu)進行比(bi)較，單(dan)目(mu)(mu)有(you)自動學(xue)習的(de)(de)能(neng)(neng)力(li)(li)(li)，它可以判斷一(yi)些主要障礙物， 但是它在測距方面(mian)有(you)天然的(de)(de)缺(que)陷，需要一(yi)個測距的(de)(de)手段來輔助，所以會搭配毫米波(bo)雷(lei)達使用(yong)。而雙(shuang)(shuang)(shuang)目(mu)(mu)具有(you)圖像(xiang)識(shi)別能(neng)(neng)力(li)(li)(li)的(de)(de)同(tong)時也天然具有(you)測量(liang)能(neng)(neng)力(li)(li)(li)，雙(shuang)(shuang)(shuang)目(mu)(mu)本身(shen)就(jiu)可以完(wan)成(cheng)對象的(de)(de)識(shi)別和(he)距離測量(liang)，所以雙(shuang)(shuang)(shuang)目(mu)(mu)和(he)單(dan)目(mu)(mu)+毫米波(bo)雷(lei)達相(xiang)比(bi)的(de)(de)話，雙(shuang)(shuang)(shuang)目(mu)(mu)的(de)(de)成(cheng)本優勢會更明顯一(yi)些。當然如(ru)果(guo)純雙(shuang)(shuang)(shuang)目(mu)(mu)和(he)單(dan)目(mu)(mu)對比(bi)，實際上單(dan)目(mu)(mu)做的(de)(de)工作雙(shuang)(shuang)(shuang)目(mu)(mu)也都(dou)能(neng)(neng)做，因為雙(shuang)(shuang)(shuang)目(mu)(mu)和(he)單(dan)目(mu)(mu)都(dou)是基于(yu)攝像(xiang)技術的(de)(de)，但雙(shuang)(shuang)(shuang)目(mu)(mu)還(huan)同(tong)時具有(you)測量(liang)能(neng)(neng)力(li)(li)(li)。單(dan)目(mu)(mu)的(de)(de)硬件(jian)會更簡單(dan)一(yi)些，目(mu)(mu)前支(zhi)持(chi)的(de)(de)分辨(bian)率(lv)也更大(da)。實踐中(zhong)，還(huan)有(you)很(hen)多的(de)(de)方案組合(he)，比(bi)如(ru)多個攝像(xiang)頭組成(cheng)的(de)(de)全車系統，也是很(hen)多企(qi)業的(de)(de)選(xuan)擇。
Q：雙目左(zuo)右(you)攝像(xiang)頭看到的圖像(xiang)如(ru)何確(que)定(ding)是(shi)同一個(ge)目標(biao)呢？有哪些比(bi)較好的匹配方法？
A：首(shou)先這里有一些不(bu)同(tong)的技術。
如果是(shi)(shi)(shi)基(ji)于逐點(dian)匹配進行(xing)(xing)視(shi)差(cha)計(ji)算，我們(men)是(shi)(shi)(shi)不區分目標(biao)(biao)的(de)，而是(shi)(shi)(shi)首先在相(xiang)機的(de)生產和制造過程中(zhong)對相(xiang)機的(de)內外參進行(xing)(xing)計(ji)算，然后對相(xiang)機本身做(zuo)了一個標(biao)(biao)定，這(zhe)個標(biao)(biao)定保證了做(zuo)計(ji)算的(de)時候能夠對物理上的(de)同一點(dian)進行(xing)(xing)視(shi)差(cha)計(ji)算，這(zhe)樣得(de)到的(de)是(shi)(shi)(shi)整個空(kong)間(jian)(jian)的(de)視(shi)差(cha)值(zhi)而并(bing)不考慮(lv)它是(shi)(shi)(shi)屬于哪個物體(ti)上的(de)點(dian)，反而是(shi)(shi)(shi)當我得(de)到視(shi)差(cha)值(zhi)以后，因為(wei)不同物體(ti)的(de)空(kong)間(jian)(jian)位置不一樣，就能非常(chang)容易(yi)地(di)把這(zhe)些對象分隔開來，相(xiang)當于是(shi)(shi)(shi)先有視(shi)差(cha)或者說(shuo)先有空(kong)間(jian)(jian)點(dian)云，再有對象。
另外一(yi)種可能大家也會想到的一(yi)個(ge)方法，就(jiu)(jiu)是如(ru)果不想那么辛苦(ku)地每個(ge)視差都算，那么就(jiu)(jiu)先把(ba)需要的對象摳出來(lai)，再進行左右(you)比對，這也是可以的。
Q：為什么用雙目測距時會出現測量值跳動的(de)情況？
A：雙目(mu)計算(suan)依賴于左右圖(tu)像(xiang)的(de)(de)相(xiang)(xiang)似(si)性(xing)計算(suan)，不同時(shi)刻的(de)(de)成像(xiang)多少會(hui)有些差(cha)(cha)(cha)異，導(dao)致了匹配算(suan)法結果的(de)(de)一(yi)些差(cha)(cha)(cha)異。因為(wei)距(ju)(ju)離和(he)視差(cha)(cha)(cha)成反比，同樣(yang)視差(cha)(cha)(cha)偏(pian)差(cha)(cha)(cha)，距(ju)(ju)離遠(yuan)的(de)(de)地方會(hui)更明顯一(yi)些。影響成像(xiang)的(de)(de)因素比較(jiao)多，曝光時(shi)間(jian)算(suan)一(yi)個。這種擾動是客(ke)觀存在(zai)(zai)的(de)(de)。在(zai)(zai)實際中，一(yi)方面通過相(xiang)(xiang)機改善，在(zai)(zai)空間(jian)和(he)時(shi)間(jian)上做到更好(hao)的(de)(de)穩定(ding)性(xing)。另一(yi)方面在(zai)(zai)應用里更多會(hui)采用一(yi)些統計算(suan)法來進行平(ping)滑。
非常高(gao)興能有這樣(yang)一次分享(xiang)交流的(de)機(ji)會，未來希望和大家(jia)在立體視覺領域(yu)有更深入的(de)溝通和探討，共同進步。
