在一(yi)些不(bu)適合(he)人(ren)工作業的(de)(de)危險(xian)環境(jing)或(huo)者人(ren)眼視覺難以滿足要求(qiu)的(de)(de)場合(he)，用機器視覺替代人(ren)眼來進行觀察、測(ce)量(liang)就成為了(le)一(yi)種非常必要的(de)(de)選擇。
20世紀80年(nian)代，美(mei)國麻(ma)省理(li)(li)工(gong)學院(yuan)的(de)(de)Marr提(ti)出(chu)了一種基于雙(shuang)(shuang)眼匹配的(de)(de)視覺計算理(li)(li)論,使兩(liang)張(zhang)有(you)(you)視差的(de)(de)平面圖(tu)經過處理(li)(li)能夠產生有(you)(you)深度(du)的(de)(de)立(li)體(ti)圖(tu)形,從(cong)而實現三維重(zhong)建。經過幾十年(nian)的(de)(de)發展(zhan)，雙(shuang)(shuang)目立(li)體(ti)視覺已成(cheng)(cheng)為計算機視覺中的(de)(de)一個重(zhong)要分支(zhi)，左右攝像頭(tou)模(mo)仿(fang)人(ren)類雙(shuang)(shuang)眼，具有(you)(you)識體(ti)和測(ce)距功能，在(zai)人(ren)類生活的(de)(de)方方面面都(dou)有(you)(you)廣(guang)闊的(de)(de)應用前景，尤其(qi)在(zai)智能化程度(du)越來(lai)越高的(de)(de)汽(qi)車領(ling)域、機器人(ren)領(ling)域，需求(qiu)的(de)(de)爆發和技術的(de)(de)成(cheng)(cheng)熟已經讓雙(shuang)(shuang)目感知(zhi)從(cong)過去的(de)(de)較少認知(zhi)，演變(bian)成(cheng)(cheng)當下行業內一種重(zhong)要的(de)(de)感知(zhi)方案。
近日，元(yuan)橡(xiang)科技CTO任杰受邀(yao)參加中國圖(tu)像圖(tu)形學學會(hui)主辦(ban)的(de)CSIG多媒(mei)體技術大會(hui)，會(hui)上分享(xiang)了(le)《雙目(mu)立體視(shi)覺的(de)研發進展及在智能(neng)駕駛和(he)機器人(ren)領域的(de)應用》主題報(bao)(bao)告，以下內容根據報(bao)(bao)告整理。
升(sheng)溫——智能雙目，“上天入地”
近幾年來(lai)，我(wo)(wo)們看到雙(shuang)目出現了(le)越(yue)來(lai)越(yue)多(duo)的(de)(de)行業(ye)熱點，著陸于(yu)火星烏托邦平原進行科學探(tan)索的(de)(de)“祝融號”、高智能水平的(de)(de)仿(fang)生(sheng)機器人以及我(wo)(wo)們生(sheng)活中已經比(bi)較熟知的(de)(de)無(wu)人機、割(ge)草機、無(wu)人配送車等等，雙(shuang)目傳(chuan)感器的(de)(de)應用從(cong)我(wo)(wo)們身邊觸手可及的(de)(de)地方跨越(yue)到幾億公里外的(de)(de)太空。
而近階段大(da)型(xing)(xing)車(che)(che)(che)(che)展中所(suo)展示的(de)(de)新(xin)車(che)(che)(che)(che)型(xing)(xing)，很多(duo)也(ye)有(you)了(le)雙(shuang)目(mu)攝像頭的(de)(de)配置(zhi)。在(zai)車(che)(che)(che)(che)載領域，雙(shuang)目(mu)的(de)(de)應用其實有(you)著很長的(de)(de)歷(li)史。1999年(nian)，斯(si)巴魯第(di)一次在(zai)其量產(chan)車(che)(che)(che)(che)型(xing)(xing)中搭載了(le)雙(shuang)目(mu)視覺系(xi)統，在(zai)這之(zhi)后(hou)，雙(shuang)目(mu)技術路線一直向前演進。早期，我(wo)們更多(duo)是在(zai)一些日系(xi)、德系(xi)車(che)(che)(che)(che)上(shang)看到(dao)它的(de)(de)身影，而后(hou)更多(duo)主流高(gao)端車(che)(che)(che)(che)型(xing)(xing)有(you)了(le)立體視覺相(xiang)機的(de)(de)布局，并開始(shi)逐漸(jian)向中低端車(che)(che)(che)(che)型(xing)(xing)滲透。越來(lai)越多(duo)的(de)(de)主機廠(chang)開始(shi)在(zai)新(xin)的(de)(de)產(chan)品中從(cong)單目(mu)切換為(wei)雙(shuang)目(mu)方案，包括(kuo)大(da)眾(zhong)、本田、小鵬、極狐(hu)、零跑、領克等，以提高(gao)L2以上(shang)更高(gao)級別自動(dong)駕駛技術的(de)(de)安全性(xing)和可靠性(xing)。
汽車(che)產業(ye)的更新換代，讓整個行(xing)業(ye)都必須反復思考：車(che)輛應(ying)該(gai)具有什么樣的智能？以(yi)及技術角度如(ru)何與真實的行(xing)業(ye)需求匹配？
目(mu)前，全球唯二已上(shang)路的L3量產車，一(yi)個(ge)(ge)是奔馳S級和EQS旗艦車型，一(yi)個(ge)(ge)是本(ben)田Legend Hybrid EX，均配備有雙目(mu)立體視覺系(xi)統。
（奔馳L3自動駕駛傳感器配置丨圖(tu)源網絡）
（本(ben)田(tian)Legend Hybrid EX L3自動駕駛(shi)丨圖源網絡）
為(wei)什么“熱”？——順(shun)著風向，創(chuang)造價值(zhi)
雙目的(de)熱(re)度為什么(me)快速升高(gao)？因為真實世界的(de)復雜環境和(he)高(gao)等級(ji)智能化的(de)需求，要(yao)求感知系統具(ju)備越來(lai)越高(gao)的(de)準(zhun)確性、魯棒(bang)性和(he)稠密度。
比(bi)如充滿未知因素(su)的(de)火星表面，比(bi)如我們家(jia)用機器人(ren)工(gong)作的(de)日常環境，復雜程度都(dou)非常高(gao)。
從(cong)車(che)載角(jiao)度來(lai)說，大(da)家普遍用L0-L5的(de)等級去劃分(fen)自動駕駛的(de)級別，目(mu)前主流車(che)企大(da)多是在L2~L3中間，這個區域(yu)其實是存在一個比較(jiao)大(da)的(de)階躍的(de)。
整(zheng)(zheng)個智能駕駛系(xi)統從之(zhi)前更多(duo)關(guan)注(zhu)誤(wu)報轉向更多(duo)關(guan)注(zhu)漏檢；從部分目標(biao)/場景的檢測變為(wei)盡(jin)量實(shi)現整(zheng)(zheng)個環境全類型目標(biao)覆蓋(gai)；從輔助司(si)機(ji)減輕駕駛疲(pi)勞，到主動預防(fang)風險。
自動(dong)駕駛應用的范(fan)疇，從港口、礦山等封閉場景，到高速NOA，再到城市NOA的實現(xian)，場景規(gui)模快速鋪開，技術難度指數級增長。
行業進化如(ru)火(huo)如(ru)荼，就(jiu)對感知層面(mian)提出了(le)更高要求(qiu)。要實現(xian)從輔(fu)助(zhu)駕駛到自(zi)動(dong)駕駛的技術迭代，雙(shuang)目立體視覺是最(zui)合乎自(zi)然進化規律的路線。
雙目是(shi)類(lei)人眼(yan)(yan)的(de)仿生傳感(gan)器(qi)，我們人類(lei)可以憑(ping)借雙眼(yan)(yan)感(gan)受(shou)這個世(shi)界，完成各種(zhong)各樣(yang)簡單或復雜的(de)任務，而要解決自動駕駛(shi)的(de)長尾效(xiao)應(ying)(ying)，這樣(yang)一(yi)種(zhong)在不同場景都(dou)有高適(shi)應(ying)(ying)度的(de)“通用(yong)傳感(gan)器(qi)”就有著重要作(zuo)用(yong)。
整個自然界的(de)(de)(de)物(wu)種群(qun)體中，根據食物(wu)鏈的(de)(de)(de)不同(tong)分配方(fang)式，會使動(dong)物(wu)的(de)(de)(de)視覺(jue)系統演(yan)化出(chu)不同(tong)的(de)(de)(de)能力(li)(li)。例如老鷹(ying)、獅子、獵豹，包括人(ren)類，大多(duo)是(shi)作為捕獵者(zhe)的(de)(de)(de)角色(se)，因此(ci)雙(shuang)(shuang)眼視覺(jue)更聚焦，測(ce)距信息(xi)的(de)(de)(de)精準程(cheng)度也更高。而金(jin)魚、馬(ma)、鹿等動(dong)物(wu)的(de)(de)(de)眼睛構造則使它們的(de)(de)(de)視力(li)(li)覆蓋范(fan)圍更廣，看得更多(duo)也更快(kuai)，因此(ci)就能對危(wei)險有更迅(xun)速的(de)(de)(de)反應。目前用于自動(dong)駕駛的(de)(de)(de)雙(shuang)(shuang)目傳感器，更多(duo)是(shi)從前者(zhe)得到的(de)(de)(de)啟示。
（動物界(jie)中(zhong)進化(hua)的(de)不同雙(shuang)目視覺(jue)系統）
雙(shuang)目技術(shu)原理(li)是基于(yu)三角測量理(li)論。對于(yu)同一場景，用左(zuo)右攝像(xiang)頭在同一時間(jian)拍攝兩張(zhang)圖像(xiang)，兩張(zhang)圖具有(you)大量的(de)冗余信息，但是會有(you)微(wei)(wei)小(xiao)差異，就是這一點(dian)微(wei)(wei)小(xiao)的(de)差異，讓我(wo)們可以通過數學(xue)計算推導(dao)物體的(de)距離(li)也就是深度(du)信息，從而得到稠密的(de)空間(jian)感知(zhi)結果。
目前業內普遍(bian)使用的(de)技術方案各有(you)特色，比(bi)如激光(guang)雷(lei)達(da)測量精度(du)高，一(yi)致性好，但稠(chou)密(mi)度(du)欠佳，成(cheng)本令人卻步；毫米波雷(lei)達(da)支持(chi)全天候工作，但點云非常稀(xi)疏。不同(tong)的(de)傳感(gan)器可(ke)以(yi)做特色的(de)搭配，未(wei)來也(ye)(ye)會(hui)有(you)更多的(de)融合，把每種傳感(gan)器的(de)能力(li)發(fa)揮到極致，以(yi)在感(gan)知層實現足夠的(de)安全冗余。而我們(men)始終(zhong)更推崇并堅持(chi)雙目路線的(de)原因是它更接(jie)近(jin)于人類視覺(jue)和(he)大腦(nao)的(de)感(gan)知和(he)理解方式，信(xin)息(xi)最豐富(fu)稠(chou)密(mi)，得到的(de)深(shen)度(du)信(xin)息(xi)和(he)圖像是點對點一(yi)一(yi)映(ying)射的(de)天然結(jie)果，成(cheng)本也(ye)(ye)比(bi)較低。
雙(shuang)目(mu)能夠對整個三維環境做到高(gao)幀率的實時感知，對于(yu)不(bu)常見(jian)的、具有(you)混(hun)淆作用的一般障礙物也能有(you)準確識別能力。從元橡雙(shuang)目(mu)產品的3D高(gao)精(jing)度感知結果(guo)來看，用1M像素、10cm基線，車輛穩定檢(jian)測距離(li)可以(yi)超過150m。
難點(dian)&熱(re)點(dian)——走正確的路，然后堅決地迎難而上
? 雙(shuang)目立體(ti)匹(pi)配(pei)的難點(dian)&熱點(dian)
（立體(ti)匹配基本算(suan)法流(liu)程）
雙目立體匹(pi)配的(de)(de)過程中，我們(men)可以(yi)使用一些不(bu)同(tong)的(de)(de)方法，傳(chuan)統方法和基(ji)于深度學習的(de)(de)方法等，它們(men)的(de)(de)基(ji)本思想是(shi)很接(jie)近的(de)(de)。那(nei)么如(ru)果要(yao)實現(xian)最好的(de)(de)效果，業內面臨(lin)的(de)(de)一些難點(dian)或者說研(yan)發的(de)(de)熱點(dian)是(shi)什(shen)么呢？
總體(ti)來說，我們(men)會(hui)關注這樣一些方面(mian)：
▌ 保真度(du)：怎樣(yang)獲取精準的輪廓細節(jie)，提(ti)高紋理(li)細節(jie)的保留能力
▌ 魯棒性：減(jian)少錯誤匹配
▌ 稠密(mi)度：利用多(duo)尺度上(shang)下(xia)文理(li)解(jie)，解(jie)決低照度/弱(ruo)紋理(li)場景下(xia)的問題(ti)
▌ 精準(zhun)度：實現遠距離的精準(zhun)測(ce)距感知
▌ 實時性(xing)：算力和性(xing)能的平衡
? 異構(gou)算(suan)力(li)的研發(fa)與產(chan)品化(hua)
怎樣在(zai)異構芯片上進行部署，也是雙目立體(ti)視覺涉及(ji)的難(nan)點和(he)熱點。針對異構的算力平臺，比如(ru)FPGA、CPU、AI加速引擎以(yi)及(ji)ASIC，我們要考(kao)慮怎樣部署去提高數據交互的效率(lv)和(he)取得算法&性能的折(zhe)衷，這是一個(ge)系統性、工程性的問題。
這一(yi)方面，元橡成功研發了國內首(shou)顆(ke)雙(shuang)目(mu)車規(gui)級芯片：
▌ ASIC芯片(pian)，實現(xian)低功耗和(he)高性能，級聯(lian)最大可支(zhi)持8M，60FPS；
▌ 內置(zhi)ISP，專為立體(ti)視覺定制設計，同(tong)步(bu)、多通道圖像一致性；
▌ 專用(yong)深(shen)(shen)度引擎，直接輸出圖像(xiang)+深(shen)(shen)度信息，深(shen)(shen)度計算時間延(yan)遲為毫秒級；
▌ 內置基礎應用，包括避(bi)障、SLAM等；
▌ 領先(xian)的(de)雙目(mu)算(suan)法Meto-DEP，在有限的(de)算(suan)力(li)情況下，發(fa)揮最(zui)大的(de)計算(suan)能(neng)力(li)和計算(suan)效(xiao)率，同等(deng)目(mu)距(ju)、像(xiang)素條件下，測距(ju)更遠、精度更高。
? 量產工程化(hua)與產業合作(zuo)
我們把一個雙目攝像(xiang)頭拆解開來，其結(jie)構(gou)包括殼體、鏡頭、基座、PCB、CMOS等等，產品(pin)最終功能的實現，需要物(wu)理(li)器件配合(he)光(guang)學成像(xiang)器件，還需要算法去(qu)一起完成耦合(he)和調(diao)校。
只有在(zai)工程(cheng)化的(de)每一個流程(cheng)中，逐一攻(gong)克難點，從整體(ti)系統角度思考，綜合優(you)化，才能在(zai)量產(chan)過程(cheng)中保障好產(chan)品(pin)的(de)高精度和(he)高穩定(ding)性。
而也只有在(zai)產業合作(zuo)的(de)每(mei)一個環節中，從全生命周期的(de)視角(jiao)去理解并完善產品(pin)，才(cai)能讓消費者獲得更好的(de)產品(pin)體驗。
典型應用領域——技術最好的(de)發展，是“飛(fei)入尋常(chang)百姓家”
元(yuan)橡(xiang)立體視(shi)覺(jue)產品的典型應用(yong)領域是智能駕駛和(he)機器人(ren)。
【智能(neng)駕駛領域】
面向智能(neng)駕(jia)駛的(de)場景(jing)不確定性(xing)和長尾效應，雙目是類人眼的(de)“通用傳(chuan)感(gan)器”，可以對大模型(xing)不可能(neng)覆蓋到的(de)邊緣(yuan)場景(jing)（corner case）進行(xing)規避和響應，降低交通事故(gu)的(de)發生率。另外(wai)在一些起伏、顛簸(bo)的(de)路(lu)面，雙目路(lu)面預瞄產品(pin)也能(neng)提(ti)高行(xing)車舒適(shi)性(xing)。
元橡車載雙目產品包(bao)括(kuo)雙目攝像頭模組方案(an)、雙目一體(ti)機方案(an)、域控制器方案(an)，覆蓋(gai)行車安(an)全和舒(shu)適兩大(da)功能(neng)。
? ADAS功能優勢：AEB鬼探頭(tou)的及時檢(jian)測與制(zhi)動(dong)優化
比如城市復雜場(chang)景中我們需(xu)要面對的“鬼探(tan)頭”，雙目可以更早地(di)通過局(ju)部對象點(dian)云檢測(ce)發現鬼探(tan)頭危險趨勢，更早提供(gong)規(gui)控信(xin)息進行(xing)制動。相比之(zhi)下(xia)，單(dan)目則需(xu)要更長時間確認完整對象導致響應(ying)延誤。
? ADAS功能優勢：AEB一般(ban)通用障礙物有效(xiao)檢測與制動(dong)優化
現在(zai)自動駕(jia)駛(shi)車(che)上路之后，用于(yu)自動駕(jia)駛(shi)訓練的數據量變(bian)大了(le)(le)，系統(tong)能力逐步(bu)提升(sheng)。但我們仍能看到一(yi)(yi)些(xie)很(hen)“奇怪”的事故發生，比如前面明明有(you)一(yi)(yi)個很(hen)大的側翻車(che)輛，自動駕(jia)駛(shi)車(che)還是“無視”地(di)撞上去(qu)了(le)(le)，這(zhe)就(jiu)是因為單目對一(yi)(yi)般障礙物的檢測失效(xiao)了(le)(le)。
而雙目立(li)體視覺天(tian)然具(ju)有(you)測量能(neng)(neng)力，不依賴于AI訓練就(jiu)可以檢測出各種(zhong)障礙(ai)物，包括但不限于路(lu)墩、側(ce)翻(fan)車輛(liang)、路(lu)障等(deng)各類一般障礙(ai)物，能(neng)(neng)有(you)效避免單目AI漏檢產生(sheng)的危險事故，顯著提(ti)升系統安全性。
? ADAS功(gong)能(neng)優勢：ACC跟車切入「加(jia)塞」快速檢測(ce)與制動優化
在(zai)ACC跟車(che)(che)切入(ru)場景(jing)中，雙(shuang)目方(fang)案能(neng)在(zai)車(che)(che)身完(wan)整出(chu)現前就(jiu)(jiu)可以更早檢測出(chu)加塞車(che)(che)輛(liang)。加塞車(che)(che)輛(liang)只(zhi)要(yao)露出(chu)一(yi)點(dian)點(dian)車(che)(che)頭，雙(shuang)目就(jiu)(jiu)獲得了足夠的信(xin)息，能(neng)精準判斷(duan)對方(fang)車(che)(che)輛(liang)姿態、距離，從而更好判斷(duan)對方(fang)意圖，提(ti)示(shi)自車(che)(che)車(che)(che)主做出(chu)緩速或(huo)者剎車(che)(che)動作，讓ACC控制更安全，更舒適(shi)。
? 高(gao)階(jie)智能駕(jia)駛(shi)：更可(ke)靠高(gao)效的可(ke)行駛(shi)區域(yu)
在更高階的(de)智能駕駛中(zhong)，Tesla和Mobileye早(zao)前(qian)就提出(chu)了free space也就是可(ke)行(xing)使(shi)區(qu)(qu)域的(de)概念。而雙目天然就能具備(bei)完備(bei)的(de)目標(biao)識別感(gan)知與(yu)可(ke)行(xing)使(shi)區(qu)(qu)域檢測能力，在混合(he)場景、密集場所等復(fu)雜路況條件下，全類型感(gan)知人、車、物，對障礙物的(de)檢測更加(jia)精準和魯棒。
? 舒適性功能：魔毯底盤
在汽(qi)車行業競爭日漸白熱化的當(dang)下，高端車型(xing)很多都已經配備了(le)用于整車垂向舒(shu)適性控制的底(di)盤(pan)懸架和減震系(xi)統。這(zhe)與雙(shuang)目可以進行路面(mian)預(yu)瞄的結合，通過雙(shuang)目系(xi)統識別道路類(lei)型(xing)，掃描前方路面(mian)信息，得到高精度(du)路面(mian)3D點云，將路面(mian)數據傳遞給主動懸架系(xi)統，進行底(di)盤(pan)實時自適應調(diao)節，實現(xian)“魔毯”功能。
繼豪華品牌的高(gao)端(duan)車型如奔馳S、寶馬(ma)7之(zhi)后，國內品牌的高(gao)端(duan)車型，如比亞迪、東(dong)風M系列也開始增加魔(mo)毯功(gong)能來大幅提升駕駛舒適度，基(ji)于在(zai)雙目立體(ti)視覺領域的絕對優勢，元橡(xiang)科(ke)技已(yi)獲得多(duo)家(jia)國內車企的主(zhu)動預(yu)瞄魔(mo)毯系統定點。
而“魔毯”功能和(he)ADAS功能其實(shi)可以復用同(tong)一個傳感(gan)器，在整個產業(ye)追求(qiu)高性價(jia)比(bi)的(de)趨勢下，可以為整車提供更多的(de)差異化(hua)功能和(he)功能點優化(hua)。
【機器人市場應(ying)用領域】
近年來(lai)，基于(yu)人力(li)成(cheng)本和運(yun)營效率提(ti)升的訴求(qiu)，機(ji)器人更多(duo)地進(jin)入(ru)到千家萬戶。機(ji)器人的智能化水平提(ti)升，對其(qi)感知性能的要求(qiu)也快速增加，尤(you)其(qi)體現在感知精(jing)度、感知范圍，以(yi)及(ji)多(duo)維度感知（全對象檢測識別、三維精(jing)準測距）等方面。
元橡(xiang)機器人雙目產品方案，用(yong)不同的(de)距離和不同的(de)感知性能(neng)指標(biao)去覆蓋不同類型的(de)機器人場景。
比如我們的(de)景區游(you)覽車，從定位來(lai)講(jiang)是(shi)接近L4無人(ren)駕(jia)駛(shi)的(de)狀態(tai)，從商業閉環(huan)來(lai)講(jiang)，它可(ke)以一(yi)鍵召喚，在行人(ren)乘駕(jia)過程(cheng)中可(ke)以降級(ji)為L2輔助駕(jia)駛(shi)，行人(ren)還車之(zhi)后再次變為L4階段。
游(you)覽車的感知(zhi)系統是純視覺的方案(an)，沒有配備激光雷(lei)達和毫米波雷(lei)達，但是它在運營過(guo)程中可以(yi)(yi)做到識別和規(gui)避一些突如(ru)其來的障礙物（比(bi)如(ru)公園景區中穿行的老(lao)人小(xiao)孩或者(zhe)路面掉落(luo)的礦(kuang)泉(quan)水瓶等(deng)），以(yi)(yi)及做到列隊行駛(shi)的功能。
（采用元橡雙目視(shi)覺感知方案(an)的景區(qu)游覽車）
基(ji)于(yu)底層傳(chuan)感技(ji)術，雙目可(ke)以用(yong)于(yu)多種不同的機器人(ren)應用(yong)場景，實現跟隨、避障等產品功(gong)能，給我們的生活帶來一些(xie)更好的改變。
我(wo)們相信(xin)，最好(hao)的(de)(de)技(ji)術(shu)成(cheng)果一定不(bu)會被束(shu)之高閣，而是在每一個被需要(yao)的(de)(de)地方不(bu)斷地去實(shi)現人(ren)們對于美(mei)好(hao)生活的(de)(de)向往。元(yuan)橡科技(ji)專注雙目(mu)(mu)立體視覺領(ling)域，提供算(suan)法(fa)+芯(xin)片+模組+相機+軟件全(quan)棧(zhan)解決方案，全(quan)方位打造(zao)“眼腦協同”的(de)(de)感知系統，幫助人(ren)工(gong)智能“解碼(ma)”現實(shi)三維世界，讓(rang)車輛智行無(wu)際，讓(rang)人(ren)機友(you)好(hao)交(jiao)互，讓(rang)夢想遨游穹宇，讓(rang)雙目(mu)(mu)從(cong)“技(ji)術(shu)”躍向“價值”。
