基(ji)礎(chu)科學與技術(shu)應用(yong)之間的(de)(de)(de)對話，貫穿(chuan)了人(ren)類文明(ming)的(de)(de)(de)發展(zhan)史，我們以想象力為源動(dong)力，從自然(ran)之理(li)中(zhong)求可(ke)成之功，不斷改造著我們的(de)(de)(de)生(sheng)活。作(zuo)為一項人(ren)們從自然(ran)界中(zhong)觀察(cha)發現而得到的(de)(de)(de)科學原理(li)——立體(ti)視覺是(shi)如何被應用(yong)于(yu)現實(shi)，滿足人(ren)類社會(hui)生(sheng)活的(de)(de)(de)需要的(de)(de)(de)？元橡(xiang)科技在車載(zai)領域找(zhao)到并實(shi)踐的(de)(de)(de)答案是(shi)：以智(zhi)慧雙目，革新“魔毯(tan)”與“智(zhi)駕(jia)”體(ti)驗。
11月24日，2023汽車電子創新周(zhou)“汽車智(zhi)能芯片與傳感韌性發展”專題會議(yi)中，橡(xiang)隆科技（元橡(xiang)科技子公司）總經理李文(wen)鋒(feng)分享《雙目立體視覺：魔毯與智(zhi)駕的不二之選》主題演講。下文(wen)根據演講內(nei)容(rong)整(zheng)理。
元橡科技的(de)創立(li)(li)和發(fa)展(zhan)，建立(li)(li)在雙目立(li)(li)體視(shi)覺這一核心技術(shu)之(zhi)上。對比單目，雙目的(de)優勢在于立(li)(li)體看世界，通過構(gou)建真實的(de)三維立(li)(li)體空(kong)間(jian)，雙目視(shi)覺支持著我們每天的(de)日常活動，也(ye)是汽(qi)車智能駕駛和底盤控制的(de)重要感知支撐(cheng)。
魔(mo)毯底(di)盤革新，舒適與安(an)全的進階
“魔(mo)毯(tan)”一(yi)(yi)詞(ci)最早是(shi)(shi)(shi)一(yi)(yi)個消費者(zhe)用(yong)語，學術(shu)領域叫路(lu)面預瞄。為(wei)(wei)什么稱之(zhi)為(wei)(wei)“魔(mo)毯(tan)”，是(shi)(shi)(shi)因為(wei)(wei)我(wo)們希望得到一(yi)(yi)個類似于魔(mo)毯(tan)的(de)體(ti)驗。怎(zen)樣讓車輛行駛在各種路(lu)況下如(ru)履平地呢？智能底(di)盤(pan)起到關鍵的(de)作用(yong)，而雙(shuang)目立體(ti)視覺就是(shi)(shi)(shi)智能底(di)盤(pan)的(de)一(yi)(yi)雙(shuang)智慧的(de)眼(yan)睛(jing)。
歸(gui)納一(yi)(yi)下我們(men)在(zai)駕駛中可能遇到的一(yi)(yi)些典型場景：（一(yi)(yi)）各種各樣的道路類型，如結冰(bing)、泥濘(ning)、大(da)雪、山地石子路等，影響車輛(liang)安全(quan)行駛；
（二）普(pu)通道路上的(de)(de)“狀況百出”，如凸起(qi)的(de)(de)鐵(tie)板、凹(ao)陷的(de)(de)坑洞、減速(su)帶(dai)、急(ji)降陡坡等，遇(yu)到這些情況，人類駕駛(shi)員的(de)(de)第一反(fan)應(ying)是要提前減速(su)，或者踩剎車，否則就(jiu)會有很明顯(xian)的(de)(de)沖擊和顛(dian)簸，也會影響(xiang)行駛(shi)安全。
所(suo)謂(wei)“魔(mo)毯”要解決(jue)的就是這些問題。配備(bei)魔(mo)術車身系統的車輛，在經過顛(dian)簸坑洼路段時，依然(ran)可以平順通行。它的流程比較簡單，可以用三個步驟來解釋：（一）配備(bei)雙目攝像(xiang)頭，實時掃描(miao)路面。（二(er)）提取分(fen)析車前一定距離內的路面信息，包(bao)括粗糙(cao)程度、凹凸程度等。（三）底盤自適應調(diao)節，緩解顛(dian)簸。
實(shi)現(xian)“魔毯”的(de)系統組成(cheng)：
（一）配備雙目立體視覺系統
同時獲(huo)取道路的色彩與深度信(xin)息
深度(du)(du)信息能(neng)(neng)區分路面(mian)與井(jing)蓋(gai)、減(jian)速(su)帶等的高度(du)(du)差（區分能(neng)(neng)力(li)5mm，測(ce)高能(neng)(neng)力(li)優于1cm@15m）
能識別減速(su)帶、井蓋、凹坑(keng)等高程障礙物
系(xi)統(tong)實時性至少滿足0~120km時速下的底盤響(xiang)應時間需求
智能判(pan)別道路類型（全地形拓展）
（二）配備智能懸(xuan)架系統
螺簧懸架(jia)（含CDC）、空氣(qi)懸架(jia)均可，無需必備(bei)奔馳的MBC類(lei)全主動懸架(jia)
配備高度傳感器、輪(lun)速、加速度、陀螺儀(yi)、方(fang)向(xiang)盤轉角(jiao)等傳感器
電(dian)控(kong)減振(zhen)器調節時(shi)間滿足系統(tong)實時(shi)性(xing)與安(an)全性(xing)要求
電控減振器(qi)與攝像頭的通信周期盡量短(duan)
具(ju)備(bei)ESP等車(che)身穩定和四(si)輪動(dong)力調節系統更佳(jia)（全(quan)地形拓(tuo)展）
“魔毯”的系統測(ce)量要(yao)求：
路(lu)(lu)面高(gao)程(cheng)測(ce)量分(fen)為兩類(lei)(lei)：長(chang)(chang)波(bo)(bo)激勵和短波(bo)(bo)激勵。長(chang)(chang)波(bo)(bo)類(lei)(lei)似于道路(lu)(lu)年久(jiu)使用，特別(bie)是(shi)大(da)車(che)長(chang)(chang)期經過之后把路(lu)(lu)面壓出凹陷，車(che)輛進到這(zhe)樣(yang)的凹陷時(shi)就需要把車(che)頭頂(ding)起來(lai)，保持(chi)其行駛(shi)平(ping)順(shun)。類(lei)(lei)似奔馳MBC就能(neng)夠很好地(di)應對這(zhe)樣(yang)的情況(kuang)，但這(zhe)類(lei)(lei)懸架控制(zhi)要求比較高(gao)，可(ke)以稱為全主(zhu)動懸架，能(neng)夠控制(zhi)車(che)身高(gao)度(du)。
短(duan)波激勵情況下(xia)的要(yao)求就相對(dui)較低(di)，只要(yao)有(you)CDC就可(ke)以。CDC是(shi)一(yi)(yi)種半主(zhu)動懸架器件，主(zhu)要(yao)的功(gong)能除了(le)穩定車(che)身之(zhi)外，就在(zai)于它可(ke)以緩解(jie)地面的沖擊(ji)力(li)（也叫阻尼力(li)）。當車(che)輛經(jing)過(guo)減(jian)速帶或(huo)者凹坑，在(zai)突然(ran)上(shang)升或(huo)下(xia)降的過(guo)程中會(hui)有(you)一(yi)(yi)個(ge)很明顯的垂(chui)向沖擊(ji)，CDC可(ke)以去(qu)緩解(jie)這個(ge)力(li)。朝著這一(yi)(yi)方向去(qu)發揮CDC的功(gong)能，是(shi)智能底盤的一(yi)(yi)個(ge)很好的拓(tuo)展和應用。
一些(xie)客戶在實際應用中，會把CDC分為8-10個等級(ji)，每個等級(ji)對應路(lu)面的(de)不同(tong)凹凸(tu)程度，從(cong)而調節CDC以不同(tong)的(de)阻尼力去緩沖。比如看到前方出現一個或多個減(jian)速帶(dai)，根據凸(tu)起程度對應等級(ji)調節CDC緩解(jie)顛(dian)簸(bo)，這樣從(cong)體驗感(gan)上就能帶(dai)來明(ming)顯的(de)收益，是視覺傳感(gan)器和懸架的(de)一個很好的(de)結合。
元橡科技雙目魔毯(tan)產品感知(zhi)效(xiao)果(guo)：
根據(ju)元橡與多家主流減振器和懸架Tier 1企業乃至車(che)企客戶的(de)接(jie)觸交流來看，他們對傳感(gan)器最低的(de)要求是高度區分精確度要達到2cm以內，毫(hao)米級(ji)更(geng)佳。一般的(de)激光雷達能做到3cm，這其實(shi)是不(bu)(bu)太夠的(de)，而單目視覺就更(geng)加(jia)不(bu)(bu)夠了。
元橡目前的項(xiang)目實測(ce)中，以(yi)1M像(xiang)(xiang)素(su)攝像(xiang)(xiang)頭為例(li)（根(gen)據不(bu)同(tong)客戶需求，元橡可提供(gong)1M、2M、8M像(xiang)(xiang)素(su)等(deng)不(bu)同(tong)規格產品(pin)），路(lu)面高(gao)程(cheng)激(ji)勵指標(biao)可以(yi)做到目標(biao)識別(bie)率(lv)99%, 在15m處距離檢測(ce)精度優(you)于15cm，高(gao)程(cheng)測(ce)量精度優(you)于1cm，波長測(ce)量精度優(you)于10cm。雪地(di)(di)、泥地(di)(di)、沙地(di)(di)等(deng)十多(duo)種道路(lu)類型(xing)綜合識別(bie)準確(que)率(lv)優(you)于95%。
雙目智駕(jia)感(gan)知，極致性(xing)價比才是“真(zhen)香”方案
除(chu)了能夠幫(bang)助底盤(pan)進行精準控制從而提高車輛的(de)舒適(shi)性(xing)和安全性(xing)，立體視覺(jue)在智駕(jia)領域也起著非常重(zhong)要(yao)的(de)作(zuo)用。中國人非常擅(shan)長(chang)的(de)一點是能夠用很低(di)廉的(de)價格做出(chu)好的(de)產(chan)品。更低(di)成本更高體驗(yan)，是整(zheng)個(ge)汽車產(chan)業共同追求的(de)目標。
當(dang)前，智能駕駛系統(tong)(tong)的(de)(de)能力正在(zai)跨越到城(cheng)(cheng)市(shi)NOA的(de)(de)階段。這(zhe)一階段就(jiu)要求系統(tong)(tong)在(zai)城(cheng)(cheng)市(shi)復(fu)雜場景下的(de)(de)感知提升(sheng)到相應(ying)的(de)(de)水(shui)平。比如對于某(mou)城(cheng)(cheng)市(shi)路段場景，我們分別(bie)以單目(mu)和雙(shuang)目(mu)的(de)(de)視(shi)角做了識別(bie)測試(shi)。在(zai)單目(mu)AI標注中(zhong)，水(shui)桶和三(san)角錐等并(bing)沒(mei)有被識別(bie)出(chu)來，也(ye)就(jiu)是說在(zai)行駛的(de)(de)規控(kong)視(shi)角中(zhong)，這(zhe)些目(mu)標在(zai)世界(jie)坐標系中(zhong)消失了，這(zhe)就(jiu)必然帶(dai)來碰撞的(de)(de)風險。
而在立體視覺的識別視角下(xia)，所(suo)有(you)的物體都是能(neng)夠被看到的，它不依賴于AI。
AI的長尾效(xiao)應(ying)導致(zhi)即(ji)使用海量大(da)數據(ju)去訓練，理(li)論上(shang)也還是(shi)不可能(neng)達到百(bai)(bai)分之百(bai)(bai)，它沒(mei)有見(jian)過(guo)的東西(xi)就無法識別。而立體視覺的好(hao)處就是(shi)即(ji)使我不認識它是(shi)一(yi)個(ge)什么東西(xi)，但仍能(neng)判斷它是(shi)不是(shi)一(yi)個(ge)障(zhang)(zhang)礙物，獲得障(zhang)(zhang)礙物的信(xin)息。
比如我(wo)們開車(che)時經常會(hui)遇到的加(jia)塞場(chang)景(jing)。當有(you)車(che)輛突然加(jia)塞進來(lai)，駕駛員或(huo)智能(neng)(neng)系(xi)統的反(fan)應速度以及(ji)傳感(gan)器(qi)的檢(jian)(jian)測(ce)時機就(jiu)決(jue)定了(le)是(shi)不是(shi)能(neng)(neng)夠平順避障、剎(cha)車(che)。如果(guo)依賴于(yu)AI技(ji)術檢(jian)(jian)測(ce)，那么大概(gai)率AI要看(kan)到至少一(yi)(yi)個(ge)輪子，它才(cai)能(neng)(neng)把(ba)這個(ge)目標識別為一(yi)(yi)輛車(che)。如果(guo)只是(shi)看(kan)到一(yi)(yi)個(ge)小小的白色車(che)頭就(jiu)去(qu)標注的話，會(hui)帶來(lai)大量的誤(wu)識別，所(suo)以它一(yi)(yi)定會(hui)保守(shou)一(yi)(yi)些，但這會(hui)大大延長車(che)輛的響(xiang)應時間。而雙目視(shi)覺3D點云會(hui)比純AI目標框更(geng)早檢(jian)(jian)測(ce)到前插(cha)車(che)輛，提升規(gui)控橫縱向（AEB）響(xiang)應時間。
此(ci)外，全場景下，3D點云信息能計算目標車(che)輛(liang)、行(xing)人的(de)(de)三維尺寸、運(yun)動姿態等信息，提升橫向控(kong)制魯棒(bang)性(xing)；在上下坡場景，3D點云也能提供道路的(de)(de)坡度信號，提升車(che)道保持（LKA）的(de)(de)控(kong)制魯棒(bang)性(xing)。
從立體視覺(jue)對通用(yong)障礙物的(de)(de)檢(jian)測(ce)(ce)角度拓展，當智(zhi)能(neng)駕駛來(lai)到L3、L4階段，感(gan)知層(ceng)面就(jiu)絕不(bu)僅止于人和車(che)的(de)(de)檢(jian)測(ce)(ce)識別，而會有(you)(you)大量(liang)的(de)(de)沒(mei)有(you)(you)見過的(de)(de)目標，這個時候真正的(de)(de)門檻就(jiu)會變成你是不(bu)是有(you)(you)海(hai)量(liang)的(de)(de)算力和樣本，不(bu)是所有(you)(you)的(de)(de)企業(ye)都能(neng)做到這一(yi)點。而立體視覺(jue)相當于另(ling)辟蹊徑(jing)，不(bu)一(yi)定(ding)要海(hai)量(liang)數(shu)據(ju)，也(ye)能(neng)檢(jian)測(ce)(ce)通用(yong)障礙物。
元(yuan)橡(xiang)立體視(shi)覺產(chan)品的(de)另一個優勢(shi)在于(yu)測(ce)(ce)量(liang)精度(du)(du)(du)比較高(gao)，因(yin)為(wei)“魔毯”功能的(de)要(yao)求其實(shi)比智(zhi)駕更高(gao)，它的(de)測(ce)(ce)量(liang)精度(du)(du)(du)要(yao)達到1cm以內甚至是毫米(mi)級。對于(yu)智(zhi)駕來說，100m的(de)距(ju)離一般的(de)單(dan)目(mu)做到10%的(de)測(ce)(ce)距(ju)偏差就(jiu)很好了，但(dan)元(yuan)橡(xiang)2M像素產(chan)品在150m的(de)距(ju)離精度(du)(du)(du)可以做到7%以內，這(zhe)個指標根據客戶的(de)要(yao)求也可以更高(gao)。
而在單車(che)道自(zi)動(dong)行(xing)駛(shi)狀態下，用一對雙目替代1V1R方(fang)案，無需依賴高(gao)精(jing)地圖和毫米波雷達，用立體(ti)(ti)視覺(jue)結合AI計算，可(ke)以(yi)實現更高(gao)性價比更安全的(de)自(zi)動(dong)駕駛(shi)體(ti)(ti)驗。
純雙目立體視覺的ADAS+功能：
除了通用的智能(neng)駕駛功能(neng)外，立(li)體(ti)視(shi)覺還能(neng)做限(xian)高、限(xian)寬、托(tuo)底障礙物檢(jian)測(ce)等特色功能(neng)。比(bi)如(ru)有些(xie)城中村中是存在限(xian)寬墩(dun)的，大一點的商(shang)務車就可能(neng)無法通過(guo)。如(ru)果車頭已經(jing)開進去再激(ji)活環視(shi)用超聲波雷(lei)達(da)去探測(ce)，那實際上(shang)人已經(jing)先做好了判斷能(neng)否通過(guo)，而雙目則是提前測(ce)量限(xian)寬距(ju)離，通過(guo)準確的數據幫助(zhu)判斷車輛的可通過(guo)性。限(xian)高檢(jian)測(ce)也(ye)是類(lei)似的道(dao)理。
托(tuo)底(di)障(zhang)礙物是(shi)“魔毯”的拓(tuo)展。當車(che)輛(liang)配備了(le)空(kong)氣(qi)懸(xuan)架(jia)(jia)，空(kong)氣(qi)懸(xuan)架(jia)(jia)可以(yi)抬高或者降低車(che)身高度(du)，如(ru)果在前(qian)方檢測到有一個十幾厘米高的大石頭，超過了(le)底(di)盤(pan)的離地間隙，那就可以(yi)通過空(kong)氣(qi)懸(xuan)架(jia)(jia)提前(qian)調好底(di)盤(pan)高度(du)，這也是(shi)舒適性和安全性相結合的一項改(gai)善(shan)。
如果算力充足，那么(me)車輛行駛的(de)所有場景都(dou)可以三維化，類(lei)似于(yu)高(gao)精(jing)地圖，但是以不同的(de)技術實(shi)現的(de)三維化。這時(shi)，行駛的(de)道路(lu)(lu)類(lei)型、路(lu)(lu)面(mian)凹(ao)凸、障(zhang)礙物等情況(kuang)都(dou)能清楚展現，是更(geng)完整的(de)立體視覺的(de)應用方(fang)向。基于(yu)RGBD數據實(shi)現的(de)三維空間數據可支(zhi)持涉(she)水深度(du)、3D路(lu)(lu)面(mian)、路(lu)(lu)面(mian)坡(po)度(du)等檢(jian)測(ce)，讓車輛更(geng)加(jia)平穩(wen)舒適地自動駕(jia)駛。
因(yin)此(ci)，雙目立體視覺應用(yong)到車(che)(che)(che)上，可以增加(jia)很多有意(yi)思的(de)(de)功能(neng)和賣點(dian)(dian)，同時它也具有相當(dang)高的(de)(de)性價比。當(dang)下(xia)，無論是(shi)(shi)新能(neng)源車(che)(che)(che)、智能(neng)車(che)(che)(che)出海，還是(shi)(shi)面(mian)向(xiang)國內汽車(che)(che)(che)市場消費(fei)升級，挖掘賣點(dian)(dian)提升競爭(zheng)力(li)都是(shi)(shi)車(che)(che)(che)企關注的(de)(de)重點(dian)(dian)。元橡科技正在緊密地配合我(wo)們的(de)(de)客戶，發揮我(wo)們的(de)(de)優勢(shi)能(neng)力(li)，做好這件事。
而要(yao)真正打磨好產(chan)品的體驗(yan)，除了在功能(neng)上的精進，也(ye)更需要(yao)產(chan)品可(ke)(ke)靠性上的把(ba)控。這方(fang)面雙目攝(she)像(xiang)(xiang)頭(tou)的要(yao)求(qiu)會比(bi)單個攝(she)像(xiang)(xiang)頭(tou)更高。其一(yi)，就像(xiang)(xiang)人眼(yan)不可(ke)(ke)能(neng)是一(yi)只(zhi)看上一(yi)只(zhi)看下，雙目攝(she)像(xiang)(xiang)頭(tou)也(ye)必(bi)須始終保持左右相機光(guang)軸平(ping)行。其二，光(guang)學、溫(wen)濕度(du)、振動都可(ke)(ke)能(neng)會對產(chan)品效(xiao)果造成(cheng)(cheng)影響，比(bi)如工作溫(wen)度(du)方(fang)面，就需要(yao)保證產(chan)品在-40℃到(dao)85℃乃(nai)至95℃的范圍內都能(neng)穩(wen)定可(ke)(ke)靠地工作，否則光(guang)學性能(neng)發生的微小變化，就會導致產(chan)品體驗(yan)的大(da)幅降低。其三，從影像(xiang)(xiang)畫質到(dao)算法效(xiao)果，均需全方(fang)位評估、管控雙目模(mo)組的成(cheng)(cheng)像(xiang)(xiang)質量與穩(wen)定性。
元橡科技成立于(yu)2017年，核心團隊在(zai)(zai)立體視覺領(ling)域已經(jing)超過(guo)15年的(de)(de)積(ji)累，在(zai)(zai)車(che)載方向上(shang)也(ye)有超過(guo)10年的(de)(de)產(chan)品開發經(jing)驗，我們始終圍繞(rao)著這一件事專(zhuan)注地去做。在(zai)(zai)與客戶(hu)的(de)(de)合(he)作中，元橡始終秉持的(de)(de)理念(nian)是全面地服(fu)務于(yu)客戶(hu)，做到更懂具體的(de)(de)應用(yong)場(chang)(chang)景，以更好的(de)(de)專(zhuan)業性配合(he)客戶(hu)。落地層(ceng)面，元橡科技在(zai)(zai)國內最早實現商用(yong)車(che)雙目(mu)量產(chan)，出(chu)貨量超20萬套，魔毯預瞄量產(chan)定(ding)點數量行業領(ling)先，服(fu)務于(yu)國內幾大知名主機廠。基于(yu)車(che)載市(shi)場(chang)(chang)的(de)(de)技術和(he)經(jing)驗積(ji)累，元橡亦拓展至機器(qi)人市(shi)場(chang)(chang)，產(chan)品應用(yong)于(yu)割草(cao)機、智能輪椅、低速無人車(che)等場(chang)(chang)景。
守樸見(jian)(jian)素，久久為(wei)功。從一個元點出(chu)發，打開想(xiang)象的(de)空間，做好破除萬難的(de)準(zhun)備，元橡科技將不懈致力(li)于讓汽車和(he)更多的(de)移動機器人“看”見(jian)(jian)三(san)維世(shi)界，讓立體視(shi)覺在宏大的(de)未來圖景中創造無限可能。
