9月22日，元(yuan)橡(xiang)科(ke)技CEO魯(lu)耀(yao)杰(jie)在(zai)企業家大型訪談(tan)節目——《講科(ke)學》平臺接受(shou)訪談(tan)，就3D立體視覺領域的技術(shu)發展現狀、趨勢、行業機會(hui)等話題，魯(lu)耀(yao)杰(jie)先(xian)生與睿慕課(ke)&CAIRDC創始人(ren)周朔鵬(peng)展開了交(jiao)流(liu)和探討。以下為訪談(tan)摘錄。
周(zhou)朔鵬(peng)：
今天我們請到的是(shi)元(yuan)橡科(ke)(ke)技(ji)總經理(li)魯耀杰，曾任職500強外資公司研(yan)究(jiu)所科(ke)(ke)學家，從2007年開始做雙目(mu)立(li)體視(shi)(shi)覺方(fang)(fang)面的研(yan)究(jiu)，包括雙目(mu)視(shi)(shi)覺的核心算法(fa)和雙目(mu)視(shi)(shi)覺產(chan)品在汽車上的一些應用。元(yuan)橡科(ke)(ke)技(ji)是(shi)全球領先的智能立(li)體視(shi)(shi)覺芯片和解決(jue)方(fang)(fang)案提(ti)供商(shang)。
魯(lu)耀杰：
大(da)家(jia)好(hao)，我是魯(lu)耀(yao)杰(jie)，來自元(yuan)橡科技。
周朔鵬：
從立(li)體(ti)(ti)視覺的角度(du)來講，它有很多技術路(lu)(lu)線，比如結(jie)構光、ToF，還有立(li)體(ti)(ti)成像(xiang)雙目(mu)相機等(deng)等(deng)，那么元橡是走的哪一條技術路(lu)(lu)線？還是各種技術路(lu)(lu)線都(dou)有涉(she)及(ji)？
魯耀杰：
元橡最主要還是在做雙目立(li)體(ti)(ti)視(shi)覺，正如您所說，立(li)體(ti)(ti)視(shi)覺有(you)很(hen)多技術路線，但(dan)我們是專注(zhu)于仿生雙目的。
周朔鵬：
和國內其(qi)他一(yi)些(xie)做立體(ti)視覺的研(yan)究團隊和公(gong)司相比，元橡在技術原理上有什(shen)么樣的差異呢？
魯耀杰：
剛才提到我們的技術路(lu)線(xian)是(shi)(shi)(shi)雙(shuang)目(mu)，雙(shuang)目(mu)跟ToF、結(jie)構光(guang)是(shi)(shi)(shi)有區別的。在這(zhe)三種(zhong)技術路(lu)線(xian)里，雙(shuang)目(mu)是(shi)(shi)(shi)唯(wei)一一個(ge)純(chun)被動光(guang)，靠環境光(guang)來成像的，兩個(ge)攝像頭(tou)通(tong)過三角(jiao)測(ce)(ce)量(liang)原理測(ce)(ce)距。ToF是(shi)(shi)(shi)根(gen)據(ju)飛行(xing)時間計算(suan)距離(li)，結(jie)構光(guang)則(ze)是(shi)(shi)(shi)根(gen)據(ju)模式(shi)的變(bian)化來測(ce)(ce)量(liang)具(ju)體信息。
因為技(ji)(ji)術原理不一樣，雙(shuang)(shuang)目(mu)本身(shen)會具(ju)有(you)一些優勢。首先被動(dong)光(guang)對環境的(de)適(shi)應性(xing)會更(geng)(geng)好，我們知道太陽光(guang)是(shi)全光(guang)譜的(de)光(guang)，如果依賴主(zhu)動(dong)光(guang)一定會有(you)干擾，那(nei)雙(shuang)(shuang)目(mu)從技(ji)(ji)術角(jiao)度來說更(geng)(geng)能抗干擾。
另外(wai)我(wo)們選擇這條技(ji)術路(lu)線一(yi)個非(fei)常樸素的(de)(de)原則(ze)就是：自(zi)然選擇一(yi)定是正確的(de)(de)，它(ta)是在千萬(wan)年里(li)進(jin)化而來(lai)的(de)(de)，所以(yi)我(wo)們認為雙目路(lu)線至少(shao)在我(wo)們生(sheng)活的(de)(de)環境下一(yi)定有它(ta)的(de)(de)用(yong)武之地。
元(yuan)橡(xiang)其實一開(kai)始是(shi)(shi)立(li)足于車(che)載立(li)體視覺。車(che)載有(you)兩(liang)個(ge)特(te)點(dian)：一是(shi)(shi)車(che)載要求的(de)(de)(de)(de)測(ce)距(ju)距(ju)離(li)較遠(yuan)(yuan)，二是(shi)(shi)可靠性(xing)要求高。從(cong)(cong)雙(shuang)目三角測(ce)量原(yuan)理來(lai)看，因為(wei)兩(liang)個(ge)相機之(zhi)間的(de)(de)(de)(de)baseline是(shi)(shi)確定的(de)(de)(de)(de)，安(an)裝在車(che)上是(shi)(shi)不可能無限制放大的(de)(de)(de)(de)，所(suo)以在短baseline情況下測(ce)遠(yuan)(yuan)距(ju)離(li)本身的(de)(de)(de)(de)技術(shu)難度(du)會(hui)大很多，而(er)元(yuan)橡(xiang)就是(shi)(shi)從(cong)(cong)算(suan)法(fa)本身去把這個(ge)測(ce)遠(yuan)(yuan)距(ju)離(li)的(de)(de)(de)(de)能力建立(li)起(qi)來(lai)。元(yuan)橡(xiang)跟很多做近距(ju)離(li)視覺的(de)(de)(de)(de)公(gong)司不同，我們一開(kai)始就是(shi)(shi)立(li)足于遠(yuan)(yuan)距(ju)離(li)的(de)(de)(de)(de)，在遠(yuan)(yuan)距(ju)的(de)(de)(de)(de)情況下也能很好地測(ce)距(ju)，是(shi)(shi)元(yuan)橡(xiang)的(de)(de)(de)(de)一個(ge)技術(shu)特(te)點(dian)。
周朔鵬：
那這(zhe)種完全被動光的(de)方式(shi)是不是會(hui)受(shou)干擾(rao)比(bi)(bi)較大呢？比(bi)(bi)如我們之前(qian)使(shi)用相機做工業抓取的(de)時候，一定要給(gei)它打(da)光，保(bao)持環(huan)境光的(de)穩定，否(fou)則全是自然光的(de)話(hua)，就會(hui)有很大的(de)可能性會(hui)識別(bie)出(chu)錯。元橡是怎么解決(jue)這(zhe)樣一些問(wen)題的(de)？
魯耀杰：
這也就(jiu)是(shi)我們(men)所(suo)謂的(de)(de)成像可靠性，環境光的(de)(de)影響不僅僅是(shi)雙目需要(yao)解(jie)決的(de)(de)，單目和雙目都(dou)(dou)需要(yao)去攻克這一部(bu)分。比如高動態(tai)，在光亮(liang)和暗處都(dou)(dou)要(yao)能看清楚，在逆(ni)光、側(ce)逆(ni)光這些(xie)(xie)情況，只(zhi)要(yao)在行業內(nei)做視(shi)覺的(de)(de)，這些(xie)(xie)問題都(dou)(dou)要(yao)去解(jie)決。
隨著這幾(ji)年(nian)攝(she)(she)像(xiang)頭使用的(de)(de)(de)越來越多，我(wo)們(men)(men)(men)的(de)(de)(de)傳感(gan)器(qi)CMOS也在(zai)不斷改良，十年(nian)前CMOS動態范圍能做到(dao)(dao)100dB就已(yi)經很了不起(qi)了，現在(zai)能做到(dao)(dao)140dB也是個(ge)(ge)輕輕松(song)松(song)的(de)(de)(de)事情(qing)。所以(yi)整個(ge)(ge)行(xing)業(ye)(ye)本(ben)身(shen)的(de)(de)(de)發(fa)展其實就在(zai)不斷解(jie)決(jue)環(huan)境(jing)光(guang)(guang)影(ying)響的(de)(de)(de)問(wen)題。我(wo)們(men)(men)(men)作(zuo)為智能立(li)體視覺(jue)供應商，其實也是趁著行(xing)業(ye)(ye)東風(feng)在(zai)不斷發(fa)展完(wan)善。就像(xiang)汽車它雖然有頭燈(deng)，但有時候也會遇(yu)到(dao)(dao)頭燈(deng)壞了而處(chu)于一個(ge)(ge)暗光(guang)(guang)環(huan)境(jing)的(de)(de)(de)情(qing)況，而我(wo)們(men)(men)(men)看到(dao)(dao)近(jin)幾(ji)年(nian)攝(she)(she)像(xiang)頭CMOS感(gan)光(guang)(guang)度已(yi)經越來越高了，已(yi)經出來了星光(guang)(guang)級，甚至黑(hei)光(guang)(guang)級的(de)(de)(de)CMOS。我(wo)們(men)(men)(men)的(de)(de)(de)雙目也是基于這樣比較好的(de)(de)(de)CMOS去做的(de)(de)(de)。行(xing)業(ye)(ye)技(ji)術本(ben)身(shen)是在(zai)不斷進(jin)步的(de)(de)(de)。
周朔鵬：
像風雨天這種惡劣天氣環境對雙目視(shi)覺深度(du)測量(liang)會產生干擾(rao)，元橡(xiang)通過什么樣的方(fang)式去解(jie)決這些問題？
魯耀(yao)杰：
這(zhe)(zhe)個問題(ti)關于(yu)環境普適性(xing)。其實(shi)在(zai)(zai)視(shi)覺領(ling)域最怕的倒不是雨(yu)天，最怕的是雪天和霧(wu)(wu)天，能(neng)見度特別(bie)低，這(zhe)(zhe)個在(zai)(zai)我們系統里叫做功能(neng)降(jiang)級，雖然我們也(ye)會做一(yi)些(xie)去霧(wu)(wu)的算法把圖像增強，但(dan)是它有一(yi)定的極限。
我(wo)(wo)們通常把(ba)雙目(mu)和普通單目(mu)來做一(yi)個比(bi)(bi)(bi)較(jiao)。像雨天對(dui)視覺的(de)影響(xiang)主要(yao)是(shi)在于(yu)圖像噪聲(sheng)，也(ye)(ye)就是(shi)有些(xie)地(di)方(fang)拍清楚(chu)了(le)，有些(xie)地(di)方(fang)沒(mei)(mei)拍清楚(chu)。如果(guo)我(wo)(wo)們用深度學習的(de)方(fang)法(fa)(fa)去做對(dui)象(xiang)(xiang)檢(jian)(jian)測會是(shi)一(yi)個巨大的(de)挑戰。舉個例(li)子，我(wo)(wo)前面有一(yi)個車(che)，但有一(yi)部分缺失了(le)，那我(wo)(wo)還能識別出這個車(che)嗎？如果(guo)找不到(dao)這個車(che)，后面的(de)一(yi)系(xi)列應用都沒(mei)(mei)法(fa)(fa)做了(le)。相比(bi)(bi)(bi)之下，立體視覺的(de)好(hao)處就是(shi)，雖(sui)然圖像上有一(yi)定(ding)的(de)噪聲(sheng)，但是(shi)在沒(mei)(mei)有噪聲(sheng)的(de)地(di)方(fang)，我(wo)(wo)還是(shi)能得到(dao)準確(que)的(de)深度信(xin)(xin)息。我(wo)(wo)們把(ba)噪聲(sheng)過(guo)濾掉，得到(dao)的(de)立體信(xin)(xin)息雖(sui)然信(xin)(xin)息密(mi)度降低了(le)，但是(shi)信(xin)(xin)噪比(bi)(bi)(bi)沒(mei)(mei)有太多影響(xiang)。所以即使在雨天，對(dui)前方(fang)對(dui)象(xiang)(xiang)的(de)檢(jian)(jian)測影響(xiang)也(ye)(ye)比(bi)(bi)(bi)較(jiao)小，在這些(xie)情況下，立體視覺相對(dui)于(yu)二維視覺有一(yi)定(ding)的(de)增強。
周朔鵬(peng)：
在(zai)當下的無人駕駛(shi)或者說(shuo)輔助(zhu)駕駛(shi)領(ling)域(yu)，我們(men)看到一(yi)些車上(shang)它是(shi)用的多線(xian)激光(guang)雷達，通過激光(guang)點云去(qu)感知識別(bie)，而元橡的技術是(shi)用雙目(mu)深(shen)度圖，或者說(shuo)點云圖來識別(bie)，這也是(shi)兩種不同的技術路線(xian)在(zai)解決相同的問題，兩種路線(xian)孰優孰劣？未來一(yi)方會被另一(yi)方替代(dai)或者兩者做融(rong)合(he)嗎？
魯耀杰：
這是(shi)個(ge)(ge)非常(chang)好的(de)(de)問題，我也經常(chang)被問到(dao)。立體(ti)(ti)視(shi)覺(jue)其(qi)實是(shi)兩個(ge)(ge)關(guan)(guan)鍵(jian)詞，“立體(ti)(ti)”和“視(shi)覺(jue)”。“立體(ti)(ti)”的(de)(de)話(hua)，其(qi)實就是(shi)三(san)維(wei)的(de)(de)信息，激光雷達也是(shi)會得到(dao)一(yi)個(ge)(ge)三(san)維(wei)信息，激光雷達除了深度(du)(du)之(zhi)外，在水平上也會有一(yi)個(ge)(ge)分辨率。而立體(ti)(ti)視(shi)覺(jue)在立體(ti)(ti)信息之(zhi)外，還有一(yi)個(ge)(ge)關(guan)(guan)鍵(jian)詞是(shi)“視(shi)覺(jue)”，它(ta)得到(dao)三(san)維(wei)信息的(de)(de)同(tong)時也得到(dao)了紋理信息。紋理信息對于對象的(de)(de)分類和識別是(shi)非常(chang)有用的(de)(de)。所以在激光雷達的(de)(de)方案里，無(wu)論如何都(dou)要有視(shi)覺(jue)，因為它(ta)本(ben)身很難得到(dao)紋理信息。并且(qie)從(cong)成像(xiang)原理和特征來(lai)說，三(san)角測(ce)量的(de)(de)精度(du)(du)是(shi)跟(gen)距離成反比(bi)的(de)(de)，這一(yi)特點跟(gen)激光雷達距離等分辨率不完全(quan)一(yi)樣。
既然激(ji)光雷達方案(an)里一定會用到視覺，那就變(bian)成(cheng)了“激(ji)光+單目”還是“激(ji)光+雙目”的(de)技術路線選擇問題。剛才您提到無人駕駛，在無人駕駛領域，我們一般考(kao)慮兩個問題，一個是功(gong)能實現，另(ling)一個非常重要(yao)的(de)是安全(quan)性(xing)。
考慮安全性時我(wo)們就(jiu)需要有(you)各種各樣(yang)的(de)冗余保障，對于無人駕駛測距，一(yi)(yi)定是(shi)多傳感器融(rong)(rong)(rong)合(he)(he)的(de)，所(suo)以(yi)其實它們不是(shi)一(yi)(yi)個替代的(de)關系。那(nei)說(shuo)到(dao)融(rong)(rong)(rong)合(he)(he)呢，就(jiu)涉及到(dao)融(rong)(rong)(rong)合(he)(he)的(de)難易(yi)程度(du)，看信(xin)息(xi)(xi)的(de)匹配度(du)，立體(ti)視(shi)覺跟激光雷達(da)本身有(you)很(hen)大(da)程度(du)的(de)信(xin)息(xi)(xi)重合(he)(he)，這樣(yang)融(rong)(rong)(rong)合(he)(he)就(jiu)會更簡單(dan)。說(shuo)到(dao)融(rong)(rong)(rong)合(he)(he)，那(nei)還有(you)一(yi)(yi)點(dian)就(jiu)是(shi)說(shuo)爭(zheng)融(rong)(rong)(rong)合(he)(he)中(zhong)心(xin)，到(dao)底(di)是(shi)誰(shui)融(rong)(rong)(rong)合(he)(he)誰(shui)？立體(ti)視(shi)覺有(you)一(yi)(yi)個優(you)勢是(shi)信(xin)息(xi)(xi)密度(du)高(gao)，更適合(he)(he)當(dang)融(rong)(rong)(rong)合(he)(he)中(zhong)心(xin)。所(suo)以(yi)總(zong)體(ti)來(lai)說(shuo)，我(wo)們認為未(wei)來(lai)一(yi)(yi)定是(shi)融(rong)(rong)(rong)合(he)(he)的(de)方向，并(bing)且立體(ti)視(shi)覺或(huo)者說(shuo)視(shi)覺會是(shi)融(rong)(rong)(rong)合(he)(he)的(de)中(zhong)心(xin)。
周朔(shuo)鵬：
根據之前的(de)(de)一些報(bao)道(dao)，特斯拉的(de)(de)車上取消了激光雷(lei)達，激光雷(lei)達和(he)視覺(jue)應該是兩套特性(xing)不一樣的(de)(de)感(gan)知系統(tong)，對此您怎么看？
魯耀杰：
首先現在(zai)特斯拉其(qi)(qi)實(shi)也還(huan)沒有做到純無人(ren)(ren)駕駛，現在(zai)的(de)級別大(da)概(gai)是(shi)(shi)L3或者L3+，它還(huan)是(shi)(shi)在(zai)一(yi)個限(xian)定環境下(xia)的(de)。特斯拉不僅僅取消(xiao)(xiao)了激光(guang)雷(lei)達(da)，也取消(xiao)(xiao)了毫(hao)米波雷(lei)達(da)，采用純視覺(jue)方案。那(nei)我(wo)(wo)們反過來看，沒有無人(ren)(ren)系統，我(wo)(wo)們在(zai)做有人(ren)(ren)駕駛的(de)情況下(xia)其(qi)(qi)實(shi)也就(jiu)是(shi)(shi)純視覺(jue)解決方案，人(ren)(ren)也是(shi)(shi)沒有激光(guang)雷(lei)達(da)和毫(hao)米波雷(lei)達(da)的(de)，從這(zhe)一(yi)點來說，純視覺(jue)方案至少達(da)到接近于“人(ren)(ren)“的(de)可靠性(xing)是(shi)(shi)可以做到的(de)，這(zhe)條(tiao)技術路線我(wo)(wo)們覺(jue)得也是(shi)(shi)合理的(de)。
周朔鵬：
對，其(qi)實(shi)這(zhe)個也合(he)理(li)，因為無非(fei)就是傳感器精度進一步(bu)提(ti)高，提(ti)高到(dao)比(bi)如說像人眼視(shi)網膜那樣的精度甚至更高，我(wo)們人類進化(hua)到(dao)現在其(qi)實(shi)也是用(yong)不著激光(guang)雷達的。從進化(hua)論的角度來說，確實(shi)有可能都直接用(yong)雙目視(shi)覺來解決。
魯耀杰：
對，所(suo)以我(wo)們覺(jue)得(de)用(yong)純視覺(jue)至少(shao)能達(da)到(dao)一(yi)定的(de)程度。同時我(wo)們也不排斥(chi)激光雷(lei)達(da)，我(wo)們有些設計里(li)面也用(yong)到(dao)了(le)激光雷(lei)達(da)，激光雷(lei)達(da)加上去，能做(zuo)(zuo)的(de)更(geng)(geng)好(hao)。我(wo)們剛剛提到(dao)特(te)斯(si)拉(la)(la)純視覺(jue)系統，在特(te)斯(si)拉(la)(la)的(de)車(che)上視覺(jue)傳感器的(de)個(ge)數(shu)已(yi)經非(fei)常多了(le)，它(ta)(ta)是一(yi)定可以超越人(ren)的(de)，因為它(ta)(ta)的(de)感知范(fan)圍更(geng)(geng)廣。人(ren)開車(che)時候本身也還是存在視覺(jue)盲區的(de)，用(yong)機器視覺(jue)的(de)方式可以做(zuo)(zuo)到(dao)比人(ren)更(geng)(geng)好(hao)。
周朔鵬：
是(shi)的(de)。我覺得現(xian)階段多傳(chuan)感器融合其實也(ye)是(shi)為了彌(mi)補某一種傳(chuan)感器的(de)缺點，或者說考慮安全性(xing)、可靠性(xing)、穩定(ding)性(xing)等一系列的(de)問(wen)題。
周朔鵬：
剛才我們提(ti)到毫米波，其實(shi)現在(zai)毫米波也在(zai)做3D成像，除了原本的測距之外(wai)也能解決(jue)高度測量這些(xie)問題(ti)，那這條技術路(lu)線又起(qi)到了什么作用呢？
魯(lu)耀杰：
目前(qian)比(bi)(bi)如說汽車(che)上(shang)的(de)(de)(de)(de)(de)距離(li)傳感器，包(bao)括激(ji)光(guang)(guang)雷達(da)、毫(hao)(hao)米(mi)波和視(shi)覺等業內都(dou)有在使用(yong)。但是(shi)(shi)其中激(ji)光(guang)(guang)雷達(da)和視(shi)覺在全(quan)天候(hou)方面的(de)(de)(de)(de)(de)能力其實是(shi)(shi)差不多的(de)(de)(de)(de)(de)，因為(wei)激(ji)光(guang)(guang)雷達(da)用(yong)的(de)(de)(de)(de)(de)光(guang)(guang)譜(pu)是(shi)(shi)接近可(ke)見光(guang)(guang)的(de)(de)(de)(de)(de)，它是(shi)(shi)用(yong)的(de)(de)(de)(de)(de)紅外光(guang)(guang)譜(pu)，但波長(chang)還是(shi)(shi)比(bi)(bi)較短，穿透性(xing)有限。那毫(hao)(hao)米(mi)波就不一(yi)樣(yang)，毫(hao)(hao)米(mi)波的(de)(de)(de)(de)(de)波長(chang)更長(chang)，穿透性(xing)更好(hao)，所以(yi)毫(hao)(hao)米(mi)波在車(che)上(shang)的(de)(de)(de)(de)(de)全(quan)天候(hou)是(shi)(shi)最好(hao)的(de)(de)(de)(de)(de)，大(da)雪大(da)霧大(da)雨這些對它影(ying)響都(dou)比(bi)(bi)較小。如果(guo)我(wo)們要做一(yi)個全(quan)天候(hou)的(de)(de)(de)(de)(de)輔(fu)助駕駛系統，那目前(qian)很(hen)大(da)程(cheng)度上(shang)毫(hao)(hao)米(mi)波是(shi)(shi)不可(ke)替(ti)代的(de)(de)(de)(de)(de)。雖然說特(te)斯拉(la)取消了毫(hao)(hao)米(mi)波，但高端車(che)里面很(hen)多都(dou)是(shi)(shi)毫(hao)(hao)米(mi)波和視(shi)覺融(rong)合的(de)(de)(de)(de)(de)。
毫米(mi)波(bo)現在(zai)的發展(zhan)方向也是(shi)不斷地在(zai)提(ti)升分辨率(lv)，從原理上(shang)來說，因為它波(bo)長(chang)(chang)長(chang)(chang)，最后能(neng)提(ti)升的橫向密度(du)是(shi)有限的。提(ti)升毫米(mi)波(bo)分辨率(lv)，對于整車安全(quan)性而言肯定是(shi)有利的，但是(shi)這(zhe)里有個度(du)，想讓毫米(mi)波(bo)雷達分辨率(lv)達到激光雷達和視覺一樣，這(zhe)個太(tai)難了。所(suo)(suo)以我們(men)說，各個傳(chuan)感器只要能(neng)發揮優(you)勢(shi)，各展(zhan)所(suo)(suo)長(chang)(chang)就行了。
周朔鵬：
怎(zen)么理解元(yuan)橡相關(guan)資料里提(ti)到的可兼容紅外，融合激光雷達、毫米(mi)波雷達等？
魯耀杰：
我(wo)們做立體(ti)(ti)視覺，核心在于(yu)三角(jiao)測量，對于(yu)傳(chuan)感(gan)器，可見光傳(chuan)感(gan)器是其中之(zhi)一。左右攝像(xiang)頭可見光傳(chuan)感(gan)器可以(yi)(yi)三維成(cheng)(cheng)像(xiang)，那如果把它(ta)(ta)們變成(cheng)(cheng)紅外(wai)（主動紅外(wai)或(huo)者(zhe)被(bei)動紅外(wai)）傳(chuan)感(gan)器，最(zui)后也能得到兩個(ge)(ge)圖像(xiang)，這兩個(ge)(ge)圖像(xiang)我(wo)們也能做立體(ti)(ti)視覺。元橡本身也有另外(wai)一條(tiao)產品線，給特種行業(ye)應用，底層傳(chuan)感(gan)器就(jiu)是被(bei)動紅外(wai)的。所以(yi)(yi)說(shuo)技術(shu)本身是通用的，它(ta)(ta)可以(yi)(yi)適配(pei)可見光和紅外(wai)。
而雙(shuang)目(mu)視覺和激光、毫米(mi)(mi)波(bo)更(geng)多的(de)(de)是(shi)一個融(rong)合。激光、毫米(mi)(mi)波(bo)與傳統視覺準確地說是(shi)一種組(zu)合，因為這(zhe)里面有(you)信(xin)息的(de)(de)重(zhong)合。融(rong)合是(shi)1+1＞2，而1+1=2就是(shi)組(zu)合方案了。雙(shuang)目(mu)和毫米(mi)(mi)波(bo)的(de)(de)融(rong)合方式，是(shi)利用他們本身(shen)的(de)(de)特(te)點(dian)，做(zuo)到數(shu)據級的(de)(de)融(rong)合，把毫米(mi)(mi)波(bo)接進來(lai)，能讓(rang)(rang)視覺遠距離的(de)(de)精度提升，同時視覺又(you)可(ke)以讓(rang)(rang)毫米(mi)(mi)波(bo)原來(lai)比(bi)較稀(xi)疏的(de)(de)點(dian)密度變(bian)高。兩(liang)個傳感器有(you)機結合，這(zhe)才(cai)是(shi)融(rong)合。
周(zhou)朔鵬：
國內的視覺技術(shu)對比國外如何？兩者的差異在哪里？
魯(lu)耀杰：
就(jiu)從(cong)(cong)車載視覺(jue)來(lai)說，國內(nei)起(qi)步比較晚，比如Mobileye很(hen)早就(jiu)可以(yi)在(zai)(zai)車上大量(liang)使(shi)用二維視覺(jue)了(le)，立體視覺(jue)最(zui)早也是應用在(zai)(zai)日(ri)本的一個車型(xing)上的，2000年(nian)左(zuo)右就(jiu)量(liang)產了(le)。但是從(cong)(cong)現在(zai)(zai)來(lai)看，國內(nei)視覺(jue)技術水平也是越來(lai)越高了(le)，在(zai)(zai)學術上我(wo)們看到每年(nian)頂會的文章很(hen)多都是華人(ren)的，所以(yi)可以(yi)說國內(nei)其實已(yi)經不斷追趕接近國際水平了(le)，甚至在(zai)(zai)某些(xie)領域具備了(le)領先優勢。
在(zai)全(quan)球，做(zuo)立體(ti)視覺，特別是(shi)車載立體(ti)視覺的(de)圈(quan)子本身比較(jiao)小，但我們看到現(xian)在(zai)國內(nei)的(de)這(zhe)個(ge)領域的(de)公司數量以及(ji)產(chan)品性能方面，都已經和國際(ji)沒有(you)多少差異了，包(bao)括一(yi)些像大(da)疆這(zhe)樣(yang)的(de)大(da)廠也(ye)進來在(zai)做(zuo)，國內(nei)立體(ti)視覺車載產(chan)品應用(yong)也(ye)已經不(bu)局限于國內(nei)，包(bao)括元(yuan)橡現(xian)在(zai)也(ye)有(you)一(yi)些海外的(de)定點項目。
周朔鵬：
那(nei)是(shi)不是(shi)主要還是(shi)傳感器芯片這(zhe)方面國(guo)內還沒有(you)那(nei)么好？
魯耀杰：
視(shi)覺傳(chuan)感器芯(xin)片(pian)主要就是(shi)CMOS，特別是(shi)在(zai)車(che)載(zai)這塊目(mu)前還是(shi)用國外的(de)(de)(de)(de)(de)比(bi)(bi)較多(duo)，最(zui)近幾年國內的(de)(de)(de)(de)(de)一些廠(chang)商(shang)也(ye)(ye)逐步能滿足要求了(le)(le)，我(wo)覺得這個差距(ju)是(shi)越(yue)來越(yue)小的(de)(de)(de)(de)(de)。另(ling)外一個就是(shi)計(ji)算(suan)芯(xin)片(pian)，元橡的(de)(de)(de)(de)(de)定(ding)位(wei)是(shi)從(cong)芯(xin)片(pian)到解(jie)決(jue)方案，從(cong)2018年的(de)(de)(de)(de)(de)時(shi)候(hou)我(wo)們就著手了(le)(le)立體視(shi)覺專用芯(xin)片(pian)研(yan)發，當時(shi)其(qi)實也(ye)(ye)有一部分不得已(yi)的(de)(de)(de)(de)(de)原因，立體視(shi)覺本身的(de)(de)(de)(de)(de)原理導致計(ji)算(suan)量非常(chang)大，剛開始(shi)我(wo)們只(zhi)能用FPGA芯(xin)片(pian)做(zuo)，在(zai)需要大規模(mo)計(ji)算(suan)單元的(de)(de)(de)(de)(de)情況下(xia)，我(wo)們可(ke)選的(de)(de)(de)(de)(de)芯(xin)片(pian)廠(chang)商(shang)比(bi)(bi)較少，那對于車(che)廠(chang)來說，一定(ding)會考(kao)慮供應鏈安全。所(suo)以(yi)我(wo)們很早的(de)(de)(de)(de)(de)時(shi)候(hou)就開始(shi)做(zuo)自己(ji)的(de)(de)(de)(de)(de)專用芯(xin)片(pian)，去(qu)年我(wo)們的(de)(de)(de)(de)(de)立體視(shi)覺芯(xin)片(pian)也(ye)(ye)是(shi)可(ke)以(yi)用到車(che)載(zai)上了(le)(le)。
周朔鵬：
從產(chan)品的(de)適(shi)用性(xing)來(lai)講，我們覺得雙(shuang)目(mu)視覺其實完(wan)全可(ke)(ke)以(yi)超越(yue)車(che)載范疇，比如無人機(ji)、機(ji)器人等都可(ke)(ke)以(yi)用到(dao)雙(shuang)目(mu)立體(ti)視覺產(chan)品，而且現在這些方面的(de)應用可(ke)(ke)能也越(yue)來(lai)越(yue)多了，因為成本是越(yue)來(lai)越(yue)低的(de)，那么元橡在車(che)載之(zhi)外的(de)領域是怎(zen)么布(bu)局的(de)呢？是怎(zen)樣參照不同的(de)領域推出自己的(de)產(chan)品系列(lie)的(de)？
魯耀杰：
我(wo)們剛開始研(yan)發的時候，瞄(miao)準的是(shi)車載(zai)市場，車載(zai)要(yao)(yao)求會比較高(gao)。而目前元橡(xiang)主要(yao)(yao)是(shi)三條產(chan)品(pin)線。
首先就是(shi)我(wo)(wo)們一直(zhi)在攻的(de)車載市場，用(yong)(yong)車載引(yin)導我(wo)(wo)們的(de)研發。另(ling)外因(yin)(yin)為我(wo)(wo)們同時也(ye)在做(zuo)芯片，所以也(ye)拓展延伸了類(lei)車載領域，因(yin)(yin)為其實無人駕駛也(ye)算是(shi)高速(su)移動的(de)機器(qi)人，車載技術是(shi)完全可以用(yong)(yong)到我(wo)(wo)們低速(su)機器(qi)人上的(de)，因(yin)(yin)此元橡也(ye)有另(ling)一條機器(qi)人產(chan)品(pin)線(xian)。
在低速環境(jing)下，對(dui)(dui)(dui)于(yu)(yu)立(li)體視覺(jue)的(de)(de)應用(yong)其實更(geng)迫切。因為車(che)載運行環境(jing)相(xiang)對(dui)(dui)(dui)來說是比(bi)較(jiao)結構(gou)化的(de)(de)，比(bi)如公路上(shang)會有(you)車(che)道線，環境(jing)條件比(bi)較(jiao)好。但是對(dui)(dui)(dui)于(yu)(yu)運動(dong)機(ji)器(qi)(qi)(qi)(qi)人(ren)來說，比(bi)如家用(yong)服務機(ji)器(qi)(qi)(qi)(qi)人(ren)，或者在餐廳(ting)、酒店(dian)里使用(yong)的(de)(de)機(ji)器(qi)(qi)(qi)(qi)人(ren)，它的(de)(de)環境(jing)是更(geng)復(fu)雜(za)的(de)(de)。如果用(yong)深度(du)學(xue)習(xi)的(de)(de)方法，我們很難(nan)對(dui)(dui)(dui)復(fu)雜(za)環境(jing)感(gan)知，這時候就需要有(you)一個(ge)三維測量(liang)傳感(gan)器(qi)(qi)(qi)(qi)，因此這些場景對(dui)(dui)(dui)立(li)體視覺(jue)需求的(de)(de)迫切程度(du)更(geng)高，所以元橡在前年就開(kai)始做機(ji)器(qi)(qi)(qi)(qi)人(ren)產品(pin)線，現在也(ye)已經(jing)有(you)標準產品(pin)，主(zhu)要用(yong)于(yu)(yu)服務機(ji)器(qi)(qi)(qi)(qi)人(ren)、室(shi)外(wai)巡邏機(ji)器(qi)(qi)(qi)(qi)人(ren)等，包括(kuo)無人(ren)機(ji)我們也(ye)有(you)對(dui)(dui)(dui)應的(de)(de)產品(pin)。
相(xiang)對于運(yun)動(dong)端的(de)一些(xie)產品，我們在(zai)(zai)去年也增加了一條工業檢測(ce)產品線。之前我們提到(dao)(dao)元橡(xiang)一直瞄準的(de)是車載，在(zai)(zai)遠距(ju)離的(de)時候已經可(ke)以(yi)(yi)做到(dao)(dao)較高(gao)的(de)精(jing)(jing)度了，同樣的(de)技術應用到(dao)(dao)近距(ju)離的(de)時候，我們就(jiu)可(ke)以(yi)(yi)做到(dao)(dao)超高(gao)精(jing)(jing)度，測(ce)得非常精(jing)(jing)細。元橡(xiang)工業視(shi)覺檢測(ce)產品在(zai)(zai)1米左右的(de)距(ju)離，精(jing)(jing)度都是能達到(dao)(dao)零(ling)點零(ling)幾毫(hao)米，因此在(zai)(zai)工業上可(ke)以(yi)(yi)有(you)很多(duo)的(de)應用。
總(zong)的來說，元(yuan)橡現在有(you)三條產品線，分別(bie)是車載、類車載和固定端的高精度測量產品。
周(zhou)朔鵬：
那類車(che)載和工業這兩條后(hou)衍生(sheng)出來的(de)產(chan)品線(xian)目前(qian)在一(yi)些典型(xing)場景(jing)(jing)可(ke)以做(zuo)到一(yi)個什么樣的(de)水平？比(bi)(bi)(bi)(bi)如我們知道(dao)像服務機器人對于成本的(de)要求是(shi)比(bi)(bi)(bi)(bi)較高的(de)，需要極(ji)致的(de)性價比(bi)(bi)(bi)(bi)設計，那元(yuan)橡的(de)產(chan)品在這些場景(jing)(jing)下性價比(bi)(bi)(bi)(bi)是(shi)不是(shi)足夠好呢(ni)？是(shi)不是(shi)可(ke)能(neng)精度很高，但比(bi)(bi)(bi)(bi)較貴(gui)呢(ni)？
魯(lu)耀杰：
我(wo)(wo)們(men)很多人可能對車載(zai)這一塊有一個誤解(jie)，就(jiu)是(shi)車很貴嘛(ma)，所(suo)以(yi)你賣的傳(chuan)感器也很貴。其實并(bing)不(bu)是(shi)的，車載(zai)是(shi)要求高(gao)，但價(jia)格是(shi)白菜(cai)價(jia)，因為它本身量大(da)。所(suo)以(yi)我(wo)(wo)們(men)被車載(zai)虐了以(yi)后呢，我(wo)(wo)們(men)發現進服務機器人市場都(dou)還好，甚(shen)至我(wo)(wo)們(men)比起(qi)很多同行性價(jia)比還是(shi)有很大(da)優勢的，因為我(wo)(wo)們(men)被車虐過(guo)了，我(wo)(wo)們(men)在產(chan)品上甚(shen)至連一顆電(dian)容、一顆電(dian)阻我(wo)(wo)們(men)都(dou)要考慮用什(shen)么價(jia)格去做比較合理。
周朔鵬：
在一(yi)些工業(ye)項(xiang)目中，對(dui)于集成工程師的(de)要(yao)(yao)求會比較高，往往工程師先要(yao)(yao)學習，做大量(liang)的(de)準備，才能到工業(ye)現場去用，那(nei)么元橡是不是也(ye)會遇到類似的(de)問(wen)題，要(yao)(yao)去陪著客戶(hu)做一(yi)個長期項(xiang)目而占用大量(liang)的(de)精力呢？
魯(lu)耀(yao)杰：
對(dui)，的確是(shi)是(shi)需(xu)要的。因為元(yuan)橡(xiang)進入立體(ti)(ti)視覺這(zhe)個行業還(huan)是(shi)比較(jiao)早的，如果我們(men)光(guang)做(zuo)一個傳(chuan)感器，得(de)到(dao)(dao)(dao)了RGBD信息，但(dan)是(shi)RGBD應用開發的人才可能業內本身比較(jiao)少(shao)。所以剛開始的時候，我們(men)把自己定(ding)位成從芯片到(dao)(dao)(dao)解(jie)決方案的角色，就是(shi)說比如車載，我們(men)不僅(jin)僅(jin)做(zuo)立體(ti)(ti)視覺，RGBD信息拿到(dao)(dao)(dao)了之后(hou)，后(hou)端乃至(zhi)整(zheng)個感知(zhi)、控制我們(men)都做(zuo)了。做(zuo)這(zhe)么(me)長的鏈條有好(hao)處(chu)也有壞(huai)處(chu)。好(hao)處(chu)就是(shi)對(dui)于(yu)客戶來(lai)說，他拿到(dao)(dao)(dao)的東西(xi)更簡單(dan)了。但(dan)是(shi)對(dui)于(yu)元(yuan)橡(xiang)來(lai)說做(zuo)的東西(xi)更多，鏈條越長，那么(me)受(shou)眾就越小。
那(nei)我(wo)(wo)們(men)(men)(men)(men)為什(shen)么要做長鏈(lian)條(tiao)呢？很(hen)(hen)(hen)大一(yi)個(ge)(ge)目的其實是長鏈(lian)條(tiao)優(you)化(hua)。如(ru)果(guo)你不深(shen)入用(yong)(yong)(yong)戶(hu)的使(shi)用(yong)(yong)(yong)細節，你是很(hen)(hen)(hen)難對(dui)原始數據(ju)(ju)進行優(you)化(hua)的。比如(ru)我(wo)(wo)們(men)(men)(men)(men)做無人駕駛(shi)，它本(ben)身對(dui)立(li)體視覺底(di)層也會有一(yi)些應用(yong)(yong)(yong)需(xu)求，然(ran)后我(wo)(wo)們(men)(men)(men)(men)現(xian)在(zai)做服務(wu)機器人的時(shi)候，運用(yong)(yong)(yong)了(le)(le)很(hen)(hen)(hen)多(duo)我(wo)(wo)們(men)(men)(men)(men)車載里(li)面(mian)(mian)的經驗，但低(di)速機器人本(ben)身也有自己(ji)的特點，所以(yi)我(wo)(wo)們(men)(men)(men)(men)就在(zai)SDK里(li)面(mian)(mian)集成了(le)(le)很(hen)(hen)(hen)多(duo)的常(chang)用(yong)(yong)(yong)功能(neng)。只有把這(zhe)些功能(neng)做好(hao)了(le)(le)，才(cai)能(neng)反(fan)過來對(dui)于底(di)層數據(ju)(ju)提(ti)出要求，做好(hao)長鏈(lian)條(tiao)優(you)化(hua)。當然(ran)說實話在(zai)國內軟件很(hen)(hen)(hen)難收費，所以(yi)元(yuan)橡其實還是很(hen)(hen)(hen)開(kai)放的，我(wo)(wo)們(men)(men)(men)(men)在(zai)SDK里(li)面(mian)(mian)包含了(le)(le)一(yi)些功能(neng)，我(wo)(wo)們(men)(men)(men)(men)會告訴(su)客戶(hu)這(zhe)個(ge)(ge)傳感器能(neng)這(zhe)么用(yong)(yong)(yong)，如(ru)果(guo)有一(yi)些特殊應用(yong)(yong)(yong)也可以(yi)在(zai)此(ci)基礎上做二次開(kai)發，這(zhe)樣(yang)對(dui)于客戶(hu)是很(hen)(hen)(hen)友好(hao)的。
周朔鵬：
我們在資料中看到(dao)了一些運(yun)動控制框架等方面(mian)的介(jie)紹，元橡也會對(dui)客戶(hu)提(ti)供一些類似小(xiao)車(che)的完整解(jie)決方案嗎？
魯耀杰：
這個如果(guo)客(ke)戶需要(yao)(yao)的(de)(de)(de)話我們(men)可以提(ti)供一(yi)些整(zheng)套(tao)解決方(fang)案，當然這不是(shi)我們(men)的(de)(de)(de)主要(yao)(yao)目的(de)(de)(de)，我們(men)本身(shen)不會(hui)賣整(zheng)車(che)或者(zhe)整(zheng)套(tao)解決方(fang)案，不過我們(men)有一(yi)家合資公(gong)司（酷乘）是(shi)在做這方(fang)面的(de)(de)(de)業務，已經(jing)在商業化運營了，也是(shi)用元橡的(de)(de)(de)立體(ti)視覺相機提(ti)供整(zheng)套(tao)解決方(fang)案的(de)(de)(de)。而(er)元橡主要(yao)(yao)的(de)(de)(de)目的(de)(de)(de)是(shi)要(yao)(yao)做好(hao)(hao)傳感(gan)器，要(yao)(yao)做好(hao)(hao)傳感(gan)器很重要(yao)(yao)的(de)(de)(de)一(yi)點就(jiu)是(shi)得深(shen)入應用，如果(guo)脫離應用來做傳感(gan)器這當然是(shi)做不好(hao)(hao)的(de)(de)(de)。
周朔(shuo)鵬(peng)：
最后一個問題(ti)，未來三五年時間內，您預期整(zheng)個行(xing)業在視覺方向上，傳感(gan)器技術(shu)會有(you)哪些突破？應用場景方面還有(you)哪些底層工作需要做？
魯耀杰：
首先從(cong)視(shi)覺本身(shen)來(lai)(lai)(lai)說(shuo)，我(wo)(wo)們覺得突破(po)一(yi)定是在于成像質量更好(hao)，把(ba)更多信息(xi)(xi)能(neng)夠(gou)采集過來(lai)(lai)(lai)，其次(ci)從(cong)學術角度(du)或者行(xing)業角度(du)來(lai)(lai)(lai)說(shuo)，視(shi)覺其實還包含(han)的(de)(de)(de)一(yi)點是智(zhi)能(neng)化。視(shi)覺傳(chuan)感(gan)器(qi)獲得的(de)(de)(de)信息(xi)(xi)會越(yue)來(lai)(lai)(lai)越(yue)多，感(gan)光度(du)越(yue)來(lai)(lai)(lai)越(yue)高(gao)，分辨率越(yue)來(lai)(lai)(lai)越(yue)大(da)，動態方面越(yue)來(lai)(lai)(lai)越(yue)廣，也就是說(shuo)能(neng)夠(gou)很(hen)好(hao)地還原我(wo)(wo)們的(de)(de)(de)環(huan)境，但是這(zhe)個信息(xi)(xi)量非常(chang)的(de)(de)(de)大(da)，那這(zhe)時候視(shi)覺的(de)(de)(de)處理(li)就變得非常(chang)重(zhong)要。也就是說(shuo)你(ni)拍下(xia)來(lai)(lai)(lai)沒(mei)用，還需要機器(qi)能(neng)理(li)解，未來(lai)(lai)(lai)三到五年一(yi)定會有更多的(de)(de)(de)一(yi)些框(kuang)架、算法來(lai)(lai)(lai)更好(hao)地理(li)解我(wo)(wo)們的(de)(de)(de)視(shi)覺信息(xi)(xi)。
周(zhou)朔鵬：
相信通(tong)過(guo)元橡等在內的(de)整(zheng)個(ge)行業的(de)共同努力，未來幾(ji)年(nian)內我們的(de)視覺技術一定會(hui)上一個(ge)非常(chang)大的(de)臺階。非常(chang)感(gan)謝魯總給我們帶來的(de)分享，也請魯總最后總結一下吧。
魯耀杰：
非(fei)常(chang)榮幸(xing)能跟大(da)家做這么好(hao)的(de)一(yi)個交流，作為智能立體視覺芯片及解決方案(an)提(ti)供商，元橡也將始終堅持初心，為智能立體視覺發展(zhan)貢獻自己的(de)力量。
