9月22日(ri)，元橡科(ke)技CEO魯耀杰在企業(ye)家大(da)型訪談(tan)節目——《講科(ke)學(xue)》平臺接受訪談(tan)，就3D立體視覺領(ling)域的技術發展現狀、趨勢、行(xing)業(ye)機(ji)會等話(hua)題，魯耀杰先(xian)生(sheng)與睿(rui)慕課&CAIRDC創始(shi)人周朔鵬展開了交流和探討。以下為訪談(tan)摘錄。
周朔鵬：
今天我們請到的(de)是(shi)元橡(xiang)科技(ji)總經理魯耀杰，曾任職500強外資公司研究所科學家，從2007年(nian)開始做雙(shuang)目立體視覺方(fang)面的(de)研究，包括(kuo)雙(shuang)目視覺的(de)核心算(suan)法和雙(shuang)目視覺產品在汽(qi)車上的(de)一(yi)些應用。元橡(xiang)科技(ji)是(shi)全(quan)球領先(xian)的(de)智能(neng)立體視覺芯片和解(jie)決(jue)方(fang)案提供商。
魯耀杰：
大家好，我是(shi)魯耀杰，來自元(yuan)橡科技。
周朔鵬：
從立體(ti)視覺的(de)角(jiao)度來講(jiang)，它(ta)有很多技術(shu)路線，比如結構光、ToF，還(huan)(huan)有立體(ti)成像雙目相機等等，那么元橡是(shi)走的(de)哪一條技術(shu)路線？還(huan)(huan)是(shi)各種技術(shu)路線都有涉及？
魯耀杰：
元橡最主要還是在做雙(shuang)目立體視覺，正如您所(suo)說，立體視覺有很多技術路線，但我們(men)是專注(zhu)于仿生雙(shuang)目的(de)。
周(zhou)朔鵬：
和國內(nei)其他一(yi)些做(zuo)立體視(shi)覺的(de)研究團(tuan)隊和公司相比，元橡在技術原理上有(you)什(shen)么樣的(de)差(cha)異呢？
魯耀杰(jie)：
剛才(cai)提到(dao)我們的(de)技術路(lu)線(xian)(xian)是(shi)(shi)雙目(mu)(mu)，雙目(mu)(mu)跟ToF、結構光(guang)是(shi)(shi)有區別的(de)。在這三種(zhong)技術路(lu)線(xian)(xian)里，雙目(mu)(mu)是(shi)(shi)唯一一個純被動光(guang)，靠環境光(guang)來成(cheng)像的(de)，兩個攝像頭通過(guo)三角測量原理(li)測距(ju)。ToF是(shi)(shi)根據飛行時間計(ji)算距(ju)離，結構光(guang)則是(shi)(shi)根據模式的(de)變化來測量具體信息。
因為技術(shu)原理不一(yi)樣，雙目(mu)本身會具有一(yi)些優勢。首先被動(dong)光(guang)對(dui)環境的(de)適應性會更好，我(wo)們知道太陽光(guang)是(shi)全光(guang)譜的(de)光(guang)，如果依(yi)賴主動(dong)光(guang)一(yi)定(ding)會有干(gan)擾，那雙目(mu)從技術(shu)角度來(lai)說更能抗干(gan)擾。
另外我(wo)們選擇(ze)這條技術路(lu)線一個非常樸素的原(yuan)則就是：自然選擇(ze)一定(ding)是正(zheng)確的，它是在千萬年(nian)里(li)進化而來的，所以(yi)我(wo)們認為雙目路(lu)線至(zhi)少在我(wo)們生活的環境(jing)下一定(ding)有它的用武之地。
元(yuan)橡(xiang)(xiang)其(qi)實一(yi)開始是立足于車(che)載立體(ti)視覺。車(che)載有兩個(ge)特(te)點(dian)：一(yi)是車(che)載要求(qiu)(qiu)的(de)(de)測(ce)(ce)距(ju)(ju)距(ju)(ju)離較(jiao)遠(yuan)，二是可靠性要求(qiu)(qiu)高(gao)。從(cong)(cong)雙目三角測(ce)(ce)量(liang)原(yuan)理來(lai)看，因(yin)為兩個(ge)相機之間(jian)的(de)(de)baseline是確定的(de)(de)，安裝在(zai)車(che)上是不可能(neng)無(wu)限制放大(da)的(de)(de)，所以(yi)在(zai)短baseline情況下測(ce)(ce)遠(yuan)距(ju)(ju)離本(ben)身的(de)(de)技術難度會大(da)很(hen)多，而元(yuan)橡(xiang)(xiang)就是從(cong)(cong)算法(fa)本(ben)身去把這個(ge)測(ce)(ce)遠(yuan)距(ju)(ju)離的(de)(de)能(neng)力建立起(qi)來(lai)。元(yuan)橡(xiang)(xiang)跟很(hen)多做近距(ju)(ju)離視覺的(de)(de)公司不同，我們一(yi)開始就是立足于遠(yuan)距(ju)(ju)離的(de)(de)，在(zai)遠(yuan)距(ju)(ju)的(de)(de)情況下也(ye)能(neng)很(hen)好地測(ce)(ce)距(ju)(ju)，是元(yuan)橡(xiang)(xiang)的(de)(de)一(yi)個(ge)技術特(te)點(dian)。
周朔(shuo)鵬：
那這種完全(quan)被動光的(de)方式是(shi)不是(shi)會受干擾(rao)比較大(da)呢？比如我(wo)們之(zhi)前(qian)使用相機做工業抓取的(de)時候，一定(ding)要給它打光，保持環境光的(de)穩定(ding)，否則全(quan)是(shi)自然光的(de)話，就會有(you)很大(da)的(de)可(ke)能性會識別出錯。元(yuan)橡是(shi)怎么(me)解(jie)決這樣(yang)一些問題的(de)？
魯耀杰(jie)：
這(zhe)也就是我們(men)所謂的(de)(de)(de)成像可靠性(xing)，環(huan)境光(guang)(guang)的(de)(de)(de)影響(xiang)不僅僅是雙目(mu)需要(yao)解(jie)(jie)決(jue)(jue)的(de)(de)(de)，單目(mu)和雙目(mu)都(dou)需要(yao)去(qu)(qu)攻克這(zhe)一部(bu)分。比(bi)如高動(dong)態，在(zai)光(guang)(guang)亮(liang)和暗處(chu)都(dou)要(yao)能(neng)看清楚，在(zai)逆(ni)光(guang)(guang)、側逆(ni)光(guang)(guang)這(zhe)些情況，只要(yao)在(zai)行業(ye)內做視覺(jue)的(de)(de)(de)，這(zhe)些問題都(dou)要(yao)去(qu)(qu)解(jie)(jie)決(jue)(jue)。
隨著這幾年攝像(xiang)頭使用的(de)越來越多，我(wo)們(men)(men)的(de)傳感器CMOS也(ye)(ye)(ye)在(zai)不(bu)斷改良，十年前CMOS動態(tai)范圍能(neng)(neng)做到100dB就已(yi)經(jing)很了不(bu)起(qi)了，現在(zai)能(neng)(neng)做到140dB也(ye)(ye)(ye)是(shi)個(ge)輕(qing)(qing)輕(qing)(qing)松松的(de)事(shi)情(qing)。所(suo)以整個(ge)行業本(ben)身(shen)的(de)發(fa)展其實就在(zai)不(bu)斷解(jie)決環境(jing)光影響的(de)問(wen)題。我(wo)們(men)(men)作為智能(neng)(neng)立(li)體視覺(jue)供應商(shang)，其實也(ye)(ye)(ye)是(shi)趁著行業東風(feng)在(zai)不(bu)斷發(fa)展完善。就像(xiang)汽車它(ta)雖然有(you)頭燈(deng)，但(dan)有(you)時候也(ye)(ye)(ye)會(hui)遇到頭燈(deng)壞了而處于一(yi)個(ge)暗光環境(jing)的(de)情(qing)況，而我(wo)們(men)(men)看到近(jin)幾年攝像(xiang)頭CMOS感光度已(yi)經(jing)越來越高(gao)了，已(yi)經(jing)出來了星光級，甚至(zhi)黑光級的(de)CMOS。我(wo)們(men)(men)的(de)雙目也(ye)(ye)(ye)是(shi)基于這樣(yang)比較好的(de)CMOS去(qu)做的(de)。行業技(ji)術(shu)本(ben)身(shen)是(shi)在(zai)不(bu)斷進步的(de)。
周朔鵬(peng)：
像(xiang)風(feng)雨天這種惡(e)劣天氣環境對雙目視覺深度測量會產(chan)生干擾(rao)，元橡通過什(shen)么(me)樣的方式(shi)去解決這些問題？
魯耀杰：
這個問題關于環境(jing)普適性。其(qi)實在視覺領域最怕(pa)的(de)倒不是雨天，最怕(pa)的(de)是雪天和(he)霧天，能見度特別低，這個在我們系(xi)統里(li)叫做功能降(jiang)級，雖然我們也(ye)會做一(yi)(yi)些去霧的(de)算(suan)法把(ba)圖(tu)像增強，但是它有一(yi)(yi)定的(de)極限。
我(wo)們通(tong)(tong)常把(ba)雙目和(he)普通(tong)(tong)單目來做(zuo)一(yi)(yi)(yi)個(ge)(ge)(ge)比(bi)(bi)較(jiao)。像雨天(tian)對視(shi)(shi)(shi)覺的(de)影(ying)響主要是(shi)(shi)(shi)在于圖像噪聲(sheng)，也就是(shi)(shi)(shi)有(you)(you)(you)些(xie)地方(fang)(fang)拍清楚了(le)，有(you)(you)(you)些(xie)地方(fang)(fang)沒拍清楚。如果我(wo)們用(yong)(yong)深度(du)學習的(de)方(fang)(fang)法(fa)去做(zuo)對象(xiang)檢(jian)測(ce)會是(shi)(shi)(shi)一(yi)(yi)(yi)個(ge)(ge)(ge)巨大的(de)挑戰。舉個(ge)(ge)(ge)例子，我(wo)前面有(you)(you)(you)一(yi)(yi)(yi)個(ge)(ge)(ge)車，但(dan)有(you)(you)(you)一(yi)(yi)(yi)部分(fen)缺失了(le)，那我(wo)還能識別出這個(ge)(ge)(ge)車嗎？如果找(zhao)不到(dao)這個(ge)(ge)(ge)車，后面的(de)一(yi)(yi)(yi)系列應(ying)用(yong)(yong)都沒法(fa)做(zuo)了(le)。相比(bi)(bi)之下，立(li)體視(shi)(shi)(shi)覺的(de)好處就是(shi)(shi)(shi)，雖(sui)然圖像上有(you)(you)(you)一(yi)(yi)(yi)定的(de)噪聲(sheng)，但(dan)是(shi)(shi)(shi)在沒有(you)(you)(you)噪聲(sheng)的(de)地方(fang)(fang)，我(wo)還是(shi)(shi)(shi)能得(de)到(dao)準(zhun)確的(de)深度(du)信(xin)(xin)息(xi)。我(wo)們把(ba)噪聲(sheng)過(guo)濾掉(diao)，得(de)到(dao)的(de)立(li)體信(xin)(xin)息(xi)雖(sui)然信(xin)(xin)息(xi)密度(du)降低了(le)，但(dan)是(shi)(shi)(shi)信(xin)(xin)噪比(bi)(bi)沒有(you)(you)(you)太多影(ying)響。所(suo)以即使在雨天(tian)，對前方(fang)(fang)對象(xiang)的(de)檢(jian)測(ce)影(ying)響也比(bi)(bi)較(jiao)小，在這些(xie)情況下，立(li)體視(shi)(shi)(shi)覺相對于二維視(shi)(shi)(shi)覺有(you)(you)(you)一(yi)(yi)(yi)定的(de)增強(qiang)。
周朔鵬：
在(zai)當下(xia)的(de)無人駕(jia)駛或者(zhe)(zhe)說輔助駕(jia)駛領域，我們(men)看到(dao)一(yi)些(xie)車上它是用的(de)多線激(ji)(ji)光雷達，通過激(ji)(ji)光點云去感知識別，而元橡的(de)技術是用雙目深度圖，或者(zhe)(zhe)說點云圖來識別，這也是兩(liang)種不同(tong)的(de)技術路線在(zai)解(jie)決相(xiang)同(tong)的(de)問題，兩(liang)種路線孰優孰劣(lie)？未來一(yi)方(fang)會被另一(yi)方(fang)替代或者(zhe)(zhe)兩(liang)者(zhe)(zhe)做(zuo)融合嗎？
魯耀杰：
這(zhe)是(shi)(shi)個(ge)(ge)非常(chang)(chang)好的(de)(de)問(wen)題，我也(ye)經常(chang)(chang)被問(wen)到(dao)(dao)。立(li)(li)體(ti)(ti)視(shi)(shi)覺(jue)其實(shi)是(shi)(shi)兩(liang)個(ge)(ge)關鍵(jian)詞，“立(li)(li)體(ti)(ti)”和(he)“視(shi)(shi)覺(jue)”。“立(li)(li)體(ti)(ti)”的(de)(de)話，其實(shi)就是(shi)(shi)三維(wei)的(de)(de)信(xin)息(xi)(xi)，激(ji)光雷達(da)也(ye)是(shi)(shi)會(hui)得(de)到(dao)(dao)一個(ge)(ge)三維(wei)信(xin)息(xi)(xi)，激(ji)光雷達(da)除了深度之外，在(zai)(zai)(zai)水(shui)平上也(ye)會(hui)有一個(ge)(ge)分(fen)辨率(lv)。而(er)立(li)(li)體(ti)(ti)視(shi)(shi)覺(jue)在(zai)(zai)(zai)立(li)(li)體(ti)(ti)信(xin)息(xi)(xi)之外，還有一個(ge)(ge)關鍵(jian)詞是(shi)(shi)“視(shi)(shi)覺(jue)”，它得(de)到(dao)(dao)三維(wei)信(xin)息(xi)(xi)的(de)(de)同時也(ye)得(de)到(dao)(dao)了紋(wen)理(li)信(xin)息(xi)(xi)。紋(wen)理(li)信(xin)息(xi)(xi)對于對象的(de)(de)分(fen)類和(he)識(shi)別是(shi)(shi)非常(chang)(chang)有用的(de)(de)。所以在(zai)(zai)(zai)激(ji)光雷達(da)的(de)(de)方案里，無(wu)論如何都要有視(shi)(shi)覺(jue)，因為它本身很難得(de)到(dao)(dao)紋(wen)理(li)信(xin)息(xi)(xi)。并且從成(cheng)像(xiang)原理(li)和(he)特征來說，三角測量的(de)(de)精(jing)度是(shi)(shi)跟距離成(cheng)反比的(de)(de)，這(zhe)一特點跟激(ji)光雷達(da)距離等分(fen)辨率(lv)不(bu)完全一樣。
既然激光雷達方案里一(yi)(yi)定會用到(dao)視(shi)覺，那就變成(cheng)了“激光+單目”還是(shi)“激光+雙目”的(de)技術路線選(xuan)擇問題(ti)。剛才您提到(dao)無(wu)人(ren)駕駛，在無(wu)人(ren)駕駛領域，我們(men)一(yi)(yi)般考慮兩個(ge)問題(ti)，一(yi)(yi)個(ge)是(shi)功能(neng)實(shi)現，另一(yi)(yi)個(ge)非常重(zhong)要的(de)是(shi)安全(quan)性。
考慮安全性時我(wo)們(men)就需要有各種(zhong)各樣的(de)(de)冗余保障，對于無人駕駛測距，一(yi)(yi)定(ding)是(shi)(shi)(shi)多傳感器融合(he)(he)的(de)(de)，所以其實它(ta)們(men)不是(shi)(shi)(shi)一(yi)(yi)個替代的(de)(de)關系。那(nei)說(shuo)(shuo)到融合(he)(he)呢，就涉及到融合(he)(he)的(de)(de)難(nan)易程度，看信息的(de)(de)匹配度，立(li)體視覺跟激(ji)光雷達本身有很大(da)程度的(de)(de)信息重(zhong)合(he)(he)，這樣融合(he)(he)就會更(geng)簡單。說(shuo)(shuo)到融合(he)(he)，那(nei)還(huan)有一(yi)(yi)點(dian)就是(shi)(shi)(shi)說(shuo)(shuo)爭融合(he)(he)中(zhong)心，到底是(shi)(shi)(shi)誰融合(he)(he)誰？立(li)體視覺有一(yi)(yi)個優勢是(shi)(shi)(shi)信息密度高(gao)，更(geng)適(shi)合(he)(he)當融合(he)(he)中(zhong)心。所以總體來說(shuo)(shuo)，我(wo)們(men)認為未來一(yi)(yi)定(ding)是(shi)(shi)(shi)融合(he)(he)的(de)(de)方(fang)向，并(bing)且立(li)體視覺或者說(shuo)(shuo)視覺會是(shi)(shi)(shi)融合(he)(he)的(de)(de)中(zhong)心。
周朔鵬：
根據(ju)之前的(de)一些報(bao)道，特(te)斯拉(la)的(de)車上取(qu)消了激光(guang)雷達，激光(guang)雷達和(he)視覺應該是兩套特(te)性不一樣的(de)感知(zhi)系統(tong)，對此(ci)您怎(zen)么看？
魯耀杰：
首先現(xian)在(zai)(zai)特(te)斯拉(la)其實也還沒有(you)(you)做(zuo)到(dao)純(chun)無人(ren)駕駛(shi)，現(xian)在(zai)(zai)的(de)(de)(de)級別大概是(shi)L3或者L3+，它還是(shi)在(zai)(zai)一個限定環境(jing)下的(de)(de)(de)。特(te)斯拉(la)不僅(jin)僅(jin)取(qu)消了激(ji)光(guang)雷達(da)(da)，也取(qu)消了毫米波(bo)雷達(da)(da)，采用純(chun)視(shi)(shi)覺方(fang)案。那我(wo)們(men)反過來看，沒有(you)(you)無人(ren)系統，我(wo)們(men)在(zai)(zai)做(zuo)有(you)(you)人(ren)駕駛(shi)的(de)(de)(de)情況(kuang)下其實也就(jiu)是(shi)純(chun)視(shi)(shi)覺解決(jue)方(fang)案，人(ren)也是(shi)沒有(you)(you)激(ji)光(guang)雷達(da)(da)和毫米波(bo)雷達(da)(da)的(de)(de)(de)，從(cong)這一點來說，純(chun)視(shi)(shi)覺方(fang)案至少(shao)達(da)(da)到(dao)接近于“人(ren)“的(de)(de)(de)可靠性是(shi)可以做(zuo)到(dao)的(de)(de)(de)，這條技術路線(xian)我(wo)們(men)覺得也是(shi)合理(li)的(de)(de)(de)。
周朔鵬：
對，其(qi)(qi)實(shi)這(zhe)個也(ye)合理，因為無非(fei)就是傳感器精度(du)進(jin)一步(bu)提(ti)高，提(ti)高到比如(ru)說像人眼視網(wang)膜那樣的精度(du)甚至(zhi)更(geng)高，我們人類(lei)進(jin)化到現(xian)在其(qi)(qi)實(shi)也(ye)是用不著激光(guang)雷(lei)達的。從進(jin)化論的角度(du)來說，確實(shi)有可能都(dou)直接用雙目視覺來解決。
魯耀(yao)杰：
對(dui)，所以我(wo)們(men)(men)覺(jue)得用(yong)純(chun)視(shi)覺(jue)至少能(neng)(neng)達到(dao)一定的(de)(de)程度。同時我(wo)們(men)(men)也不排斥激光(guang)雷(lei)(lei)達，我(wo)們(men)(men)有些設計里面也用(yong)到(dao)了激光(guang)雷(lei)(lei)達，激光(guang)雷(lei)(lei)達加上去，能(neng)(neng)做(zuo)的(de)(de)更好。我(wo)們(men)(men)剛(gang)剛(gang)提到(dao)特斯拉純(chun)視(shi)覺(jue)系統(tong)，在特斯拉的(de)(de)車上視(shi)覺(jue)傳感器的(de)(de)個數已經非常多(duo)了，它是(shi)一定可(ke)以超越人的(de)(de)，因為(wei)它的(de)(de)感知范圍更廣。人開車時候本身也還是(shi)存在視(shi)覺(jue)盲(mang)區(qu)的(de)(de)，用(yong)機器視(shi)覺(jue)的(de)(de)方式可(ke)以做(zuo)到(dao)比人更好。
周(zhou)朔鵬：
是(shi)的。我(wo)覺(jue)得現(xian)階段多傳(chuan)感器融合其實也是(shi)為了(le)彌補某一(yi)種傳(chuan)感器的缺點，或者說考(kao)慮安全性、可靠性、穩定性等一(yi)系列的問題。
周朔鵬：
剛才我(wo)們提到(dao)毫米波，其實(shi)現在毫米波也在做3D成像，除了原本(ben)的測距之外(wai)也能解(jie)決高度測量這(zhe)些(xie)問題，那這(zhe)條技術路線又起到(dao)了什么作用呢？
魯(lu)耀(yao)杰：
目(mu)前比(bi)如說汽(qi)車上的(de)(de)(de)(de)距離傳感器，包括激(ji)光雷達(da)(da)、毫(hao)米波和視(shi)覺等業(ye)內都(dou)有在(zai)使(shi)用。但是(shi)(shi)其中(zhong)激(ji)光雷達(da)(da)和視(shi)覺在(zai)全(quan)天(tian)(tian)候方面(mian)的(de)(de)(de)(de)能力其實(shi)是(shi)(shi)差不多的(de)(de)(de)(de)，因(yin)為(wei)激(ji)光雷達(da)(da)用的(de)(de)(de)(de)光譜(pu)是(shi)(shi)接近可見(jian)光的(de)(de)(de)(de)，它是(shi)(shi)用的(de)(de)(de)(de)紅外光譜(pu)，但波長(chang)還是(shi)(shi)比(bi)較短，穿(chuan)透性有限。那毫(hao)米波就不一樣，毫(hao)米波的(de)(de)(de)(de)波長(chang)更長(chang)，穿(chuan)透性更好，所(suo)以毫(hao)米波在(zai)車上的(de)(de)(de)(de)全(quan)天(tian)(tian)候是(shi)(shi)最(zui)好的(de)(de)(de)(de)，大雪大霧大雨(yu)這些對它影響都(dou)比(bi)較小。如果我們要做一個全(quan)天(tian)(tian)候的(de)(de)(de)(de)輔助駕(jia)駛(shi)系(xi)統，那目(mu)前很(hen)大程度(du)上毫(hao)米波是(shi)(shi)不可替代的(de)(de)(de)(de)。雖然說特斯拉取(qu)消了(le)毫(hao)米波，但高端(duan)車里面(mian)很(hen)多都(dou)是(shi)(shi)毫(hao)米波和視(shi)覺融合(he)的(de)(de)(de)(de)。
毫(hao)米(mi)波現在的發(fa)展方向(xiang)(xiang)也是不斷地在提升分(fen)辨(bian)率(lv)，從原理上來說，因為它(ta)波長長，最后能提升的橫向(xiang)(xiang)密(mi)度是有(you)(you)限的。提升毫(hao)米(mi)波分(fen)辨(bian)率(lv)，對于(yu)整車安全性而(er)言肯定是有(you)(you)利(li)的，但是這里有(you)(you)個(ge)度，想(xiang)讓毫(hao)米(mi)波雷(lei)達(da)分(fen)辨(bian)率(lv)達(da)到激光雷(lei)達(da)和視(shi)覺(jue)一樣，這個(ge)太難了(le)。所以(yi)我們說，各個(ge)傳感器只要(yao)能發(fa)揮(hui)優(you)勢，各展所長就行(xing)了(le)。
周朔(shuo)鵬：
怎么理解元橡相關資(zi)料里提到的(de)可兼容紅外(wai)，融合激光雷(lei)達(da)、毫(hao)米波雷(lei)達(da)等？
魯耀杰：
我們(men)做立體視覺(jue)，核心在(zai)于三角測量，對(dui)于傳(chuan)感(gan)(gan)器(qi)，可(ke)(ke)見(jian)(jian)光(guang)傳(chuan)感(gan)(gan)器(qi)是(shi)其中之一(yi)(yi)。左右攝像頭可(ke)(ke)見(jian)(jian)光(guang)傳(chuan)感(gan)(gan)器(qi)可(ke)(ke)以(yi)三維成像，那(nei)如(ru)果把它(ta)們(men)變成紅(hong)外(wai)(wai)（主(zhu)動(dong)紅(hong)外(wai)(wai)或(huo)者被動(dong)紅(hong)外(wai)(wai)）傳(chuan)感(gan)(gan)器(qi)，最后也(ye)(ye)能得到兩個圖(tu)像，這兩個圖(tu)像我們(men)也(ye)(ye)能做立體視覺(jue)。元橡(xiang)本身也(ye)(ye)有另外(wai)(wai)一(yi)(yi)條產品線，給(gei)特(te)種行業(ye)應用，底層傳(chuan)感(gan)(gan)器(qi)就(jiu)是(shi)被動(dong)紅(hong)外(wai)(wai)的。所以(yi)說技術本身是(shi)通(tong)用的，它(ta)可(ke)(ke)以(yi)適配可(ke)(ke)見(jian)(jian)光(guang)和紅(hong)外(wai)(wai)。
而雙目(mu)視(shi)覺和激光、毫米波更多(duo)的(de)是(shi)(shi)一(yi)個(ge)(ge)融合。激光、毫米波與傳統(tong)視(shi)覺準(zhun)確地說是(shi)(shi)一(yi)種組合，因為這里面有信息的(de)重(zhong)合。融合是(shi)(shi)1+1＞2，而1+1=2就是(shi)(shi)組合方(fang)(fang)案了。雙目(mu)和毫米波的(de)融合方(fang)(fang)式，是(shi)(shi)利(li)用(yong)他們本身的(de)特點，做到(dao)數據級(ji)的(de)融合，把毫米波接進來，能讓視(shi)覺遠距離的(de)精(jing)度提(ti)升，同(tong)時視(shi)覺又可以讓毫米波原來比較稀疏的(de)點密度變高。兩(liang)個(ge)(ge)傳感器有機(ji)結合，這才是(shi)(shi)融合。
周朔鵬：
國(guo)內的(de)視覺技(ji)術對(dui)比國(guo)外如何？兩者(zhe)的(de)差異在哪里？
魯耀杰：
就從車載(zai)視(shi)(shi)覺(jue)來說，國(guo)內起步比(bi)較(jiao)晚，比(bi)如Mobileye很早(zao)就可(ke)以(yi)(yi)在(zai)車上(shang)大量(liang)使用(yong)二維視(shi)(shi)覺(jue)了(le)(le)(le)，立體視(shi)(shi)覺(jue)最早(zao)也是(shi)應用(yong)在(zai)日本的(de)一(yi)個(ge)車型(xing)上(shang)的(de)，2000年左右(you)就量(liang)產(chan)了(le)(le)(le)。但(dan)是(shi)從現在(zai)來看，國(guo)內視(shi)(shi)覺(jue)技術(shu)水平也是(shi)越(yue)來越(yue)高(gao)了(le)(le)(le)，在(zai)學術(shu)上(shang)我們看到每年頂會(hui)的(de)文章很多都是(shi)華人的(de)，所以(yi)(yi)可(ke)以(yi)(yi)說國(guo)內其(qi)實已(yi)經不(bu)斷追趕接(jie)近(jin)國(guo)際水平了(le)(le)(le)，甚至(zhi)在(zai)某些領域具備了(le)(le)(le)領先優勢。
在全球，做立體(ti)視覺，特別是車(che)載(zai)立體(ti)視覺的圈子本身比較小，但我們看到(dao)現在國(guo)內(nei)的這個領域的公(gong)司數量(liang)以及產品(pin)性(xing)能方面，都已(yi)經(jing)和國(guo)際(ji)沒有多少差異了，包(bao)括(kuo)一(yi)些(xie)像大(da)疆這樣的大(da)廠也(ye)(ye)進(jin)來在做，國(guo)內(nei)立體(ti)視覺車(che)載(zai)產品(pin)應用(yong)也(ye)(ye)已(yi)經(jing)不局限于國(guo)內(nei)，包(bao)括(kuo)元橡現在也(ye)(ye)有一(yi)些(xie)海外的定點(dian)項目。
周朔鵬：
那是不是主要還是傳感器芯片這方面(mian)國內(nei)還沒有那么好？
魯耀杰：
視(shi)覺傳感器芯(xin)(xin)片(pian)(pian)(pian)主要(yao)就是CMOS，特別是在車載這塊目前還是用(yong)國外(wai)的(de)(de)比較多，最近幾年(nian)國內的(de)(de)一(yi)(yi)些廠(chang)商也(ye)逐步能滿足要(yao)求(qiu)了(le)，我(wo)覺得這個差距是越來(lai)越小的(de)(de)。另(ling)外(wai)一(yi)(yi)個就是計(ji)算(suan)芯(xin)(xin)片(pian)(pian)(pian)，元橡(xiang)的(de)(de)定位是從芯(xin)(xin)片(pian)(pian)(pian)到解決方案，從2018年(nian)的(de)(de)時(shi)(shi)候(hou)我(wo)們(men)(men)就著手了(le)立體視(shi)覺專用(yong)芯(xin)(xin)片(pian)(pian)(pian)研發，當時(shi)(shi)其實也(ye)有一(yi)(yi)部分不得已(yi)的(de)(de)原(yuan)因，立體視(shi)覺本身的(de)(de)原(yuan)理導致計(ji)算(suan)量(liang)非常(chang)大，剛開(kai)始我(wo)們(men)(men)只能用(yong)FPGA芯(xin)(xin)片(pian)(pian)(pian)做，在需要(yao)大規(gui)模計(ji)算(suan)單元的(de)(de)情況下，我(wo)們(men)(men)可(ke)選(xuan)的(de)(de)芯(xin)(xin)片(pian)(pian)(pian)廠(chang)商比較少(shao)，那對于車廠(chang)來(lai)說，一(yi)(yi)定會考慮供應鏈安(an)全。所以我(wo)們(men)(men)很早(zao)的(de)(de)時(shi)(shi)候(hou)就開(kai)始做自己的(de)(de)專用(yong)芯(xin)(xin)片(pian)(pian)(pian)，去年(nian)我(wo)們(men)(men)的(de)(de)立體視(shi)覺芯(xin)(xin)片(pian)(pian)(pian)也(ye)是可(ke)以用(yong)到車載上了(le)。
周朔鵬：
從(cong)產品(pin)的(de)適(shi)用性來(lai)講(jiang)，我們(men)覺得雙(shuang)目(mu)視覺其實完全(quan)可(ke)以(yi)超越(yue)車載范疇，比如無(wu)人(ren)機、機器人(ren)等都可(ke)以(yi)用到(dao)雙(shuang)目(mu)立體視覺產品(pin)，而(er)且現在這(zhe)些方面的(de)應用可(ke)能也越(yue)來(lai)越(yue)多了(le)，因(yin)為成本是(shi)越(yue)來(lai)越(yue)低的(de)，那么元橡在車載之外的(de)領域是(shi)怎么布局的(de)呢？是(shi)怎樣參照不同的(de)領域推出自己的(de)產品(pin)系列的(de)？
魯耀杰(jie)：
我(wo)們(men)剛開始研發的時候，瞄(miao)準的是車載市場，車載要(yao)求會比較高。而目前元橡主要(yao)是三條(tiao)產品線。
首先(xian)就是我們(men)一直在攻的(de)車載(zai)市場，用車載(zai)引導我們(men)的(de)研發。另(ling)外(wai)因為我們(men)同時也在做芯片，所以(yi)也拓展(zhan)延(yan)伸(shen)了類車載(zai)領(ling)域，因為其實無人(ren)駕(jia)駛也算是高速(su)(su)移動的(de)機器(qi)(qi)人(ren)，車載(zai)技術是完全可(ke)以(yi)用到我們(men)低速(su)(su)機器(qi)(qi)人(ren)上的(de)，因此元橡(xiang)也有另(ling)一條機器(qi)(qi)人(ren)產品線。
在(zai)低速環(huan)境(jing)下，對(dui)(dui)于(yu)立體視覺的(de)(de)(de)應用其實更迫切(qie)。因(yin)為(wei)車載運行環(huan)境(jing)相對(dui)(dui)來說是比(bi)較(jiao)結構化(hua)的(de)(de)(de)，比(bi)如(ru)公路上會有(you)車道(dao)線(xian)(xian)，環(huan)境(jing)條件比(bi)較(jiao)好。但是對(dui)(dui)于(yu)運動機(ji)(ji)(ji)器(qi)人(ren)來說，比(bi)如(ru)家用服務(wu)機(ji)(ji)(ji)器(qi)人(ren)，或者在(zai)餐廳、酒(jiu)店里使用的(de)(de)(de)機(ji)(ji)(ji)器(qi)人(ren)，它(ta)的(de)(de)(de)環(huan)境(jing)是更復雜的(de)(de)(de)。如(ru)果用深度學(xue)習的(de)(de)(de)方法，我們很難(nan)對(dui)(dui)復雜環(huan)境(jing)感知，這時候就需要(yao)(yao)有(you)一個三(san)維(wei)測量傳(chuan)感器(qi)，因(yin)此這些場(chang)景(jing)對(dui)(dui)立體視覺需求的(de)(de)(de)迫切(qie)程度更高(gao)，所以元橡(xiang)在(zai)前年就開(kai)始(shi)做機(ji)(ji)(ji)器(qi)人(ren)產(chan)(chan)品線(xian)(xian)，現在(zai)也已經有(you)標(biao)準產(chan)(chan)品，主要(yao)(yao)用于(yu)服務(wu)機(ji)(ji)(ji)器(qi)人(ren)、室外巡(xun)邏機(ji)(ji)(ji)器(qi)人(ren)等(deng)，包括無人(ren)機(ji)(ji)(ji)我們也有(you)對(dui)(dui)應的(de)(de)(de)產(chan)(chan)品。
相對(dui)于運動端的(de)一(yi)些產品，我(wo)們在(zai)(zai)去年也增加了(le)一(yi)條工業(ye)檢(jian)測產品線。之前我(wo)們提到(dao)元橡一(yi)直瞄準的(de)是(shi)車(che)載，在(zai)(zai)遠距(ju)離(li)(li)的(de)時候已經可(ke)以(yi)做到(dao)較高的(de)精(jing)度了(le)，同樣的(de)技術應用到(dao)近距(ju)離(li)(li)的(de)時候，我(wo)們就可(ke)以(yi)做到(dao)超高精(jing)度，測得(de)非常(chang)精(jing)細。元橡工業(ye)視覺(jue)檢(jian)測產品在(zai)(zai)1米左右的(de)距(ju)離(li)(li)，精(jing)度都是(shi)能達到(dao)零(ling)點零(ling)幾毫米，因此在(zai)(zai)工業(ye)上可(ke)以(yi)有(you)很多的(de)應用。
總的(de)來(lai)說，元(yuan)橡(xiang)現在(zai)有三條產品(pin)線，分(fen)別是車載(zai)、類車載(zai)和固(gu)定(ding)端(duan)的(de)高精度測量產品(pin)。
周朔鵬：
那(nei)類車(che)載和工業這兩(liang)條后衍生出(chu)來的產品線目前(qian)在一些典型(xing)場景可(ke)以做到(dao)一個什么(me)樣的水平？比(bi)(bi)(bi)如我們知道像(xiang)服務機器(qi)人(ren)對(dui)于成(cheng)本的要求是比(bi)(bi)(bi)較(jiao)高的，需要極致的性價比(bi)(bi)(bi)設計，那(nei)元(yuan)橡的產品在這些場景下性價比(bi)(bi)(bi)是不是足(zu)夠好(hao)呢？是不是可(ke)能(neng)精(jing)度很(hen)高，但比(bi)(bi)(bi)較(jiao)貴呢？
魯耀杰(jie)：
我(wo)(wo)們很多(duo)(duo)人可能(neng)對車載這一塊(kuai)有一個誤解，就是(shi)(shi)車很貴嘛，所以(yi)你賣的(de)(de)傳感器(qi)也很貴。其實并(bing)不是(shi)(shi)的(de)(de)，車載是(shi)(shi)要求(qiu)高，但(dan)價(jia)格(ge)是(shi)(shi)白(bai)菜價(jia)，因(yin)為(wei)它(ta)本身(shen)量大(da)。所以(yi)我(wo)(wo)們被車載虐了以(yi)后呢，我(wo)(wo)們發現進服務機器(qi)人市場都還(huan)好，甚至我(wo)(wo)們比起很多(duo)(duo)同(tong)行性價(jia)比還(huan)是(shi)(shi)有很大(da)優勢的(de)(de)，因(yin)為(wei)我(wo)(wo)們被車虐過了，我(wo)(wo)們在產品上甚至連一顆電(dian)容(rong)、一顆電(dian)阻(zu)我(wo)(wo)們都要考(kao)慮用(yong)什么價(jia)格(ge)去(qu)做比較(jiao)合理(li)。
周朔鵬：
在(zai)一些工業(ye)項目中(zhong)，對于集(ji)成工程師的(de)(de)要(yao)(yao)求會比較高，往往工程師先要(yao)(yao)學(xue)習，做(zuo)大(da)量(liang)的(de)(de)準備，才能到工業(ye)現場去(qu)(qu)用(yong)，那么元(yuan)橡(xiang)是(shi)不是(shi)也會遇到類似的(de)(de)問題，要(yao)(yao)去(qu)(qu)陪著客戶做(zuo)一個長期項目而(er)占用(yong)大(da)量(liang)的(de)(de)精力呢？
魯耀杰：
對(dui)，的(de)(de)(de)(de)確是(shi)是(shi)需要(yao)的(de)(de)(de)(de)。因為元橡進(jin)入立體視覺(jue)這(zhe)個(ge)行業(ye)還是(shi)比較(jiao)早的(de)(de)(de)(de)，如(ru)果我們(men)光(guang)做一(yi)個(ge)傳感器，得到(dao)了(le)RGBD信息，但是(shi)RGBD應用開發(fa)的(de)(de)(de)(de)人才可(ke)能業(ye)內本身比較(jiao)少(shao)。所以剛開始(shi)的(de)(de)(de)(de)時候(hou)，我們(men)把自己(ji)定位(wei)成從芯片到(dao)解決方(fang)案的(de)(de)(de)(de)角色，就(jiu)是(shi)說比如(ru)車(che)載，我們(men)不僅僅做立體視覺(jue)，RGBD信息拿到(dao)了(le)之后，后端(duan)乃至整個(ge)感知、控制我們(men)都做了(le)。做這(zhe)么長的(de)(de)(de)(de)鏈條有(you)好(hao)處(chu)也有(you)壞(huai)處(chu)。好(hao)處(chu)就(jiu)是(shi)對(dui)于(yu)客戶來說，他拿到(dao)的(de)(de)(de)(de)東西(xi)更簡單了(le)。但是(shi)對(dui)于(yu)元橡來說做的(de)(de)(de)(de)東西(xi)更多，鏈條越(yue)長，那么受(shou)眾就(jiu)越(yue)小。
那我(wo)們(men)(men)(men)為(wei)什么要做長(chang)鏈條呢？很(hen)大一(yi)個目的(de)其(qi)實(shi)是(shi)長(chang)鏈條優(you)化(hua)。如(ru)果(guo)你(ni)不(bu)深(shen)入(ru)用戶的(de)使(shi)用細節，你(ni)是(shi)很(hen)難(nan)對原始數據(ju)進行優(you)化(hua)的(de)。比(bi)如(ru)我(wo)們(men)(men)(men)做無人駕駛，它本(ben)身對立體視覺底層也會(hui)有一(yi)些應(ying)用需求，然后我(wo)們(men)(men)(men)現在(zai)做服務機器人的(de)時(shi)候，運用了很(hen)多我(wo)們(men)(men)(men)車(che)載(zai)里面(mian)的(de)經驗，但低速(su)機器人本(ben)身也有自己(ji)的(de)特(te)點，所(suo)以我(wo)們(men)(men)(men)就在(zai)SDK里面(mian)集成了很(hen)多的(de)常(chang)用功(gong)能(neng)。只有把這些功(gong)能(neng)做好(hao)(hao)了，才能(neng)反(fan)過(guo)來對于底層數據(ju)提出(chu)要求，做好(hao)(hao)長(chang)鏈條優(you)化(hua)。當(dang)然說實(shi)話在(zai)國內軟件很(hen)難(nan)收費，所(suo)以元橡其(qi)實(shi)還是(shi)很(hen)開放的(de)，我(wo)們(men)(men)(men)在(zai)SDK里面(mian)包含了一(yi)些功(gong)能(neng)，我(wo)們(men)(men)(men)會(hui)告(gao)訴(su)客戶這個傳感(gan)器能(neng)這么用，如(ru)果(guo)有一(yi)些特(te)殊應(ying)用也可以在(zai)此基(ji)礎上做二(er)次開發，這樣對于客戶是(shi)很(hen)友(you)好(hao)(hao)的(de)。
周朔鵬(peng)：
我們在資料中看到了一些(xie)運動控制框架等(deng)方(fang)面的介(jie)紹，元橡也會對(dui)客戶提(ti)供(gong)一些(xie)類似小車的完整解(jie)決方(fang)案嗎？
魯耀(yao)杰(jie)：
這個如(ru)果(guo)客戶需要(yao)(yao)的(de)(de)(de)(de)話我(wo)們(men)可以(yi)提供一些整套解(jie)決方(fang)案(an)，當(dang)然這不(bu)是(shi)我(wo)們(men)的(de)(de)(de)(de)主(zhu)要(yao)(yao)目(mu)的(de)(de)(de)(de)，我(wo)們(men)本身不(bu)會賣(mai)整車或者整套解(jie)決方(fang)案(an)，不(bu)過我(wo)們(men)有一家合資公司（酷乘(cheng)）是(shi)在(zai)做這方(fang)面的(de)(de)(de)(de)業(ye)務，已(yi)經在(zai)商業(ye)化運營了(le)，也是(shi)用(yong)元橡的(de)(de)(de)(de)立體視覺相機(ji)提供整套解(jie)決方(fang)案(an)的(de)(de)(de)(de)。而(er)元橡主(zhu)要(yao)(yao)的(de)(de)(de)(de)目(mu)的(de)(de)(de)(de)是(shi)要(yao)(yao)做好(hao)(hao)傳(chuan)感器(qi)，要(yao)(yao)做好(hao)(hao)傳(chuan)感器(qi)很重要(yao)(yao)的(de)(de)(de)(de)一點就是(shi)得深入應(ying)用(yong)，如(ru)果(guo)脫離應(ying)用(yong)來做傳(chuan)感器(qi)這當(dang)然是(shi)做不(bu)好(hao)(hao)的(de)(de)(de)(de)。
周(zhou)朔鵬(peng)：
最后一(yi)個問題，未來三(san)五年時間(jian)內(nei)，您預期整個行(xing)業在視覺方(fang)向上，傳感器(qi)技術會有哪些突破？應(ying)用場景方(fang)面還有哪些底層工作需要(yao)做？
魯耀(yao)杰：
首先從視覺(jue)本身(shen)來(lai)(lai)(lai)說(shuo)(shuo)，我們覺(jue)得(de)(de)突破一定(ding)是(shi)(shi)在(zai)于(yu)成(cheng)像(xiang)質(zhi)量更好(hao)，把更多(duo)信息(xi)能夠采(cai)集(ji)過來(lai)(lai)(lai)，其次從學術角度(du)或者行業角度(du)來(lai)(lai)(lai)說(shuo)(shuo)，視覺(jue)其實還(huan)包含(han)的(de)一點(dian)是(shi)(shi)智能化。視覺(jue)傳感(gan)器(qi)獲得(de)(de)的(de)信息(xi)會越(yue)來(lai)(lai)(lai)越(yue)多(duo)，感(gan)光度(du)越(yue)來(lai)(lai)(lai)越(yue)高(gao)，分辨(bian)率越(yue)來(lai)(lai)(lai)越(yue)大，動態方(fang)面越(yue)來(lai)(lai)(lai)越(yue)廣，也(ye)就是(shi)(shi)說(shuo)(shuo)能夠很(hen)好(hao)地還(huan)原我們的(de)環(huan)境，但(dan)是(shi)(shi)這個(ge)信息(xi)量非常的(de)大，那(nei)這時(shi)候視覺(jue)的(de)處理就變得(de)(de)非常重要。也(ye)就是(shi)(shi)說(shuo)(shuo)你拍(pai)下(xia)來(lai)(lai)(lai)沒用，還(huan)需要機器(qi)能理解，未(wei)來(lai)(lai)(lai)三到五年一定(ding)會有更多(duo)的(de)一些(xie)框架、算法來(lai)(lai)(lai)更好(hao)地理解我們的(de)視覺(jue)信息(xi)。
周朔(shuo)鵬：
相信通過元橡等在內的整個(ge)(ge)行業的共同努力，未來幾年內我們的視(shi)覺技(ji)術一(yi)定會上一(yi)個(ge)(ge)非(fei)常大的臺階。非(fei)常感(gan)謝魯(lu)總給我們帶來的分享，也請(qing)魯(lu)總最后總結一(yi)下吧。
魯(lu)耀杰：
非常榮幸(xing)能(neng)跟大家做這么好的一個交流，作為智(zhi)能(neng)立(li)(li)體(ti)視(shi)(shi)覺芯片(pian)及解決(jue)方案(an)提供商(shang)，元橡也將始終堅持初心，為智(zhi)能(neng)立(li)(li)體(ti)視(shi)(shi)覺發(fa)展貢(gong)獻自己的力量(liang)。
