上月,輕舟智航宣布成功獲得數(shù)家頭部車企量產(chǎn)定點合作,實現(xiàn)了BEV“超融合”感知在地平線征程5平臺上的率先部署,邁出量產(chǎn)從0到1的關(guān)鍵一步。 對輕舟來說,這不僅是一場技術(shù)和工程的攻堅戰(zhàn),更是一次認知的躍遷。通過這關(guān)鍵一步,輕舟不僅證明了技術(shù)的前瞻性和先進性,也將領(lǐng)先的技術(shù)方案轉(zhuǎn)化為了實際的客戶價值和用戶體驗。 認知:從“秀肌肉”到“真落地” 作為高級別自動駕駛解決方案提供商,輕舟智航積累了豐富的L4級自動駕駛研發(fā)經(jīng)驗,而對于L2+級別高階輔助駕駛,要將“秀肌肉”的技術(shù)原型轉(zhuǎn)化為“真落地”的量產(chǎn)方案,需要明確產(chǎn)品定位、場景覆蓋、質(zhì)量保障三大層面的認知。 產(chǎn)品定位層面,量產(chǎn)必須以客戶價值為導(dǎo)向,以明確的產(chǎn)品定義和客戶需求為指導(dǎo),與上下游充分溝通并進行資源整合,才能打造出滿足消費者安全和質(zhì)量需求的產(chǎn)品方案。 場景覆蓋層面,量產(chǎn)要盡可能窮舉和覆蓋各種城市的道路情境,對場景的分布和覆蓋率有著極高要求。尤其是雨天、夜間、大光比場景、分合流、模糊車道線、大車側(cè)前壓線、各類水馬和錐桶等場景,對技術(shù)泛化性提出了極大考驗。 質(zhì)量保障層面,量產(chǎn)方案需在上萬里程的測試中通過全方位、多維度考量。如果說Demo側(cè)重展現(xiàn)某些特定場景中的能力上限,那么量產(chǎn)則需明確和保障在高頻場景中最基礎(chǔ)的能力。只有將核心的基礎(chǔ)體驗做到極致,才能獲得消費者的認可。 一個高質(zhì)量的量產(chǎn)方案應(yīng)該做到無論在任何城市、時段、天氣中,都能夠保證無差別的功能輸出,同時在遇到各類復(fù)雜的長尾場景時也能提供穩(wěn)定出色的用戶體驗。其中,感知是最上游、最關(guān)鍵的能力。目前,視覺感知方案是市場和產(chǎn)品的主流需求。因此,基于視覺信息做好感知,保障對環(huán)境、交通參與者和障礙物等的精準識別,是為后續(xù)模塊提供有效支撐,帶來更安全、更高效、更舒適的駕乘體驗的關(guān)鍵。 實踐:將技術(shù)優(yōu)勢轉(zhuǎn)化為量產(chǎn)優(yōu)勢 BEV感知可以更好地利用視覺信息應(yīng)對復(fù)雜的道路場景,輕舟在基于征程5平臺開發(fā)之初便確立了BEV感知的部署目標(biāo)。要在量產(chǎn)車端實現(xiàn)出色的 BEV感知能力,需要積累海量的已標(biāo)注數(shù)據(jù)以支持模型的訓(xùn)練。如何找到更多高質(zhì)量的數(shù)據(jù)并高效利用,是支持技術(shù)不斷迭代的重要基石。 輕舟智航充分利用作為高級別自動駕駛解決方案提供商在AI領(lǐng)域的先發(fā)優(yōu)勢,通過突出的基礎(chǔ)設(shè)施建設(shè),深厚的AI工程化經(jīng)驗積累,實現(xiàn)了整套方案的高效率、高質(zhì)量遷移,從而將輕舟的BEV感知等技術(shù)研發(fā)優(yōu)勢轉(zhuǎn)化為量產(chǎn)產(chǎn)品優(yōu)勢。 在基礎(chǔ)設(shè)施建設(shè)領(lǐng)域,輕舟智航在高級別自動駕駛研發(fā)過程中積累了領(lǐng)先的數(shù)據(jù)閉環(huán)能力,并創(chuàng)新構(gòu)建了離線點云大模型,為跨模態(tài)的數(shù)據(jù)標(biāo)注、數(shù)據(jù)挖掘和模型訓(xùn)練提供強大支持,大幅提高數(shù)據(jù)價值和利用效率,提升長尾場景處理能力。 在數(shù)據(jù)標(biāo)注方面,輕舟智航可實現(xiàn)2D圖像和3D圖像的自動化標(biāo)注。基于離線點云大模型3D自動化標(biāo)注可高效提供動靜態(tài)的障礙物真值,還可融合跨傳感器與跨時序信息,自動補全被遮擋的目標(biāo),提高標(biāo)注的精度。
圖:(左)城市場景下3D圖像自動化標(biāo)注結(jié)果;(右)高速場景下3D圖像自動化標(biāo)注結(jié)果 輕舟智航還利用NeRF技術(shù)打造了基于純視覺數(shù)據(jù)的高精度三維空間重建模型,不僅克服了因相機位固定導(dǎo)致視角有限給重建帶來的挑戰(zhàn),完美適配自動駕駛車輛,在泊車的空間還達到了行業(yè)領(lǐng)先的2cm重建精度,遠超點云掃描的三維精度水平。同時配合輕舟長期積累的圖像全景分割模型,還可在重建的同時獲得3D空間中的深度和語義信息,以超越傳統(tǒng)方法1~2個數(shù)量級的模型收斂效率,實現(xiàn)大批量的數(shù)據(jù)轉(zhuǎn)換和場景生成。精度高、適配好、速度快、少人工,三維空間重建模型能極大提高視覺數(shù)據(jù)標(biāo)注的效率和質(zhì)量。 ![]() 圖:基于NeRF和純視覺數(shù)據(jù)進行三維重建的地庫場景 為了加強對車端道路幾何認知能力的訓(xùn)練,輕舟智航研發(fā)了高精地圖預(yù)標(biāo)注模型MapBEV,可通過半監(jiān)督方式進行自動化數(shù)據(jù)標(biāo)注,最高可減少60%的人工標(biāo)注工作,從而更高效地訓(xùn)練車端BEV道路幾何模型,增強對車道線、車道類型、地面標(biāo)識等信息的認知和理解,更好地支持實際量產(chǎn)中對于去高精度地圖的需求。 除了高效標(biāo)注采集的數(shù)據(jù),還需要通過數(shù)據(jù)挖掘,在盡可能多樣的場景數(shù)據(jù)中,挖掘出對算法提升真正能夠起到實質(zhì)性幫助的高價值場景。 基于離線點云大模型,輕舟智航可進行高質(zhì)量的3D數(shù)據(jù)挖掘,不斷提升目標(biāo)識別能力。不僅如此,輕舟還創(chuàng)新構(gòu)建了基于文字到圖像的多模態(tài)模型,只需通過自然語言文字描述,便可在無監(jiān)督的情況下自動檢索相應(yīng)場景圖像,挖掘出很多在平常數(shù)據(jù)使用中很難發(fā)現(xiàn)的、生活中也很難遇到的長尾場景,提高挖掘長尾場景的效率。例如,輸入“夜間雨天行駛的大卡車”、“躺在路邊的人”等文字描述,系統(tǒng)就能自動反饋相應(yīng)的場景,便于專項分析和訓(xùn)練。 ![]() 圖:基于離線3D點云大模型的數(shù)據(jù)挖掘 ![]() 圖:基于文字到圖像的多模態(tài)模型,實現(xiàn)了基于文本的場景挖掘能力 在模型訓(xùn)練環(huán)節(jié),輕舟智航可以利用離線點云大模型訓(xùn)練車端BEV檢測模型。通過對比離線點云大模型和車端BEV檢測模型的輸出結(jié)果,可快速發(fā)現(xiàn)模型性能問題,諸如車輛分類錯誤、行人漏檢等,由此可以進行針對性的解決。 同時,輕舟智航還提出了一種高效的跨模態(tài)知識蒸餾方法,可利用離線模型提升車端線上基于BEV的3D物體檢測模型精度。通過特征對齊的方式,使線上模型的特征分布盡可能與離線模型接近,從而使線上模型能夠?qū)W習(xí)離線模型的能力。這種離線到線上的知識蒸餾方法與直接做自動標(biāo)注形成互補,能夠進一步提升模型精度。 ![]() 圖:利用離線模型的知識蒸餾,使車端感知BEV模型檢測精度得到提升 成果:將量產(chǎn)方案轉(zhuǎn)化為用戶價值 性能再強大的模型,也需要經(jīng)過量化遷移,才能在量產(chǎn)車上發(fā)揮效力。其中的關(guān)鍵就在于AI工程化,通過軟硬協(xié)同,盡可能在量產(chǎn)計算平臺上最大化發(fā)揮模型的性能。 在AI工程化方面,輕舟智航的優(yōu)勢來自于模型結(jié)構(gòu)的靈活性、豐富的模型部署和適配經(jīng)驗,以及地平線緊密的芯片開發(fā)支持,從而快速完成了原有方案在征程5芯片上的高質(zhì)量、高效率遷移和部署。 其中,輕舟基于超融合提出的國內(nèi)首個可在量產(chǎn)計算平臺上實現(xiàn)時序多模態(tài)特征融合的感知大模型OmniNet具備突出的性能和靈活性,不僅能夠輸出豐富且準確的環(huán)境感知結(jié)果,還可以靈活適配不同傳感器配置,且無需針對不同硬件進行單獨模型訓(xùn)練,帶來更低遷移成本。 同時,地平線提供了大量的最佳實踐參考算法,使得輕舟智航團隊能夠?qū)ΠY下藥,一步到位完成算法選型和瘦身,并充分地利用征程5的BPU架構(gòu)優(yōu)勢,最終更快地實現(xiàn)了輕舟智航行泊一體BEV感知方案在征程5芯片平臺上的落地。 輕舟智航的行泊一體方案可在一個BEV模型中實現(xiàn)多任務(wù)檢測,同時支持行車和泊車功能。由于不同任務(wù)間共享大部分模型參數(shù),能夠以最小的算力消耗,完成所有行泊車感知任務(wù)。 ![]() 圖:感知BEV模型支持行+泊多任務(wù)的輸出 對車企而言,行泊一體意味著更高的硬件資源利用率,以及更高的場景泛化能力,可帶來極大的成本和體驗優(yōu)勢。由于行車和泊車之間可以無縫切換,架構(gòu)更簡潔,不會出現(xiàn)行泊分離時場景重疊造成傳感器和算力的浪費。同時,由于不再按照場景區(qū)分,感知模型可利用泊車傳感器加強車輛近距離行車時的感知效果,還可以利用行車傳感器加強對泊車環(huán)境的理解,這意味著場景泛化性更強,可以更好地應(yīng)對諸如狹窄道路等行車泊車難以區(qū)分的場景,帶來更好的體驗。 綜合來說,正是完善的基礎(chǔ)設(shè)施建設(shè)、豐厚的AI工程化經(jīng)驗,使得輕舟智航以更高的研發(fā)效率,更少的資源投入達成了量產(chǎn)目標(biāo),率先在征程5平臺上實現(xiàn)了更好的行泊一體BEV感知效果,不僅以更高的性價比助力客戶降本增效、提高產(chǎn)品競爭力,同時也能為消費者提供安全舒適、更好用、更愛用的智能駕駛體驗。 根據(jù)工信部數(shù)據(jù),預(yù)計2025年乘用車L2級及以上智能駕駛滲透率將會達到70%。在此趨勢下,越來越多的用戶都會將高階輔助駕駛功能列為選車購車的重要考量因素。得益于出眾的性價比,地平線征程系列正在成為越來越多車企智駕方案的首選芯片平臺,而基于征程5的輕舟乘風(fēng)更將是征程5平臺中更可靠、體驗更佳、性價比更合理的NOA方案。 ![]() 圖:輕舟乘風(fēng)高階輔助駕駛解決方案 自動駕駛技術(shù)已被認為是未來10年最重要的革命性技術(shù)之一,但任何顛覆性的技術(shù)只有真正落地,才能為社會創(chuàng)造價值。輕舟智航秉承“將自動駕駛帶進現(xiàn)實”的長期愿景,仰望星空同時腳踏實地,持續(xù)精進技術(shù)、打磨方案,結(jié)合敏銳的客戶和用戶需求洞察,在推進技術(shù)普及的馬拉松上持續(xù)突破,向最終目標(biāo)不斷邁進。 |
![]() |
中國鍛壓網(wǎng)官方微信:掃一掃,立即關(guān)注!
關(guān)注"中國鍛壓網(wǎng)",獲取獨家行業(yè)新聞資訊。 添加方法1: 在“添加好友”中直接添加微信賬號:chinaforge 添加方法2: 微信中掃描左側(cè)的二維碼 |