駕駛場景仿真畫面一換視角就模糊變形、一插入虛擬車輛就前后景錯位?這個困擾行業的共性難題,迎來了新的技術突破。
近期,長城汽車與中國香港科技大學、清華大學等高校研究團隊聯合發布的最新開源研究成果 SPVC,針對3D駕駛場景渲染中的各類偽影問題,提出了一套結構化、全景式的視頻修復方案,讓數字仿真場景更穩定、更可控、更貼近真實道路環境。
為什么駕駛輔助場景仿真,急需一套“修復術”?
近年來,3D高斯潑濺(3DGS)憑借高質量重建與高效渲染的優勢,逐漸成為駕駛輔助場景建模的主流技術路線。但在實際應用中,它始終面臨兩個典型痛點:
- 新視角渲染失真:當車輛軌跡偏離原始采集路徑時,道路、建筑、車道線容易出現結構扭曲、局部模糊
- 3D資產插入違和:往場景中添加虛擬車輛等資產時,容易出現車身外觀失真、前景與背景銜接錯位
不止是單幀畫面的問題,連續視頻序列還容易出現時序閃爍、幀間不一致的現象。這些仿真中的“偽影”,會讓下游的感知、規劃模型學習到錯誤的特征,最終削弱駕駛輔助算法在真實道路上的決策可靠性。
SPVC 針對結構化、全景式、視頻級、跨數據集修復,縮小仿真與真實場景的差距
SPVC:一套框架解決四類修復難題
SPVC全稱為 Structured and Panoptic Video Fixing for Cross-Dataset Driving Scene Rendering,(面向駕駛場景跨數據集的結構化與全景視頻渲染修復),它沒有走“針對單個問題單獨優化”的路線,而是將駕駛場景修復統一為四大設計目標:
結構化修復:給修復加上“空間標尺”
引入相機位姿、3D檢測框、高清地圖作為明確的空間約束,給修復過程劃定清晰的空間邏輯,減少無依據的內容生成,讓修復結果符合真實物理規律。
全景式修復:前景背景同步修正
既修正背景的道路、建筑、標識牌扭曲,也解決前景插入車輛帶來的外觀失真、前后景錯位,實現全場景的渲染偽影修復,沒有“修補盲區”。
視頻級修復:保證時序流暢不閃爍
針對連續駕駛視頻序列做整體處理,而非逐幀單修,充分利用幀間時序信息,有效改善視角變化時的畫面閃爍問題,保證視頻序列的連貫一致。
跨數據集修復:一套模型適配多場景
通過在多個公開數據集與自研采集數據上訓練,同一個模型可以適配不同數據來源、不同道路場景的修復需求,無需針對每個數據集單獨訓練修復模型,通用性更強。
簡單來說,SPVC就像一套專為數字駕駛場景設計的“智能高清修復系統”:視角變了能修清,加虛擬車能修自然,換數據集也能穩定生效。
星空人工智能技術網 倡導尊重與保護知識產權。如發現本站文章存在版權等問題,煩請30天內提供版權疑問、身份證明、版權證明、聯系方式等發郵件至1851688011@qq.com我們將及時溝通與處理。!:首頁 > 星空人工智能產業 > VR|虛擬現實 » 駕駛場景仿真獲突破 長城汽車聯手高校讓仿真更貼近真實路況