在自動駕駛領(lǐng)域，實(shí)現(xiàn)高質(zhì)量的虛擬傳感器輸出是一項關(guān)鍵的挑戰(zhàn)。所有的架構(gòu)和實(shí)現(xiàn)都會涉及來自質(zhì)量、性能和功能集成等方面的需求。aiSim也不例外，因此我們會更加關(guān)注于多個因素的協(xié)調(diào)，其中，aiSim傳感器實(shí)現(xiàn)的神經(jīng)網(wǎng)絡(luò)渲染仿真方案，在aiSim能夠在現(xiàn)有功能上實(shí)現(xiàn)多用途擴(kuò)展的同時，也可以盡可能地保留原始特性。

一、現(xiàn)有問題

從當(dāng)前學(xué)術(shù)界對于神經(jīng)渲染的研究來看，不同的方案都會給虛擬世界帶來一定的限制，從而無法讓仿真充分發(fā)揮作用。我們在aiSim中提供了一種不同且具有更高集成度的方案，即aiSim的通用高斯?jié)姙R渲染器（General Gaussian Splatting Renderer），這一方案結(jié)合了渲染速度、集成靈活性和好的視覺保真效果，為當(dāng)下的神經(jīng)網(wǎng)絡(luò)三維重建技術(shù)帶來了新的內(nèi)容。

其中一點(diǎn)就是傳統(tǒng)方案中，廣角鏡頭的渲染和處理總是不盡人意，但這一傳感器又是自動駕駛仿真中最為常見的用例之一，但在aiSim的方案中我們克服了這一局限性。

二、康謀方案

原始的算法在高斯?jié)姙R投射的處理過程中往往會引入若干限制，阻礙了傳感器的合理渲染，主要源于是近似誤差（approximation error），當(dāng)處理FOV更大的鏡頭時，誤差會顯著增大。

左邊是原始解決方案，它無法從六個攝像頭中一致地生成圖像。右邊是aiSim的解決方案，它消除了這個問題，并能投射出一致的圖像。

這種方案不僅能夠處理相機(jī)傳感器，還能夠處理其他基于光線追蹤的傳感器類型，比如LiDAR和Radar。而在之前的ADAS/AD仿真中，無法擴(kuò)展到不同傳感器模式則是大多數(shù)神經(jīng)渲染解決方案面臨的最大挑戰(zhàn)之一。

為此，我們重現(xiàn)思考了高斯?jié)姙R解決方案，重建算法流程，通過新一套的高斯?jié)姙R渲染器很好解決了前述的限制，較好的組合了各種虛擬鏡頭組合的畸變圖像。

1、aiSim通用高斯?jié)姙R渲染器

（1）一致性

aiSim通用高斯濺射渲染器和現(xiàn)有光柵化解決方案具有相當(dāng)?shù)男阅芩?/strong>，即使在硬件在環(huán)方案中，也可以模擬（4K）多攝像頭傳感器設(shè)置。由于該算法的通用性，您可以從基于光線追蹤的傳感器模式（如LiDAR和雷達(dá)）中一致地獲得相同結(jié)果。

這意味著您無需犧牲運(yùn)行性能，因為渲染器可以保持足夠快的速度以實(shí)時幀率工作。

（2）自由視角

此外，aiSim通用高斯?jié)姙R渲染器還允許您在模擬場景中自由移動攝像頭，并使用不同的位置或傳感器設(shè)置，且不會產(chǎn)生不可預(yù)測的偽影或故障。它使您能夠近距離親自查看各種物體表面的復(fù)雜細(xì)節(jié)。由于該算法可用于物理模擬甚至表面重建，因此其應(yīng)用范圍可以進(jìn)一步擴(kuò)大。

（3）完善的前置工作

以上的關(guān)鍵在于我們預(yù)先結(jié)構(gòu)良好的數(shù)據(jù)采集和靈活的渲染方案位為所有物理級傳感器的仿真提供了堅實(shí)的基礎(chǔ)。

期待您繼續(xù)關(guān)注康謀之后的文章，我們將分享更多有關(guān)aiSim的方案內(nèi)容。