李飛飛空間智能創(chuàng)業(yè)公司World Labs，開源一項核心技術!

　　Forge渲染器，可在桌面端、低功耗移動設備、XR等所有設備上實時、流暢地渲染AI生成的3D世界。

　　具體來說，F(xiàn)orge是一款Web端3D高斯?jié)姙R渲染器，無縫集成three.js，實現(xiàn)完全動態(tài)和可編程的高斯?jié)姙R。

　　Forge底層為GPU優(yōu)化設計，其地位相當于傳統(tǒng)3D圖形領域的基礎組件“著色器”。

　　Forge只需極少的代碼即可啟動和運行。它支持多個splat對象、多個攝像頭以及實時動畫/編輯。

　　World Labs聯(lián)創(chuàng)、NeRF作者Ben Mildenhall稱這項技術“讓開發(fā)者像處理三角形網格一樣輕松處理AI生成的3D世界。”

　　李飛飛表示，“它能做到的事情簡直令人難以置信”。

　　3D高斯濺射 (3D Gaussian Splatting) 已成為生成式人工智能和3D重建領域的主流方案。

　　這項技術通過將3D場景和對象表示為微小的高斯形狀斑點(又稱Spat)的集合，機器學習技術可用于創(chuàng)建可實時渲染的細致逼真的3D內容。

　　然而，3D高斯濺射(3DGS)是一項相對較新的技術，許多傳統(tǒng)的基于三角形的3D網格渲染引擎尚無法使用，而網絡上*的3D圖形庫three.js無法直接渲染3DGS。

　　雖然有一些庫可以在網絡上渲染3DGS，但它們各自都存在不同的限制，如次只能渲染一個 3DGS 對象、3DGS對象之間的遮擋不正確、無法動態(tài)修改對象、需要 WebGPU 或渲染速度慢/卡頓。

　　Forge被設計為一款可編程的3DGS引擎，能夠以前所未有的方式控制3DGS的生成、動畫以及在場景中的渲染。

　　與現(xiàn)代3D圖形引擎中的著色器圖形系統(tǒng)類似，F(xiàn)orge允許將函數(shù)塊(稱為Dyno)組合成計算圖形，可以程序化地生成、任意修改Spalt，或執(zhí)行能想到的任何其他計算，并轉換為GLSL語言在GPU上運行。

　　官網用一個菜單場景，很好地展示了Forge渲染器的實時交互能力。

　　實時高斯?jié)姙R渲染的*挑戰(zhàn)之一是對每個splat進行排序，這被稱為畫家算法(Painter’s algorithm)，也是Forge系統(tǒng)設計的核心。

　　管理此過程的關鍵組件是ForgeRenderer，它遍歷并編譯Three.js場景中所有 splat 的完整列表。

　　每個ForgeRenderer都有一個默認的ForgeViewpoint ，它會從GPU讀取所有splat視角列表，然后使用高效的bucket sort算法確定繪制順序，并通過SplatWorker在后臺工作線程中運行。

　　通過生成額外的ForgeViewpoint對象，支持創(chuàng)建多視角同時渲染。

　　Forge還利用這個機會在GPU上的每個splat上運行用戶可編程的數(shù)據(jù)流水線。標準流水線提供高級功能，例如應用剛體變換、調整 RGB/不透明度和球諧函數(shù)，以及顏色編輯和擾動以及雙四元數(shù)骨骼動畫系統(tǒng)。

　　標準流水線還允許通過dyno著色器圖形系統(tǒng)注入任意代碼來修改每個splat。

　　Forge支持完全控制編寫任何以編程方式計算splat屬性(中心、比例、四元數(shù)、RGBA)的函數(shù)。這些屬性可以是無狀態(tài)的，也可以依賴于splat文件、紋理和其他全局參數(shù)的復雜組合進行實時程序生成，并且可以隨時間變化以生成實時動畫。

　　World Labs成立以來完成超過2.3億美元融資，投資方包括a16z、英特爾、AMD等。

　　他們的目標是將多模態(tài)AI從二維像素平面提升到完整的三維世界，稱將于2025年推出*產品。

　　另外，World Labs曾透露還計劃打造一些對藝術家、設計師、開發(fā)者、電影制作人和工程師等專業(yè)人士有用的工具，目標客戶涵蓋從視頻游戲開發(fā)商到電影工作室等各個領域。

　　從這一點看來，F(xiàn)orge渲染器更像是開發(fā)者工具中的一部分，真正的產品還在后面。