Luma AI：基于NeRF，文字、圖片、視頻都可生成3D模型

　　上周，我們剛剛報(bào)道了3D內(nèi)容方案商Luma AI完成2000萬(wàn)美元A輪融資消息，本周Luma AI繼續(xù)宣布推出視頻轉(zhuǎn)3D場(chǎng)景API：Video-to-3D API。簡(jiǎn)單來(lái)說(shuō)，現(xiàn)在Luma正式開(kāi)放了NeRF能力，意味著正在進(jìn)行商業(yè)化探索。

　　正如最近很火爆的GPT等生成式AI那樣，NeRF在最近兩年同樣是一項(xiàng)關(guān)注度極高的方案，而以NeRF為核心的Luma AI發(fā)展同樣迅速。

　　可能很多人還不熟悉Luma AI這家公司，它是一個(gè)專注于3D內(nèi)容方案的平臺(tái)，短短半年之內(nèi)先后基于NeRF上線了文生3D模型、網(wǎng)頁(yè)版全體積NeRF渲染器、視頻到3D模型API等功能。關(guān)于Luma AI

　　前面我們提到，Luma的核心就NeRF，簡(jiǎn)單來(lái)講這是一套三維重建技術(shù)方案，它的特點(diǎn)是基于現(xiàn)有視角的圖像生成新視角的圖像。

　　有了NeRF，可以說(shuō)你手里的相機(jī)不單單只是拍照這么簡(jiǎn)單，而是變成數(shù)據(jù)采集裝置，通過(guò)拍攝大量圖片或視頻，即可創(chuàng)建出一個(gè)可微分的三維場(chǎng)景。比起傳統(tǒng)的攝影測(cè)量方案，NeRF的優(yōu)勢(shì)是可以用更少量的數(shù)據(jù)生成三維模型。

　　​據(jù)青亭網(wǎng)了解，Luma公司成立于2021年9月，總部位于美國(guó)加州，創(chuàng)始人：Amit Jain、Alex Yu，分別在3D視覺(jué)、機(jī)器學(xué)習(xí)、實(shí)時(shí)圖形學(xué)有所建樹(shù)。

　　近半年發(fā)展歷程： 22年10月，開(kāi)放網(wǎng)頁(yè)版Luma; 22年11月，iOS版App開(kāi)始測(cè)試; 22年12月，推出文生3D模型功能; 23年1月，iOS版App開(kāi)始支持NeRF Reshoot; 23年1月，升級(jí)NeRF，自動(dòng)去除雜影; 23年2月，推出網(wǎng)頁(yè)版全體積NeRF渲染器; 23年3年，iOS版App 支持AR預(yù)覽; 23年3月，推出視頻轉(zhuǎn)3D API。

　　那么，接下來(lái)我們分開(kāi)來(lái)解析一下Luma的產(chǎn)品組合。 Luma App

　　實(shí)際上，上述很多功能都是組合形式出現(xiàn)，例如手機(jī)App，當(dāng)前Luma只推出了iOS客戶端�？梢酝ㄟ^(guò)iPhone上傳視頻，基于NeRF生成3D場(chǎng)景。手機(jī)版App的推出可以說(shuō)是一個(gè)大的突破，因?yàn)橹�前市面上并沒(méi)有類似的NeRF產(chǎn)品出現(xiàn)。

　　很快，經(jīng)過(guò)網(wǎng)友們的測(cè)試發(fā)現(xiàn)Luma NeRF的效果非常出色，色彩、光影、清晰度等方面都良好。據(jù)悉，Luma對(duì)NeRF進(jìn)行了改良和優(yōu)化，才有這么好的表現(xiàn)。

　　視頻效果

　　導(dǎo)出3D模型效果

　　iOS端支持導(dǎo)入視頻，以及引導(dǎo)模式和自由模式三種： 導(dǎo)入模式，這個(gè)很好理解，和Web模式功能類似，對(duì)設(shè)備和視頻理論上要求最低。 引導(dǎo)模式，需要360度拍攝，App將具體提示框提醒你的拍攝視角、拍攝位置; 自由模式，支持非360度(部分視角)拍攝，App不會(huì)給出明確提示框，當(dāng)然也需要盡可能拍攝多個(gè)角度。

　　引導(dǎo)模式、和自由模式需iPhone 11或更新機(jī)型，而查看3D模型要求是iPhone X或更新機(jī)型。

　　根據(jù)@未來(lái)GIS實(shí)驗(yàn)室 的測(cè)試，小物體渲染后細(xì)節(jié)表現(xiàn)不錯(cuò)，室內(nèi)場(chǎng)景可還原墻面和地板的反光，室外場(chǎng)景的效果同樣非常逼真，整體的效果可以說(shuō)是非常不錯(cuò)。

　　NeRF Reshoot也是一個(gè)有意思的功能，通過(guò)生成的3D場(chǎng)景你可以“重新拍照”，比如你可以從其它角度查看圖片并重新拍照;重新定制虛擬相機(jī)路線，生成一段新的視頻;修改圖片/視頻比例;調(diào)整幀率等等，也可以在AR模式下結(jié)合6DoF模式還原當(dāng)時(shí)拍攝場(chǎng)景，算是一項(xiàng)進(jìn)階玩法。

　　另外，Luma App還加入AR預(yù)覽模式，這個(gè)沒(méi)啥難度，應(yīng)該就是基于ARKit的體驗(yàn)拓展。 網(wǎng)頁(yè)和API類

　　網(wǎng)頁(yè)版本目前集成了主流功能，包括：網(wǎng)頁(yè)版Luma、文字轉(zhuǎn)3D模型、視頻轉(zhuǎn)3D API。

　　1，網(wǎng)頁(yè)版Luma

　　網(wǎng)頁(yè)版Luma就是自行上傳照片、視頻來(lái)進(jìn)行三維重建，網(wǎng)頁(yè)版可以上傳更大的文件，目前視頻和圖片(ZIP壓縮包)體積最大限制5GB，通常來(lái)講照片的生成質(zhì)量比視頻要好一些，前提是照片是進(jìn)行特定拍攝，無(wú)明顯模糊。

　　另外，Luma官網(wǎng)還會(huì)列出一些精選的3D場(chǎng)景，大家可以用于參考。當(dāng)然，在App里可以查看或編輯其他人的精選3D場(chǎng)景。

　　2，文字轉(zhuǎn)3D模型

　　文字轉(zhuǎn)3D模型功能目前依然未全量開(kāi)放，就像是Midjourney一樣，只需輸入文字描述，即可生成對(duì)應(yīng)的3D模型。

　　文字生成3D模型效果圖

　　上圖是文字生成3D模型的示例，官網(wǎng)上也有更多示例，并不是每一個(gè)質(zhì)量都很好。當(dāng)然，目前也處于測(cè)試階段，效果也跟你的Prompt有很大關(guān)系，感興趣可以先加入等待列表。

　　3，視頻轉(zhuǎn)3D API

　　​效果方面，視頻轉(zhuǎn)3D的效果幾乎和網(wǎng)頁(yè)版一致。​價(jià)格方面，轉(zhuǎn)換一個(gè)視頻費(fèi)用1美元，就是單純的按照次數(shù)收費(fèi)，不管視頻容量大小，所以當(dāng)然是盡量豐富視頻的細(xì)節(jié)，轉(zhuǎn)換時(shí)間在30分鐘左右。

　　Luma表示，這一方案將為：電子商務(wù)、游戲美術(shù)、影視特效等領(lǐng)域發(fā)展重要價(jià)值，因?yàn)榇饲皠?chuàng)建3D模型的價(jià)格在60-1500美元，時(shí)間需要2-10周(Luma提供數(shù)據(jù))。

　　以下是Luma提供的用于轉(zhuǎn)換3D場(chǎng)景的視頻拍攝技巧： 捕獲過(guò)程

　　捕獲速度：運(yùn)動(dòng)模糊會(huì)顯著降低重建質(zhì)量。為了達(dá)到最佳效果，慢慢移動(dòng)手機(jī)，盡量避免快速移動(dòng)，尤其是旋轉(zhuǎn)。

　　場(chǎng)景覆蓋：為了獲得最佳效果，應(yīng)該從盡可能多的獨(dú)特視角捕捉物體或場(chǎng)景。此外，在拍攝時(shí)最好移動(dòng)手機(jī)(在3D空間中)，而不是從靜止位置旋轉(zhuǎn)它。站在同一個(gè)地方，在一個(gè)球體中向外捕捉通常不太好。引導(dǎo)捕獲模式是一個(gè)很好的選擇，以確保足夠的覆蓋。

　　對(duì)象大小：對(duì)于引導(dǎo)捕獲，任何可以從所有角度(包括頂部和底部)輕松查看的對(duì)象都是一個(gè)很好的候選對(duì)象。對(duì)于自由形式的捕捉來(lái)說(shuō)，任何東西都是公平的，盡管更好的覆蓋范圍會(huì)產(chǎn)生更好的結(jié)果，所以較大的物體可能難以獲得完全干凈的結(jié)果。

　　物體距離：為了獲得最佳效果，在掃描時(shí)盡量保持整個(gè)物體在幀中。這樣做將為應(yīng)用程序提供更多關(guān)于反射和物體形狀的信息，從而實(shí)現(xiàn)更準(zhǔn)確的重建。

　　物體材質(zhì)：目前，該應(yīng)用程序掙扎于復(fù)雜的反射(例如，曲面鏡面)，彎曲的透明物體(例如，車窗或塑料水瓶)，以及非常大的無(wú)紋理表面(例如白墻)。大多數(shù)其他材料都很好。

　　捕捉環(huán)境光照水平：該應(yīng)用程序可以在大多數(shù)光照條件下捕捉物體，只要紋理仍然可以識(shí)別(即，沒(méi)有被洗掉或完全黑暗)。照明條件將被烘焙，所以場(chǎng)景應(yīng)該點(diǎn)亮，但你希望它出現(xiàn)在最終的結(jié)果。

　　移動(dòng)的物體：在捕捉過(guò)程中，場(chǎng)景中的任何運(yùn)動(dòng)都可能降低最終結(jié)果的質(zhì)量。例如，在風(fēng)中移動(dòng)的樹(shù)葉可能會(huì)導(dǎo)致細(xì)節(jié)的丟失，而在背景中移動(dòng)的人可能會(huì)引入偽影。拍攝時(shí)請(qǐng)注意不要將手指/手臂/腿伸入畫面。 相機(jī)設(shè)置

　　視頻設(shè)置注意事項(xiàng)：如上傳視頻，需關(guān)閉視頻穩(wěn)定選項(xiàng)，尤其安卓手機(jī);iOS需禁止使用“HDR視頻”選項(xiàng)。

　　曝光：建議使用固定曝光，盡管動(dòng)態(tài)曝光對(duì)室外場(chǎng)景有益。 捕獲格式

　　基于圖片生成：可在Luma網(wǎng)頁(yè)上傳圖片壓縮包。通常照片比視頻質(zhì)量更高，但需特定拍攝，無(wú)模糊，并包含EXIF元數(shù)據(jù)。

　　提醒：可上傳原始格式圖像(如CR3和DNG等)和HDR圖像(.exr)，以實(shí)現(xiàn)更高的動(dòng)態(tài)范圍，以提高質(zhì)量。如果使用原始文件，元數(shù)據(jù)將用于sRGB渲染(而底層NeRF將是HDR)。使用EXR，渲染的顏色將在當(dāng)前顏色空間中，因?yàn)闆](méi)有colorspace元數(shù)據(jù)。

　　不建議上傳大于4K分辨率的圖片，當(dāng)前版本對(duì)高分辨率圖像效率更低;

　　魚(yú)眼相機(jī)和360相機(jī)：360度視頻可以更有效實(shí)現(xiàn)大面積，但很多360相機(jī)實(shí)際上是雙魚(yú)眼相機(jī)，進(jìn)行拼接形成，拼接可能會(huì)導(dǎo)致失真。但可以手動(dòng)在網(wǎng)頁(yè)版上傳，注意選擇對(duì)應(yīng)的模式。注：?jiǎn)昔~(yú)眼模式Insta360 .insv文件可以直接重命名為mp4上傳;多魚(yú)眼模式可將Insta360 .insv文件放在一個(gè)zip上傳。

　　參考：Luma、未來(lái)GIS實(shí)驗(yàn)室