一.萬花筒的全息3D建模技術步驟

1.相機姿態恢復
相機姿態恢復是指找到每一張圖片拍攝時所在的精確位置，通過該位置我們可以將所有的圖片拼接成一個大場景。我們的相機拼接算法具有三個突出特點：高精度，輕量化以及大規模化。萬花筒設備採集點距離通常較大，我們創新性的將圖片的特徵與激光雷達採集的點雲特徵進行融合，解決了傳統SLAM, sfm等基於圖像無法重建距離較遠圖片對的問題。同時我們針對手機等邊緣設備進行了優化，使得用戶可以實時的在手機上預覽採集進度，指導用戶進行高效採集。在服務端，基於阿里雲計算平臺，我們開發了分佈式相機重建算法，可以處理萬平米級別場景，如機場，展會等大場景。相關的論文發表在模式識別頂級期刊PAMI上。

2.密集點雲重建
密集點雲是指通過圖片生成高質量的點雲，該點雲與圖片的一致性更高，是激光雷達掃描出來的點雲的有效補充。點雲質量越高，最後生成的模型也就越精細。傳統的密集點雲方法有patchmatch, planesweeping,最近也有基於神經網絡的方法mvsnet，調研發現，目前已有的方法在速度和精度上都無法滿足我們的需求。因此我們自研了神經網絡Cascade MVS Net，該方法通過coarse to fine的方式，逐步縮小深度的搜索空間，在減少顯存消耗的同時，大大提升了重建的分辨率和精度。在公開數據集上DTU上測試表明，我們的算法在速度上處理一張圖只需0.5秒, 是目前最好方法的三倍，精度達到0.3毫米,是目前最好方法的兩倍，在TempleAndTanks公開數據上，我們的算法精度排名第一，遠超市面上，以及學術界中已有的密集點雲重建方法，基於該方法的論文接受為CVPR2020 Oral.我們還搭建了一套三維重建、網格重建以及紋理貼圖的完整建模方案。

3.網格紋理模型生成
我們還搭建了一套三維重建、網格重建以及紋理貼圖的完整建模方案。為了解決各種室內環境特別是大場景內存佔用和精度問題，我們提出了一種LOD多尺度網格模型生成算法，通過場景劃分、網格合併和簡化算法生成不同面數的三維網格模型，解決了大場景重建精度、規模、內存佔用、幾何連續性等問題。同時我們也提出了相應的多尺度紋理貼圖算法。我們的算法首先基於最精細的分塊網格模型貼紋理，並通過局部和全局紋理融合算法、紋理投射算法等解決紋理連續性、紋理精度等問題，確保不同尺度的網格模型的紋理基本沒有精度損失。目前我們已經將我們的三維重建方案部署到了阿里雲計算平臺，提供了一整套包括數據採集、算法計算以及前端渲染的完整產品方案，重建規模可達到2萬平米，可應用於多層建築結構（眾趣等國內競品無法做到），模型精度5cm內，優於競品37%（MatterPort 3D公開數據集），每小時可重建100平米，2019雲棲大會3500平米會場6小時內完成建模。在重建規模、精度和效率方面均達到業內領先。

二.渲染
為了將虛擬世界的結果呈現給用戶讓用戶有沉浸體驗感，然而受限於當前移動設備尤其是web平臺的硬件限制，在用戶端進行高質量的實時繪製具有巨大的挑戰。因此，高效渲染算法的研發顯得尤為重要。為了解決移動端兼顧高效和高質量的渲染問題，我們不依賴任何第三方3D引擎，而是自己直接基於底層硬件圖形API開發針對性的高效渲染引擎，從而最大化的減少額外的overhead。經測試可以比three.js引擎低30%的額外調用開銷。我們還引入了很多高效的渲染算法，例如完整的PBR+ HDR渲染管線，完整的延遲渲染管線（將多光源下的渲染複雜度從O(MN)降低到O(N)）從而大大加速在移動端進行渲染的計算效率和渲染質量。為了實現高質量的渲染效果，我們將很多桌面端的渲染算法在移動端進行了實現並植入引擎中，在這個過程中，為了適配移動端較弱的計算能力，我們做了大量的優化，包括採樣優化，動態渲染比率，分時域渲染，LOD等。