5月28日，天貓618宣佈開啟 3D 購物時代，躺平設計家攜顧家、林氏木業等行業TOP 品牌，讓 3D 場景化購物成為未來家裝購物新模式。

天貓618首次將3D購物技術大規模應用於宜家、顧家等100個商業體，消費者可以在手機上逛商場，所見將與親臨現場近乎一樣，還能隨時替換其中新品，創造更大的想象和展示空間。

品牌宜家還將3000平方米的上海寶山店，按1:1比例復刻至天貓，常去宜家寶山店的顧客還能找到熟悉的角落。

5G投入商用後，3D購物成為最受科技界期待的新技術之一。作為618的絕對主場，天貓618每年推出新技術，不斷拓展商業邊界，同時讓消費場景不斷拓寬。

此前，受疫情影響，不少線下商業體的客流尚未恢復正常，實體商業格外關注如何通過新技術實現業務的在線化。**3D購物背後的實景技術能夠將購物體驗從平面陳列式升維為立體場景，這也是電商未來發展的主流方向。
**

“這可能是疫情以來對我們最有用的新技術。建立3D線上展廳，相當於把一個門店覆蓋至全國，讓逛的人更多。” 顧家家居相關負責人表示。

而家裝從業者表示，“過去家裝電商做不了場景化展示，消費者僅僅看商品照片很難下購買決心。現在3D購解決了該難題。”

在這次天貓618新操作的背後，3D實景逛街技術被推到了最前臺。

3D實景逛街技術不僅將線下場景1:1還原至線上，讓用戶可以足不出戶“雲逛街”，其更深的含義是將商家的線下賣場“數字化”，與線上“數字化”資產形成聯動，讓目前線上傳統基於“圖文/視頻”內容導購類型升級至基於3D數字化場景的“場景化導購”，從而提升用戶的購物體驗。

3D場景化導購技術涉及到CV（Computer Vison）、CG（Computer Graphics）、3D渲染等多領域。同時，要將這些領域串聯起來又會是巨大的挑戰。

下面，阿里巴巴淘系技術部-躺平技術團隊將從“數字化”、“內容化”和“產品化”三個方面給大家分享“3D場景化導購”項目中的一些思考。

• “數字化”著重在解決如何將商家線下的場景轉化成結構化的3D描述，這是場景化導購的基石。
• “內容化”著重解決3D場景如何區別於傳統內容導購，結合商家線上資產，豐富場景化導購體驗。
• “產品化”著重在解決3D內容如何更好的展現給C端用戶，提升用戶體驗。

數字化

這裡的數字化主要指：
a、場景本身的數字化
b、場景中物體（商品）的數字化

早在4年前，淘系技術部-躺平技術團隊就在場景和商品數字化領域開始了不同程度的探索。

2016年發佈的Buy+將美國Macy's百貨公司搬至線上

▐ 場景數字化

當前，我們對於場景的數字化採用了2種解決方案:
a、圖像設備採集+3D圖像重建算法
b、使用3D設計工具1:1製作還原

方案a通過自主研發的採集設備收集空間深度信息結合場景重建算法，得到場景的3D模型。

優勢在於：
提供“場景”的3D信息，幾乎100%還原了真實場景，並且提供照片級的清晰程度

劣勢在於：
無法直接理解場景中的物體，如果要更深入一層，需要採用“場景理解”“場景分割”算法對場景3D數據進一步分析

方案a得到的場景三維信息和全景圖

方案b依託阿里旗下“躺平設計家”的3D設計工具高效地幫助場景重建人員快速的完成場景1:1還原，一個重建人員每天可以還原2-3個200平米左右的線下門店或者樓盤樣板間。

優勢在於：
不僅提供場景的3D信息，還可以得到場景中的每一個物體的信息。

可以擺脫現實世界對與設計的束縛，將概念場景在線上實現。

劣勢在於：
視覺效果依賴於離線渲染的效果（略低於真實照片）

方案b 使用的躺平設計家3D-Saas

針對不同的業務，採用的方案也是不同的，核心是對“3D數字化程度”和“視覺效果”進行平衡。

對於偏真實體驗類的業務，如雲逛博物館、雲逛宜家會採用方案a，這類業務更重視還原度和體驗效果。

對於設計類需求，如樓盤樣板間設計，更多采用方案b，因為這類業務會頻繁出現場景需要根據用戶的需求發生調整的情況，更深程度的數字化可以提供更多的調整空間。

▐ 商品數字化

模型平臺收集了海量的高質量模型以及其與商品的關係，使得阿里生態可以在各種場景利用3d模型為原料來生產各類組合後且有商品信息的場景內容。同時，模型平臺通過對模型的分析理解深挖，使得模型可以被更智能地放置、組合與檢索。

對於海量的3D數據，淘系技術部-躺平技術團隊建設了一套3D基礎特徵庫(3D Foundation Features - 3DFF)，通過計算幾何跟圖神經網絡的方法更細節地挖掘了3D數據的特徵（如部件語義信息），並且設計了一套開放、規範的3D分析算法調度體系，可將多種分析的特徵存入模型平臺，提供給上層應用。上層應用基於這些更為精細的3D特徵能獲得更好的效果，比如使得場景設計的專家規則更為細緻，基於統計的AI佈局也更為準確。

目前模型平臺已經支撐了百萬級別的商品模型。

內容化

場景數字化技術，將商家的線下資產搬至線上，相較於一維的文字內容，二維的圖片內容，商家擁有了一個三維內容的運營陣地，可以讓用戶更加真實地接觸到其服務和商品。

場景本身即內容，而3D技術讓商家線上數字資產可以以多種方式融入場景中，讓用戶在消費場景內容的同時更容易引發情緒，相比傳統的內容導購，有了較大的提升。

▐ 基於3D場景的內容運營

傳統的內容導購中，創作者需要拍攝圖片、視頻，編輯文案、商品錨點，以及通過PhotoShop在圖文中編輯商品尺寸信息，這些工作在3D場景內容編輯中我們使用算法都可以實現自動化，如自動計算場景圖片的錨點，並且通過模型平臺獲取關聯的商品信息，甚至可以分析場景，使用AI算法生成場景介紹。

▐ 場景化的營銷互動

在場景化導購中，場景對用戶需求不再是單個商品的激發，而是多角度的激發。用戶看到一個茶几，也能看到茶几上漂亮的擺件，最終可能是小擺件+茶几的組合讓用戶產生興趣。在這種新導購場景裡，我們融入阿里積累多年的營銷互動玩法，還嘗試了多種新的模式。

例如，算法可以分析場景信息，將場景中可以相互搭配的商品提取出來，形成區別於傳統單品的組合優惠價。

3D場景豐富了內容的維度，提升了業務的想象空間。

躺平輕應用中的“組合購”

▐ 交互式內容生成

當用戶瀏覽一個場景的時候，可能會有這樣的需求“如果剛才看中的商品放到這個場景裡是什麼樣子？”，3D場景內容提供了這種個性化需求的解法，用戶可以將場景中的任何一個商品替換成另一個商品並查看其在場景中的效果。

為了能將一個靜態的內容變成可以根據喜好動態變化的內容，我們構建了一個互動式內容生產引擎來自動化賦予靜態的3D場景DIY搭配的能力。

這個內容生產引擎有如下幾個核心步驟：
分析3D場景，根據專家知識圖譜來抽取3D場景內容中的設計規則。

通過分析商品的3D特徵（3DFF）和基礎特徵服務（ABFS），結合場景的設計規則確定可替換商品模型候選池。

確保模型候選池中的商品模型能夠美觀地適配場景，這裡主要靠3D微調算法來完成，算法依據步驟a中的設計規則，對原始方案進行分析構建多維度數值約束進行優化求解，實現新的傢俱組合按照原佈局適配到場景中。

▐ AI內容創作

製作一個精美的3D樣板間需要耗費設計師大量的精力，為了滿足消費者不同的需求，需要設計海量的3D樣板間，這對商家來說也是一筆鉅額的投入，特別是對淘寶上的中小賣家而言，更是無形的拉高了這個行業的門檻。如何為淘寶上數以億計的消費者提供差異化的服務是我們面臨的重大挑戰，也是我們面臨的重大機遇。

基於日漸成熟的3D技術，藉助3D自動理解、自動創作的能力，通過學習現有3D內容的搭配、佈局等信息，結合圖神經網絡(GNN)、視覺技術(CNN)以及自然語言處理相關技術(Transformer)我們讓機器擁有了設計師的能力。利用機器生成海量的3D導購內容，並通過個性化推薦技術形成精準的需求匹配，將合適的內容分發給合適的消費者，形成新的用戶場景下的產品，引導消費者從單品消費走向場景消費，並真正實現一站式購買。

產品化

針對不同的3D場景內容，淘系技術部-躺平技術團隊投入了大量時間打磨和優化對應的C端產品形態，使3D場景給用戶更好的體驗。

場景導購要用戶引發情緒，需要接近照片級別的渲染質量，這在用戶手機端對渲染技術是一個極大的挑戰。

對此，我們將持續投入自建的客戶端渲染引擎，同時嘗試其他新的渲染解決方案在現階段儘可能的提供給用戶逼真的體驗。

▐ AceTiny自研渲染引擎

AceTiny是淘系技術部-躺平技術團隊自研的一款主打移動端的高性能渲染引擎。AceTiny引擎為了提升3D互動業務製作效能而開發、擁有體量小、運行效率高等特性、支持動態語言開發、PBR光照以及骨骼動畫等引擎常用功能，方便快速地支撐起了需要移動端渲染的大量業務。AceTiny提供的性能媲美Native級別的渲染接口，可以在移動端高效地完成較大規模的場景渲染，這使得在手機端渲染室內的家居場景成為可能。AceTiny引擎有著體積小、易於集成、開發上手快、運行效率高這一系列優點，給用戶在移動客戶端上提供了逼真的3D體驗。

基於AceTiny端渲染完成的AR效果

▐ 2D&3D混合呈現

直接使用渲染引擎渲染在手機端效果目前還不能在所有3D場景中令人完全滿意，用戶看慣了高清圖文，直接看3D的場景渲染效果體驗會有損失。對此，淘系技術部-躺平技術團隊採用2D&3D混合的方式來平衡“交互性”與“效果”。

在實景復刻項樣板間目中，我們採用全景圖+3D模型的方式來保證用戶瀏覽效果體驗的同時保留空間感。

在DIY樣板間中，我們放棄部分視角的自由度，使用2D渲染效果取代3D渲染效果，結合3D場景的光影條件對2D素材進行重打光、施加陰影，同時使用圖像算法將2D素材與場景融合，在保證場景內容可交互的同時，也能讓效果逼真可信。

結尾

淘系技術部-躺平技術團隊深耕“3D技術在商業中的落地”這一課題多年，在電商中對AR、VR、3D都進行過深度探索，在CV、CG、3D方向都有長期積累 。而在諸多的3D技術選型中，我們首先考量的問題一直是兩個：
1、“該技術能否給客戶（不管是B還是C）帶來真實價值？”，3D技術給人第一印象是酷炫，在酷炫背後給用戶帶來了哪方面的提升才是核心，我們希望3D技術“酷炫”且“有用”。

2、“該技術是否可被規模化？”，因為只有可被規模化應用的技術，才具帶來長久的商業價值，對於目前仍不具備規模化能力的前沿技術，我們保持關注。

這次618天貓大規模的應用3D技術，正是印證了這兩點。我們會持續整合阿里的圖形、圖像、3d技術能力賦能商家，提高商家場景化內容生產效率，降低商家內容製作成本，助力家居行業數字化的革新。

One More Thing

歡迎志同道合的同學（領域架構方向的java服務端工程師、3D方向的前端開發、3D方向的測試開發工程師、3D方向的機器學習算法工程師）
遞簡歷至郵箱：[email protected]