(來源綜合自VentureBeat等)

　　Facebook首席執行官馬克·扎克伯格宣布推出Facebook Shops。

　　Facebook Shops將為企業建立單一在線商店，以讓客戶直接連接到Facebook和Instagram上。

“我們的長期愿景是建立一個多功能的Al生活方式助手，它可以準確搜索和排名數十億種產品，同時根據個人口味進行個性化。”

　　“同一系統將使在線購物具有社交性，就像現實生活中和朋友一起購物一樣。再進一步，它將推進視覺搜索，以使您的現實環境就可以支持虛擬購物。

　　如果您看到喜歡的東西（衣服，家具，電子產品等等），您可以為它拍張照片，系統會找到確切的商品，以及從那時到那里立即購買的幾個類似商品，并提供購物建議。”

　　這聽起來有點像科幻電影《少數派報告》中的場景：

　　阿湯哥在街上走，視網膜被自動掃描、提取身份信息，得知他喜歡喝吉尼斯黑啤，于是便開始對他投放吉尼斯廣告：“嘿，吉尼斯就在你身后！”

不論在現實中的任何地方，都能看到個性化商品投放

　　想要實現這個魔幻場景，要歸功于Facebook新開發的三個AI系統。

　　第一個是通用計算機視覺系統GrokNet，目標是在圖片或視頻中識別所有的產品，實現“一切皆可購買”。

　　它在七個數據集中進行了訓練，其中包含數百萬個用戶發布、購買和出售的產品圖像，從SUV到細高跟鞋、再到各種形狀的桌子，無所不包。

　　第二個可以通過處理某個產品的2D視頻而創建其3D視圖，并且還能帶來強大的AR試穿。

　　第三個被稱為實例蒙版投影，可以從圖像中自動分割識別服裝產品。

通用產品識別的計算機視覺系統：GrokNet

　　為了實現這一愿景，Facebook正在部署一種新的通用計算機視覺系統，稱為GrokNet。設計這種新產品識別模型的目的是使“幾乎所有照片都可以用于購物”。

　　GrokNet目前為Facebook的點對點購物平臺Marketplace中的買賣雙方提供功能。當賣家將照片上傳到Marketplace時，系統會自動列出相應屬性，例如商品的顏色或材料。

Facebook表示，GrokNet可以檢測出數十億張照片中的精確、相似（通過相關屬性）或一同出現的產品，且在Marketplace上執行搜索和過濾的效率至少是類似算法的兩倍。

　　例如，與Facebook基于文本的歸因系統（只能識別33％）相比，它能夠識別90％的家庭和花園列表。

　　作為有限測試的一部分，除了在Marketplace賣家列出商品之前從圖像生成顏色和材料的標簽外，它還用于在頁面管理員上傳照片時在Facebook Pages上標記產品。

看來，以后在Facebook上被自動標記的，不只是你朋友的臉。

　　Facebook表示，在培訓GrokNet的過程中，它使用了具有挑戰性角度的真實賣方照片以及目錄樣式的價差。

　　為了使所有國家，語言，年齡，大小和文化盡可能地具有包容性，它抽樣了不同體型，膚色，位置，社會經濟階層，年齡和姿勢的示例。

　　Facebook開發了一種使用GrokNet作為反饋循環自動生成其他標識符的技術，而不是使用會花很多時間的產品標識符來手動注釋每個圖像，因為產品標識符已經使用了很長時間。

　　利用對象檢測器，該方法可以識別圖像中可能產品周圍的框，然后將框與已知產品列表進行匹配，以將匹配項保持在相似度閾值內。結果的匹配將被添加到訓練集中。

　　

Facebook的GrokNet架構

　　Facebook還利用了每個培訓數據集都具有固有難度的情況。較簡單的任務不需要那么多圖像或注釋，而較困難的任務則需要更多圖像或注釋。

　　公司工程師通過將大部分培訓分配給具有挑戰性的集，而每批只分配少量圖像給簡單的圖像，從而同時提高了GrokNet在不同任務上的準確性。

　　產品化的GrokNet具有83個損失函數（即，將變量的事件映射到表示與事件相關的某些成本的數字的函數），可以預測給定圖像的一系列屬性，包括其類別，屬性和可能的搜索查詢。

　　它僅使用256位來表示每個產品，就產生了類似于指紋的嵌入，可用于諸如產品識別，視覺搜索，視覺上相似的產品推薦，排名，個性化，價格建議和規范化等任務。

　　Facebook表示，將來，它將把GrokNet用來為Marketplace的店面賦能，以便客戶可以更輕松地找到產品，了解這些產品的穿著方式并獲得相關的配件建議。

　　“這種通用模型使我們能夠利用更多的信息源，從而提高了準確性，并且勝過了單一的垂直關注模型。”

　　基于SLAM技術的3D重建和AR試用/試穿

　　第二個AI模型為Facebook的3D視圖功能提供了支持，該功能現已通過測試，在iOS的Marketplace上提供。

　　基于2月份推出的Facebook3D照片工具，這個模型對手機實時視頻進行后期處理，以創建可旋轉并向上移動至360度的交互式偽3D表示。

　　Facebook使用一種稱為同步本地化和映射（SLAM）的方法進行重建，該方法可以在跟蹤代理人（智能手機）位置的同時創建和更新未知環境或對象的地圖。

　　智能手機的姿態在3D空間中重建，其路徑通過檢測異常間隙的系統進行平滑處理，并將每個姿態映射到校正不連續性的坐標空間中。

　　為了保持一致性，將平滑的相機路徑映射回原始空間，從而重新引入了不連續性并確保了物體的可識別性。

　　Facebook的SLAM技術還結合了對幀的觀察以獲得稀疏的點云，該點云由任何給定捕獲場景中最突出的特征組成。

　　這個云充當了相機姿勢的指導，這些姿勢與最能代表3D對象的視點相對應；圖像以某種方式失真，看起來像是從視點拍攝的。

　　啟發式離群值檢測器會發現可能引入失真的關鍵點，并將其丟棄，而相似性約束使重構的無特征部分變得更加僵硬，而散焦區域看起來更加自然。

　　除了3D重建之外，Facebook表示將很快利用其Spark AR平臺結帳功能，使客戶能夠看到物品在各個地方的外觀。

　　已經有Nyx，Nars和Ray-Ban等品牌在Facebook Ads和Instagram中使用它來增強現實的“試穿”體驗。

該公司計劃支持試穿各種物品，包括家居裝飾。和家具-包括商店在內的各種應用程序和服務，Facebook的功能使企業可以通過網絡直接進行銷售。

　　自動分割識別服裝產品：實例蒙版投影

　　為了使諸如Marketplace之類的服務能夠在圖像中自動隔離服裝產品，Facebook開發了一種細分技術，該技術聲稱與幾種基準相比，它可以實現最先進的性能。

　　這項技術被稱為“實例蒙版投影”（Instance Mask Projection），可以發現腕帶、項鏈、裙子和毛衣等在不均勻的光線下拍攝或部分被遮蓋的物品，甚至可以以不同的姿勢出現在襯衫和夾克等其他物品下。

　　

Instance Mask Projection可以檢測整個服裝產品并大致預測其形狀。該預測用作改進每個像素的估計的指南，允許合并來自檢測的全局信息。預測的實例圖被投影到一個功能圖中，用作語義分割的輸入。

　　據Facebook稱，這種設計更便于進行服裝分析（涉及復雜的分層、大的變形和非凸體）以及街道場景分割（重疊實例和小對象）。

　　下一步：AI時尚助手！

　　Facebook表示，其目標是有一天將這些不同的方法結合到一個系統中，即時提供與個人口味和風格相匹配的產品推薦。

　　它設想了一個助手，該助手可以通過分析一個人的衣櫥中的圖像來學習喜好，例如，讓人可以嘗試收藏并出售其他人可以預覽的服裝。

　　為此，Facebook表示，其研究人員正在制作一個“智能數字壁櫥”的原型，該壁櫥不僅根據計劃的活動或天氣提供服裝建議，而且還根據個人產品和美學提供時尚靈感。

　　Facebook預計最終將需要新的系統來適應不斷變化的趨勢和偏好，理想情況下，該系統將從對潛在所需產品的圖像的反饋中學習。

　　它最近在Fashion ++方面取得了進展，它使用AI來提供個性化的穿搭建議，比如添加皮帶或半折襯衫。

　　但該公司表示，在真正的預測性時尚助手成為可能之前，必須在語言理解和個性化體驗方面取得進步。

　　可能，AI充分滲透進現實，開啟社交無縫購物、智能穿搭助手的那一天，離我們真的不遠了。