三維城市建模_多點云數據融合方法綜述

多細節層次的三維城市模型是數字城市和智慧社會的關鍵空間數據基礎設施，從基于稀疏點線特征的交互式半自動化建模到基于密集點云的自動化智能化建模已經成為國際學術界和工業界的熱點前沿。由于立體城市空間結構的復雜性，多類型、多站點和多時相的點云數據融合處理是三維城市建模的基本途徑，其基本思想是將具有不同視角、密度、精度、尺度、細節、時間歷元等特征的多點云數據進行一致性融合表達與集成處理，建立可直接面向計算分析的智能化表達的多點云模型。歸納總結了多點云數據的主要特點，針對時空基準與精度、尺度、語義3個層面的一致性處理，分析了多點云數據融合的主要發展趨勢，并凝練了面向三維城市建模的多點云數據融合關鍵問題。

多細節層次的三維城市模型是數字城市和智慧社會的關鍵空間數據基礎設施[1]?，F有的精細化三維城市建模 技術主要有基于多種數據源(計算機輔助設計(computer aided design，CAD)、建筑物信息建模(building information modeling，BIM)、地圖等)的人工交互建模和基于影像或激光掃描密集點云的半自動化建模兩大類。人工交互建模利用稀疏點線特征幾何約束，需要大量人工交互式操作, 導致作業周期長、效率低，且模型質量難以保證, 特別是紋理偏差大?；诿芗c云的半自動化建模已成為大范圍三維城市建模的主要方式。由于立體城市空間結構復雜，高大建筑相互遮擋，且建筑物屋頂和立面形狀結構多樣，道路、植被、人工設施等地上下立體空間場景對象種類繁多，形態各異，單一類型與單一站點的點云數據普遍存在數據漏洞、描述尺度單一、結構細節丟失等局限性[2]，難以表達目標完整豐富的細節特征[3]。隨著“消費級”激光掃描設備、影像密集匹配技術以及深度相機等新型數據獲取技術日新月異，點云數據獲取手段更為豐富，且難度與成本降低，類型、視角、屬性和內涵信息更為豐富的點云數據日益可得[4]。因此，多點云數據融合處理成為三維城市建模的主要途徑，并成為國際學術界和工業界的熱點前沿。

多點云數據指多類型、多站點和多時相的點云數據。激光掃描、影像匹配、深度圖像測量、干涉雷達測量和野外實地測量等方法提供了具有不同數據屬性和信息內涵的多類型點云[5]。這些不同類型的點云還可以從空中、地面、室內等不同站點獲取，具有多樣化的視角和尺度特征[6]。此外，不同時間歷元采集的多時相點云融合可反映對象的變化屬性和趨勢。多點云融合的前提是明確不同點云的優勢信息和互補需求。如影像匹配點云密度高且富含邊緣特征信息，但具有大量的拓撲噪聲，且只能獲取表面覆蓋數據，連片林地的地形常存在漏洞;空、地不同站點的激光掃描點云在效率、精度、結構細節信息的采集方面也各有優缺點(如表 1所示)。根據多點云數據具有的不同視角、密度、精度、尺度、細節、語義等特征進行一致性處理是一項復雜的系統性工作，是后續多細節層次精細三維建模的關鍵基礎。通過消減不同點云間的空間基準、尺度和語義表達等不一致性，如空間位置、結構語義、拓撲關系的沖突，以達到數據準確、冗余最少[7-8]，實現多點云數據的優勢信息融合表達。

表 1 多點云特征

多點云數據的融合處理方法可歸納為時空基準及精度、尺度、語義3個層面的一致性處理。時空基準與精度一致性處理旨在建立整個場景統一的點云模型，尺度一致性處理則為了削減不同密度和精度的點云對同一目標表達的尺度差異，語義一致性處理旨在綜合利用不同點云對同一目標不同細節特征的表達。通過這3個層面的一致性處理, 即可得到最初級的多點云融合模型，可滿足進一步精細化三維城市建模與智能化分析等深度應用需求[9]。

本文從時空基準與精度、尺度、語義3個方面歸納了多點云數據的特點和融合處理的主要發展趨勢，凝練了面臨的主要技術難題，如圖 1所示。

圖 1 多點云數據融合技術框架

1 多點云時空基準與精度一致性處理方法

多點云的融合反映了由單源到多源、由少到多、由簡單到復雜的趨勢，這種融合的第一步是理解和描述不同數據源間的復雜關系和相互轉換規律[10]，實現時空基準與精度的一致性，建立整個場景統一的點云模型，彌補單一點云數據空洞，并增強尺度和語義信息，實現整個場景對象的無縫表達。

多點云從采集單元轉換到絕對地理坐標系采用了不同的方法和輔助數據。機載和車載移動激光掃描系統都配備了GPS/IMU(global positioning system/inertial measurement unit)組合慣性導航模塊，根據耦合計算得到的軌跡數據進行絕對地理坐標系的糾正，理想情況下，獲取的點云精度在5~15 cm左右[11]。地面激光掃描常利用掃描場景內已知坐標的靶標球進行多站點拼接和絕對地理坐標糾正[12-13，得到的整個場景數據精度可達3 cm以內。影像匹配點云利用像控點進行立體恢復，并實現絕對地理坐標的糾正，但由于遮擋、視差斷裂、紋理缺失及光照條件不一致等, 制約了影像密集匹配中關鍵特征點的可靠檢測[14-15]，常存在大量的幾何和拓撲噪聲[16]。由于像控點、靶標球、GPS/IMU慣導數據等輔助數據的采集質量不一，對多點云融合精度產生直接影響[17]，因此多點云數據需要進行點云精確配準。

點云配準是計算不同點云集合間空間幾何的關系精準映射，求取坐標轉換參數，將待轉換數據集進行剛體變換的過程?，F階段點云配準最廣泛的方案是基于局部特征匹配初值的迭代最近點(iterative closest point，ICP)算法[18-19]。ICP算法是一種全局配準的迭代算法，可以獲得很高的配準精度，但需要初始粗配準以避免陷入局部最優解。利用點-線等局部特征識別和匹配可得到七參數或四元數構建的點云旋轉矩陣實現多點云融合[20]，且可以為ICP算法提供初值以獲取更高的配準精度，如圖 2所示。

圖 2 基于特征的多點云數據配準流程

基于局部特征的點云配準可按照點、線、面3種特征基元進行分類[21]，需要特征提取、同名特征識別、轉換參數的求取和應用3個步驟。在面向城市三維建模的點云配準任務，普遍的方法是運用多種三維點云描述符如快速點特征直方圖(fast point feature histograms，FPFH)[22]等提取特征，或識別建筑物邊緣的幾何特征點和特征線[23]，這是由于建筑邊緣的幾何特征通常滿足穩定性和特異性[24]。局部特征的提取及其相關的點云索引方法、法向量計算等是研究人員的熱點研究內容[25]，利用點到線、點到面的關系[26]，提取特征曲線[27]、建筑面[28]作為特征, 也為基于特征的配準方法提供了更好的適用性和靈活性。

但是，識別和匹配幾何特征仍然面臨3個瓶頸:①在城市周邊建筑稀疏或非人工建成區的幾何自然特征提取較難[29]，可采用地面作為特征基元進行配準[30-31];②基于特征向量提取的幾何特征冗余性強，且由于精度和尺度差異影響，普遍導致一對多、多對多、空匹配的相似性度量結果，需要利用概率松弛約束匹配特征線等方法解決[18,32];③多時相點云的變化信息會干擾相同幾何特征的識別和提取。

因此，利用場景語義信息提取準確的對應語義特征成為了新的趨勢, 比如試圖利用建筑物的頂面邊界線[33-34]、構筑物中心軸線[35]、建筑物的垂直、相交[36]、腳點[37]等實現精確的點云配準。

當然，除了ICP算法外, 還有其他優秀方法可用于多點云配準。

基于點云自身關系的4PCS(4-points congruent sets)[28]及其改進super4PCS[38]算法，通過智能索引進行全局配準，及基于遺傳算法(genetic algorithm，GA)的全局搜索策略多點云配準方法，不需要初始粗配準輔助即可在定義的搜索空間中找到最優解[39]，且可用于自由曲面的匹配[40]，在3D醫療點云的配準[41]、地面多站點點云配準[17]方面得到了成功應用。

2 多點云尺度一致性處理方法

不同點云密度和細節分辨率的多點云數據對同一目標表達具有顯著的尺度差異?？罩姓军c多面向條帶狀和面狀大場景范圍的數據采集任務，是有效的大尺度場景DSM(digital surface model)、建筑群落屋頂結構[34,42]、植被冠層數據的采集手段[43]。其中，機載激光點云均勻且較為稀疏，較長的測程(通常為500~3 000 m)會產生激光束散射現象，對對象細節信息采集有一定程度的損失[35]，通常只能區分對象整體(如一棟建筑);影像逐像素密集匹配點云的密度取決于影像分辨率，通常每m2范圍大于200點[44]的高密度有利于對象單個平面的分割和識別，但其中點云的噪聲和對象的細節(如建筑外立面復雜的細節結構)甄別困難，影像匹配點云密集的優勢需要提高去噪的魯棒性才能更好的發揮[45-46]。地面站點通常測程較近(不超過500 m)，具有更高的點云密度和更豐富的細節信息，可以對建筑立面、道路設施、附屬部件進行小尺度的精細數據采集[47]，分割識別精細的細節結構[48]，是單體化建筑模型精細結構語義的主要數據源。

經過時空基準與精度的一致性處理，場景中的對象如建筑物會有多種尺度的點云數據重疊。比如空基俯視點云與地基側視點云，需要多點云數據尺度一致性的進一步處理，進行多尺度點云不確定性評價[49]，解決重疊點云的冗余和矛盾，以實現點云數據的高效利用[50]。

對于多點云重疊部分，依據細節豐富、精度最高的數據，對存在重復的其余數據進行清洗[8]或精度糾正。例如地基點點云替換或加密建筑物側面的空基點點云數據[51]，依據激光點云數據對影像匹配點云進行去噪[52]，利用加權局部最優投影(weighted locally optimal projection，WLOP)算法等點云重采樣方法以及顧及邊緣信息的升采樣點云增強[53]在面向多尺度特征時有良好的適用性。此外，機載激光提取屋頂輪廓對車載點云的建筑立面精細分割[54]，結合建筑物相似性判斷進行建筑立面空洞修復[55]等類似的方法，是多點云數據進行點云增強的新嘗試。

基于格網尺寸大小變化等方法建立尺度變換模型對單一尺度點云特征提取、濾波數字高程模型(digital elevation model，DEM)生成、曲面重建等研究已經廣泛的展開[56-59]。面對多點云本身具有的不同尺度特性，相應數據處理需要新的方法。

此外，多點云的不同尺度特征可對應三維城市建模多細節層次需求。按照開放地理空間信息聯盟(Open Geospatial Consortium，OGC)標準CityGML定義的建筑物多細節層次(levels of detail, LOD)標準[60]，三維城市模型從最初級細節層次LOD0的DEM、DSM等產品，到最高級層次LOD4的室內外一體化精細化模型，需要依據可視化和分析需要進行多細節層次模型構建。尺度一致性融合的多點云數據，針對多細節層次三維建模需求，形成按需提取的多尺度層級點云管理和組織方法[61-62]，有效支撐精細化三維模型的自動建模[63]。

3 多點云語義一致性處理方法

散亂的點云本身不具有語義信息，三維重建需根據點云數據含有的空間坐標(X，Y，Z)和其他屬性(如強度、色彩)進行語義理解，識別結構化語義(幾何、拓撲結構，如墻角、窗邊、邊面等)和分類信息(植被、建筑、路燈等)。語義賦予了點云類的屬性，是進一步進行分析應用的基礎?？梢?，經過時空基準和尺度融合的多點云，需要多種方法提取與理解不同點云對同一目標不同細節特征的語義內涵，并進行統一的語義標識[64]。

多點云數據的采集原理、信息內涵以及語義理解方式的不同，都導致其具有顯著的語義差異。

激光掃描點云來自主動式遙感，除空間三維坐標外，還包含具有層次感的強度信息。以被動式遙感方法獲取的影像匹配點云具有對應影像像元的顏色信息。強度和色彩可從不同方面給點云的分類識別和語義理解提供輔助。

激光掃描點云采樣均勻，在結構化特征反應上并無指向性。影像匹配點云在此處具有優勢。由于匹配策略往往基于特征，因此在對象的線特征、邊緣處點密度較高[65]。

激光雷達優勢在于其多目標能力，可穿透植被冠層獲取地面數據。影像匹配點云則只能獲取對象表面覆蓋，容易受到草、低矮灌木、屋頂附屬物的影響。

激光掃描點云的強度信息和多目標能力、影像匹配點云的色彩信息和特征處點密度更高的特性，賦予了多點云屬性顯著差異特點，從而對多點云數據的類信息提取需要不同的處理方案?？盏囟嗥脚_的多尺度特性則會影響點云類信息識別的精細程度。融合的多點云數據可為改進三維場景數據的完整性、密度、地理參考質量、精度、可靠性及點云數據處理奠定良好基礎[52]。

對于同一對象的不同點云來源，包含有不同的語義信息，需要不同方法提取和理解?，F有的點云分類主要可分為基于點和基于對象兩大類[66-67]?；邳c的分類通常以球體或圓柱體定義點的鄰域，提取點特征后使用監督或非監督分類器，因此這類方法集中于特征和分類器的選擇?；趯ο蟮姆诸惻c前者相比，增加了一個點集群形成點簇的過程，將齊次點進行集成以便于每個點簇對應至對象的某個組件，如門面或屋頂，再利用概率分布函數[68]、支持向量機[69]、馬爾科夫隨機場模型[66]等算法進行分類。近年來，利用機器學習進行分類和語義標注的方法也開始涌現，處理對象分類、部分分割到場景語義解析的PointNET[70]，利用上下文信息和概率推理，對點云進行整體預測并分類的ScanComplete[71]等，這得益于計算機視覺領域的研究快速發展[72]。

將分類結果進行互操作，相互對比、修正與賦值等一致性同化，建立統一的語義標識，實現多點云語義信息的綜合理解[73]。此時，同一對象會存在不同精細程度的語義標識信息，保留最精細語義而剔除其他屬性會造成信息的丟失，因此建立多粒度的語義標識是有效方案，如圖 3所示。

圖 3 多粒度語義統一標識示意圖

統一的語義標識可實現多點云數據理解層面的一致。三個層次的一致性處理數據可支持智能化分析，滿足從淺層的描述到深層的計算、量測和分析，直接滿足智慧城市管理和智能決策的需要，比如基于時空一致的多點云模型不僅可以自動提取單體化對象并進行多細節層次的三維重建，還能檢測變化、診斷異常等。

4 多點云融合存在的關鍵問題及發展趨勢

1) 多點云融合將面對更為復雜多樣的點云數據源。點云數據獲取裝備正從“專業級”向“消費級”快速發展，輕小型無人機平臺和車載平臺激光掃描設備開啟了點云數據采集的眾包模式，更為參差不齊的基準、精度、尺度和語義差別，需要新的點云數據管理、清洗、約束、融合方法。室內環境下深度相機和紅外相機等新型傳感器的應用，加速了室內外、地上下一體化的多點云融合發展，使得LOD4層級的三維城市全息模型快速獲得成為可能。

2) 面向自動化三維城市建模和動態更新的多點云數據按需抽取?，F有的三維城市建模方法大多采用有限的假設和幾何約束，需要人工交互且不適用于現實場景中所有復雜的對象。最近的研究[74]顯示了語義信息對復雜三維城市重建的重要性。一致性處理后的多點云數據是自動化多LOD層級三維城市建模的必要條件[75]，統一的語義信息標識可引導多點云數據的按需抽取，適應和感知用戶及環境變化，給三維城市模型的動態更新提供新的機會。

3) 機器學習技術的應用。使用卷積神經網絡(convolutional neural network，CNN)架構的深度學習是解決圖像分類任務的標準解決辦法，由于點云是不規則和無序的，將深度學習應用于點云的提取、分類識別較為困難，相關的探索，如PointNet[70]、PointCNN[76]等方法已將點云數據作為訓練樣本，模擬生物視覺認知方式進行了點云分類[77]。進一步地，多點云數據的一致性提取問題將在人工智能、機器學習等先進技術的驅動下向自動化、智能化方向快速發展，將更好地服務于復雜地理空間對象的認知、識別、分析和知識化服務。

5 結語

多點云融合已經應用于建筑物、道路、植被、地形等典型對象的三維重建。隨著智慧城市建設的深入發展，紅外、合成孔徑雷達干涉測量(interferometric synthetic aperture radar，InSAR)、深度圖像等新型點云數據的引入, 面對室內外、地上下一體化的全要素多細節層次的三維城市建模需求，自動化、智能化的多點云融合處理仍然是挑戰性的難題。