龔健雅院士 | 智能遙感深度學習框架與模型設計

近年來，隨著遙感技術的快速發(fā)展,遙感對地觀測數(shù)據(jù)獲取量與日俱增。在對海量遙感數(shù)據(jù)的特征提取與表征上,基于深度學習的智能遙感影像解譯技術展現(xiàn)出了顯著優(yōu)勢。然而，遙感影像智能處理框架和信息服務能力還相對滯后，開源的深度學習框架與模型尚不可滿足遙感智能處理的需求。在分析現(xiàn)有深度學習框架和模型的基礎上，針對遙感影像幅面大、尺度變化大、數(shù)據(jù)通道多等問題，本文設計了嵌入遙感特性的專用深度學習框架，并重點討論了其構建方法，以及地物分類任務的初步試驗結果等。本文提出的智能遙感解譯框架架構將為構建具備多維時空譜遙感特性的深度學習框架與模型提供有力支撐。 遙感對地觀測技術的發(fā)展與地理國情普查等項目的實施，形成了時效性強、覆蓋范圍廣、信息量豐富的海量數(shù)據(jù)[1-2]。隨著大數(shù)據(jù)、人工智能等技術的發(fā)展，基于深度學習的遙感影像解譯與監(jiān)測技術表現(xiàn)出了一定的優(yōu)勢。但在實際應用中，遙感影像智能處理框架和信息服務能力相對滯后[3-5]，仍未形成與人臉識別、車牌識別等類似的可廣泛實用化的智能系統(tǒng)。截至目前，開源的深度學習框架與模型尚不可滿足遙感影像智能處理的迫切需求。 ? 遙感影像的智能解譯涉及場景識別、目標檢測、地物分類、變化檢測、多視角三維重建等典型任務。在深度學習框架和模型方面，大多由通用圖像識別的模型改造而來，一般只考慮可見光波段的圖像特征，未顧及更廣泛的遙感物理特性和地學常識等重要因素。在可擴展性方面，已有的深度學習框架大多只支持輸入小尺寸影像，難以支持大幅面遙感影像整體訓練[6]。例如訓練語義分割網(wǎng)絡，如果直接載入30 000×30 000像素的大幅影像，則會出現(xiàn)內(nèi)存溢出問題造成訓練失敗。為保證正常訓練，通常需將大幅遙感影像裁剪為512×512像素的固定尺寸作為語義分割網(wǎng)絡的輸入。然而，在這種處理方式下，現(xiàn)有深度學習框架難以挖掘到影像大范圍空間上下文信息，使其擴展性受限；在尺度通道構建方面，普通影像包含場景范圍小，尺度有限，而遙感影像受傳感器、觀測平臺影響，分辨率各不相同、地物尺度變化極大，例如水體、植被等[7]?，F(xiàn)有深度學習框架缺乏應對如此大尺度變化的優(yōu)化方法；在數(shù)據(jù)通道挑選方面，普通影像的三通道相關性小，無須復雜的通道選取。遙感影像，尤其是高光譜影像，包含數(shù)百個通道，亟須深度學習框架具備優(yōu)選能力[8-9]；在常識融合與建模方面，深度學習過程存在“災難性遺忘”[10-11]，難以同時保有新舊數(shù)據(jù)處理能力。遙感影像有“同譜異物、同物異譜”現(xiàn)象，僅靠學習的圖像特征，難達到理想精度，不可運用先驗常識集成地學抽象規(guī)則，做出可解釋、高可靠的決策。因此，亟須設計嵌入遙感地學先驗常識的高效、可靠的智能遙感深度學習框架與模型。 ? 人工智能時代，智能遙感深度學習框架與模型是連通遙感硬件、軟件、應用場景的樞紐與關鍵。由于遙感對地觀測與智能處理的戰(zhàn)略價值，美國在2020年將基于人工智能的遙感技術列為敏感技術并限制出口，對我國形成新一輪封鎖態(tài)勢。鑒于目前尚無顧及遙感大幅面、多通道、常識融合特性的深度學習框架，研究面向遙感應用、具備自主常識產(chǎn)權的專用深度學習框架與模型，占領遙感人工智能生態(tài)鏈的制高點已顯得尤為緊迫。本文針對遙感影像特色以及目標識別與動態(tài)監(jiān)測等應用需求，提出了兼顧遙感影像特性的智能遙感深度學習框架與模型的研究思路(圖 1)，并基于該研究路線設計了具備多維時空譜遙感特性的遙感專用深度學習框架與模型。 遙感專用深度學習框架具備不限制遙感影像大小特色，具有多框架混合編程、可拖拽的可視化操作及數(shù)據(jù)與框架協(xié)同等功能，使其可以與樣本庫緊密結合，自動適應多類型、多尺度、多級別的大規(guī)模遙感影像樣本的訓練與測試。同時，該框架可以構建顧及遙感特性的優(yōu)化分析方法，為模型結構優(yōu)化提供了科學依據(jù)。本文方法將形成尺度通道可靈活創(chuàng)建、數(shù)據(jù)通道可自適應優(yōu)選、多層級聯(lián)合優(yōu)化的遙感專用深度學習框架與模型，能為遙感影像智能處理新理論、新技術和新成果的驗證奠定基礎。 ? 遙感智能解譯框架與模型現(xiàn)狀 ? 自2012年ImageNet挑戰(zhàn)賽以來，面向通用圖像處理的深度學習框架和模型迅猛發(fā)展。而現(xiàn)有的遙感領域影像處理模型，多由普通影像預訓練模型遷移獲得，并不具備遙感影像解譯所需特性。 ? 目前開源深度學習框架種類繁多(表 1)。國內(nèi)中國科學院計算所推出了人臉識別深度學習框架Dragon[12]，清華大學發(fā)布了計圖(Jittor)，百度、華為、曠世、一流科技等公司相繼開源了PaddlePaddle、MindSpore、MegEngine及OneFlow等框架。在國外，早期蒙特利爾理工學院開源了Theano[13]、伯克利大學研發(fā)了Caffe[14]，日本首選網(wǎng)絡研發(fā)了Chainer框架, Google、Facebook、Amazon等先后開源了Tensorflow[15]、PyTorch[16]、MXNet[17]等框架。雖然通用深度學習框架數(shù)目眾多，但構建框架的核心技術呈收斂態(tài)勢，包括：控制流與數(shù)據(jù)流及操作符與張量；計算圖優(yōu)化與自動梯度計算；執(zhí)行引擎、編程接口、部署運維及分布式訓練等。