近日，中國科學(xué)院空天信息創(chuàng )新研究院在《The Innovation Geoscience》刊登文章“Multimodal Artificial Intelligence Foundation Models: Unleashing the Power of Remote Sensing Big Data in Earth Observation”，該文被編輯部選為2024年第一期唯一Editorial發(fā)表。文章第一作者為遙感科學(xué)國家重點(diǎn)實(shí)驗室研究員洪丹楓、共同一作為博士研究生李晨玉，通訊作者為研究員張兵。文章內容是建立了人工智能（AI）與多模態(tài)遙感大數據的橋梁，創(chuàng )新了多模態(tài)AI大模型對地觀(guān)測的新范式，解鎖了遙感大數據的對地觀(guān)測能力。

　　隨著(zhù)遙感數據量和種類(lèi)均呈爆炸式增長(cháng)，傳統的分析方法已無(wú)法滿(mǎn)足精細地物感知的需求，亟需提升與之相匹配的多模態(tài)遙感大數據處理與分析能力。當前，以人工智能為核心的大模型技術(shù)迅猛發(fā)展，大模型能夠從遙感大數據中充分挖掘和提取信息，實(shí)現信息的“吃干榨凈”，為解決遙感大數據在信息提取和分析方面的不足，提供新的可能性。因此，發(fā)展多模態(tài)遙感AI大模型的對地觀(guān)測新范式已成為業(yè)內共識和研究前沿。

　　研究團隊為解決現有模型信息提取與分析的局限性、提高挖掘多模態(tài)遙感大數據的能力、信息深度挖掘不足與應用同質(zhì)化的問(wèn)題，以多模態(tài)AI大模型為核心，研發(fā)了高精度、全鏈路的多模態(tài)遙感大數據智能解譯系統（如圖所示）。

　　

 

　　多模態(tài)AI大模型賦能的多模態(tài)遙感大數據智能解譯系統

　　系統利用不同觀(guān)測平臺，獲取多模態(tài)遙感大數據，開(kāi)發(fā)多模態(tài)AI大模型，充分利用各種模態(tài)數據，適配于各種地學(xué)應用，進(jìn)一步應用到實(shí)際用戶(hù)端，用戶(hù)的使用結果可反饋到載荷和平臺的驗證和設計，實(shí)現一個(gè)可循環(huán)的全鏈路反饋機制。

　　系統的建立取決于幾個(gè)關(guān)鍵要素：一是整合大量多模態(tài)遙感大數據，二是具有高性能計算能力，三是集成遙感AI大模型。前兩個(gè)要素目前較易實(shí)現，但缺乏定制的多模態(tài)遙感AI大模型，從而無(wú)法減少遙感大數據與高性能計算能力之間的差距。

　　在歷經(jīng)了統計模型、物理模型、大數據時(shí)代后，我們正在向大模型時(shí)代邁進(jìn)。多模態(tài)AI大模型代表了遙感大數據智能分析的未來(lái)，其設計與提出解鎖了多模態(tài)遙感大數據在地學(xué)應用中的巨大潛力和價(jià)值。這些模型能夠有效利用多模態(tài)遙感大數據的豐富性、多樣性，為解決對地觀(guān)測應用的復雜性提供了一個(gè)強大的框架。向多模態(tài)大模型的轉變在優(yōu)化遙感大數據用于各種對地觀(guān)測目標方面將取得突破性的進(jìn)展，標志著(zhù)該領(lǐng)域進(jìn)入了一個(gè)變革時(shí)代。

　　論文鏈接：https://www.the-innovation.org/article/doi/10.59717/j.xinn-geo.2024.100055