近日，中國(guó)科學(xué)院空天信息創(chuàng)新研究院在《The Innovation Geoscience》刊登文章“Multimodal Artificial Intelligence Foundation Models: Unleashing the Power of Remote Sensing Big Data in Earth Observation”，該文被編輯部選為2024年第一期唯一Editorial發(fā)表。文章第一作者為遙感科學(xué)國(guó)家重點(diǎn)實(shí)驗(yàn)室研究員洪丹楓、共同一作為博士研究生李晨玉，通訊作者為研究員張兵。文章內(nèi)容是建立了人工智能（AI）與多模態(tài)遙感大數(shù)據(jù)的橋梁，創(chuàng)新了多模態(tài)AI大模型對(duì)地觀測(cè)的新范式，解鎖了遙感大數(shù)據(jù)的對(duì)地觀測(cè)能力。

　　隨著遙感數(shù)據(jù)量和種類均呈爆炸式增長(zhǎng)，傳統(tǒng)的分析方法已無(wú)法滿足精細(xì)地物感知的需求，亟需提升與之相匹配的多模態(tài)遙感大數(shù)據(jù)處理與分析能力。當(dāng)前，以人工智能為核心的大模型技術(shù)迅猛發(fā)展，大模型能夠從遙感大數(shù)據(jù)中充分挖掘和提取信息，實(shí)現(xiàn)信息的“吃干榨凈”，為解決遙感大數(shù)據(jù)在信息提取和分析方面的不足，提供新的可能性。因此，發(fā)展多模態(tài)遙感AI大模型的對(duì)地觀測(cè)新范式已成為業(yè)內(nèi)共識(shí)和研究前沿。

　　研究團(tuán)隊(duì)為解決現(xiàn)有模型信息提取與分析的局限性、提高挖掘多模態(tài)遙感大數(shù)據(jù)的能力、信息深度挖掘不足與應(yīng)用同質(zhì)化的問(wèn)題，以多模態(tài)AI大模型為核心，研發(fā)了高精度、全鏈路的多模態(tài)遙感大數(shù)據(jù)智能解譯系統(tǒng)（如圖所示）。

　　

 

　　多模態(tài)AI大模型賦能的多模態(tài)遙感大數(shù)據(jù)智能解譯系統(tǒng)

　　系統(tǒng)利用不同觀測(cè)平臺(tái)，獲取多模態(tài)遙感大數(shù)據(jù)，開(kāi)發(fā)多模態(tài)AI大模型，充分利用各種模態(tài)數(shù)據(jù)，適配于各種地學(xué)應(yīng)用，進(jìn)一步應(yīng)用到實(shí)際用戶端，用戶的使用結(jié)果可反饋到載荷和平臺(tái)的驗(yàn)證和設(shè)計(jì)，實(shí)現(xiàn)一個(gè)可循環(huán)的全鏈路反饋機(jī)制。

　　系統(tǒng)的建立取決于幾個(gè)關(guān)鍵要素：一是整合大量多模態(tài)遙感大數(shù)據(jù)，二是具有高性能計(jì)算能力，三是集成遙感AI大模型。前兩個(gè)要素目前較易實(shí)現(xiàn)，但缺乏定制的多模態(tài)遙感AI大模型，從而無(wú)法減少遙感大數(shù)據(jù)與高性能計(jì)算能力之間的差距。

　　在歷經(jīng)了統(tǒng)計(jì)模型、物理模型、大數(shù)據(jù)時(shí)代后，我們正在向大模型時(shí)代邁進(jìn)。多模態(tài)AI大模型代表了遙感大數(shù)據(jù)智能分析的未來(lái)，其設(shè)計(jì)與提出解鎖了多模態(tài)遙感大數(shù)據(jù)在地學(xué)應(yīng)用中的巨大潛力和價(jià)值。這些模型能夠有效利用多模態(tài)遙感大數(shù)據(jù)的豐富性、多樣性，為解決對(duì)地觀測(cè)應(yīng)用的復(fù)雜性提供了一個(gè)強(qiáng)大的框架。向多模態(tài)大模型的轉(zhuǎn)變?cè)趦?yōu)化遙感大數(shù)據(jù)用于各種對(duì)地觀測(cè)目標(biāo)方面將取得突破性的進(jìn)展，標(biāo)志著該領(lǐng)域進(jìn)入了一個(gè)變革時(shí)代。

　　論文鏈接：https://www.the-innovation.org/article/doi/10.59717/j.xinn-geo.2024.100055