——習(xí)近平總書記在致中國(guó)科學(xué)院建院70周年賀信中作出的“兩加快一努力”重要指示要求
——中國(guó)科學(xué)院辦院方針
語音播報(bào)
記者日前從中國(guó)科學(xué)院空天信息創(chuàng)新研究院(以下簡(jiǎn)稱“空天院”)獲悉,空天院付琨研究員團(tuán)隊(duì)聯(lián)合鵬城實(shí)驗(yàn)室正式發(fā)布自主研制的百億級(jí)遙感解譯基礎(chǔ)模型——“空天·靈眸”3.0版,這是迄今為止全球首個(gè)百億參數(shù)級(jí)空天一體遙感解譯基礎(chǔ)模型。
“空天·靈眸”是我國(guó)首個(gè)面向多模態(tài)遙感數(shù)據(jù)生成式基礎(chǔ)模型,也是首個(gè)專為遙感領(lǐng)域打造的行業(yè)基礎(chǔ)模型。自2022年首次推出后,空天院研究團(tuán)隊(duì)在“基礎(chǔ)模型+下游任務(wù)”計(jì)算范式積累上持續(xù)探索。今年3月起,研究團(tuán)隊(duì)與鵬城實(shí)驗(yàn)室深度合作,基于中國(guó)算力網(wǎng)“鵬城云腦Ⅱ”樞紐節(jié)點(diǎn),采用512張昇騰910顯卡,歷時(shí)數(shù)月攻關(guān)完成了在4億張國(guó)產(chǎn)化多模態(tài)空天遙感數(shù)據(jù)樣本上的預(yù)訓(xùn)練,基礎(chǔ)模型參數(shù)規(guī)模首次超過百億。
中國(guó)科學(xué)院空天信息創(chuàng)新研究院研究員孫顯說:“我們?nèi)绻鸦A(chǔ)模型看作一個(gè)機(jī)器人,那么,‘參數(shù)’就相當(dāng)于它的‘記憶細(xì)胞’和‘知識(shí)細(xì)胞’。如果參數(shù)規(guī)模小,則它能記住和處理的信息就相對(duì)有限,只能做一些比較簡(jiǎn)單的任務(wù)。參數(shù)規(guī)模越大,這兩種細(xì)胞就越多,它就能捕捉、記憶和處理更復(fù)雜的信息,從而更加準(zhǔn)確、精細(xì)地完成更困難、更復(fù)雜的任務(wù)?!?/p>
“空天·靈眸”3.0版內(nèi)核工作架構(gòu)是聯(lián)合團(tuán)隊(duì)基于熱傳導(dǎo),自主研發(fā)的一套小而精的原創(chuàng)性架構(gòu)——受傳熱學(xué)物理思想啟發(fā),聯(lián)合團(tuán)隊(duì)將場(chǎng)景目標(biāo)間視覺語義傳播建模為熱能擴(kuò)散過程,從而使該架構(gòu)有效突破了遙感模型推理的性能和速度瓶頸,計(jì)算速度較傳統(tǒng)結(jié)構(gòu)模型提升2.4倍以上。
孫顯介紹,這一架構(gòu)實(shí)現(xiàn)了模型數(shù)據(jù)學(xué)習(xí)、推理等速度的大幅提升。例如,原來訓(xùn)練1000萬張數(shù)據(jù)樣本,需要大約300多塊顯卡,現(xiàn)在只需要1/3的數(shù)量,處理速度還提升了約2.4倍。
“空天·靈眸”3.0版目前已表現(xiàn)出極為優(yōu)秀的泛化解譯性能,在可見光、合成孔徑雷達(dá)、熱紅外、多光譜等多傳感器衛(wèi)星數(shù)據(jù)基礎(chǔ)上,拓展至航空遙感飛機(jī)、無人機(jī)等不同航空平臺(tái)觀測(cè)數(shù)據(jù)的自動(dòng)化、高精度解譯處理。孫顯說:“尤其是航空大傾角成像過程中,極易出現(xiàn)畸變、遮擋、缺失等干擾,模型對(duì)此依然可以保持高精度的識(shí)別能力?!?/p>
目前,“空天·靈眸”3.0版在覆蓋場(chǎng)景分類、目標(biāo)檢測(cè)、語義分割、變化檢測(cè)等6大類任務(wù)的23個(gè)國(guó)際基準(zhǔn)數(shù)據(jù)集上測(cè)試,相較于當(dāng)前的主流模型,精度平均提升4%至10%,指標(biāo)均達(dá)到領(lǐng)先水平,并已在應(yīng)急、國(guó)土、海洋、住建等多個(gè)行業(yè)部署試運(yùn)行,特別是在最具挑戰(zhàn)性的復(fù)雜要素精細(xì)分類、運(yùn)動(dòng)小目標(biāo)連續(xù)跟蹤等任務(wù)上性能卓越,為天臨空地一體化應(yīng)用提供了一套行之有效的解決方案。未來,研究團(tuán)隊(duì)將持續(xù)推動(dòng)“空天·靈眸”3.0版在國(guó)民經(jīng)濟(jì)各個(gè)行業(yè)的落地應(yīng)用。
(原載于《光明日?qǐng)?bào)》 2024-10-06?03版)
© 1996 - 中國(guó)科學(xué)院 版權(quán)所有 京ICP備05002857號(hào)-1 京公網(wǎng)安備110402500047號(hào) 網(wǎng)站標(biāo)識(shí)碼bm48000002
地址:北京市西城區(qū)三里河路52號(hào) 郵編:100864
電話: 86 10 68597114(總機(jī)) 86 10 68597289(總值班室)
編輯部郵箱:casweb@cashq.ac.cn
© 1996 - 中國(guó)科學(xué)院 版權(quán)所有 京ICP備05002857號(hào)-1 京公網(wǎng)安備110402500047號(hào) 網(wǎng)站標(biāo)識(shí)碼bm48000002
地址:北京市西城區(qū)三里河路52號(hào) 郵編:100864
電話: 86 10 68597114(總機(jī)) 86 10 68597289(總值班室)
編輯部郵箱:casweb@cashq.ac.cn
© 1996 - 中國(guó)科學(xué)院 版權(quán)所有
京ICP備05002857號(hào)-1
京公網(wǎng)安備110402500047號(hào)
網(wǎng)站標(biāo)識(shí)碼bm48000002
地址:北京市西城區(qū)三里河路52號(hào) 郵編:100864
電話:86 10 68597114(總機(jī))
86 10 68597289(總值班室)
編輯部郵箱:casweb@cashq.ac.cn