——習(xí)近平總書記在致中國科學(xué)院建院70周年賀信中作出的“兩加快一努力”重要指示要求
——中國科學(xué)院辦院方針
語音播報(bào)
對于非合作目標(biāo)智能分類任務(wù),由于無法獲取足夠有效的樣本圖像來訓(xùn)練網(wǎng)絡(luò)模型,使網(wǎng)絡(luò)易陷入過擬合的情況,直接影響智能算法模型性能。因此,圍繞少量圖像樣本開展高價(jià)值樣本數(shù)據(jù)擴(kuò)增是遙感圖像智能處理領(lǐng)域的重點(diǎn)研究內(nèi)容之一?,F(xiàn)有樣本數(shù)據(jù)擴(kuò)增方法包括基于圖像變換的數(shù)據(jù)擴(kuò)增方法、基于生成對抗網(wǎng)絡(luò)的數(shù)據(jù)擴(kuò)增方法與基于圖像仿真的數(shù)據(jù)擴(kuò)增方法?;趫D像變換的數(shù)據(jù)擴(kuò)增方法只是對原始數(shù)據(jù)進(jìn)行基本二維幾何變換或灰度變化,難以實(shí)現(xiàn)立體目標(biāo)探測、復(fù)雜場景的樣本類型擴(kuò)增;基于生成對抗網(wǎng)絡(luò)的數(shù)據(jù)擴(kuò)增方法,訓(xùn)練過程對非合作場景樣本數(shù)據(jù)數(shù)量和樣本類型要求較高,生成圖像存在樣本模糊、扭曲等不足;基于圖像仿真的數(shù)據(jù)擴(kuò)增方法通過對目標(biāo)場景開展建模及物理仿真,能夠制作生成多樣化環(huán)境與目標(biāo)特征的圖像樣本數(shù)據(jù),但現(xiàn)有將仿真樣本與真實(shí)樣本簡單混合的樣本構(gòu)建模式,忽略了仿真樣本與真實(shí)樣本存在的誤差、風(fēng)格差異及兩種數(shù)據(jù)集的特征分布差異,導(dǎo)致訓(xùn)練生成智能算法模型性能提升有限。
中國科學(xué)院國家空間科學(xué)中心復(fù)雜航天系統(tǒng)電子信息技術(shù)院重點(diǎn)實(shí)驗(yàn)室研究員李立鋼團(tuán)隊(duì)碩士研究生肖奇結(jié)合非合作目標(biāo)智能分類的應(yīng)用場景,提出了一種漸進(jìn)式的光學(xué)遙感目標(biāo)高價(jià)值圖像樣本數(shù)據(jù)擴(kuò)增生成方法。該方法將整個數(shù)據(jù)擴(kuò)增流程分為樣本仿真生成階段和風(fēng)格遷移階段:在樣本仿真生成階段,基于物理仿真工具預(yù)先生成多樣化類型的目標(biāo)仿真圖像樣本,樣本類型覆蓋目標(biāo)典型探測角度、探測能見度以及成像分辨率等,這一階段的主要目的在于提高原始目標(biāo)數(shù)據(jù)集的特征豐富度;在風(fēng)格遷移階段,通過構(gòu)建風(fēng)格遷移網(wǎng)絡(luò)Sim2RealNet,Sim2RealNet以Densenet-121為主干網(wǎng)絡(luò),能夠有效地提取仿真樣本和真實(shí)圖像內(nèi)容信息和風(fēng)格信息,從而實(shí)現(xiàn)從仿真樣本到真實(shí)樣本的風(fēng)格遷移處理,該階段的主要目的在于減少仿真樣本與真實(shí)樣本之間的域差異,整個數(shù)據(jù)擴(kuò)增的處理流程如圖1所示。為了驗(yàn)證該研究提出的方法有效性,科研人員針對六類目標(biāo)開展了兩組光學(xué)遙感目標(biāo)分類實(shí)驗(yàn),第一組分別利用傳統(tǒng)圖像變換數(shù)據(jù)擴(kuò)增、圖像仿真數(shù)據(jù)擴(kuò)增以及本文提出的漸進(jìn)式數(shù)據(jù)擴(kuò)增方法開展樣本擴(kuò)增及分類模型訓(xùn)練,具體分類結(jié)果如圖2所示;第二組對傳統(tǒng)圖像變換數(shù)據(jù)擴(kuò)增、圖像仿真數(shù)據(jù)擴(kuò)增以及本文提出的漸進(jìn)式數(shù)據(jù)擴(kuò)增方法進(jìn)行組合樣本擴(kuò)增及分類模型訓(xùn)練,具體分類結(jié)果如圖3所示。第一組實(shí)驗(yàn)結(jié)果表明,與現(xiàn)有數(shù)據(jù)擴(kuò)增方法相比,該研究提出的方法能夠使得光學(xué)遙感目標(biāo)分類準(zhǔn)確度平均提高5%;第二組實(shí)驗(yàn)結(jié)果表明,通過將本文提出的數(shù)據(jù)擴(kuò)增方法與其他方法進(jìn)行組合數(shù)據(jù)擴(kuò)增,與單一使用現(xiàn)有方法擴(kuò)增,光學(xué)遙感目標(biāo)分類準(zhǔn)確度仍可提高6%,表明本研究提出的漸進(jìn)式數(shù)據(jù)擴(kuò)增方法在使用上具有較強(qiáng)的魯棒性。
該理論研究成果為空間探測等非合作場景稀少樣本目標(biāo)的數(shù)據(jù)擴(kuò)增提供了新穎有效的方法。相關(guān)研究成果發(fā)表在IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing上。
圖1.本文提出的漸進(jìn)式遙感目標(biāo)數(shù)據(jù)擴(kuò)增方法
圖2.對比試驗(yàn)一:傳統(tǒng)圖像變換數(shù)據(jù)擴(kuò)增、圖像仿真數(shù)據(jù)擴(kuò)增與本文方法對比實(shí)驗(yàn)結(jié)果
圖3.對比試驗(yàn)二:傳統(tǒng)圖像變換數(shù)據(jù)擴(kuò)增、圖像仿真數(shù)據(jù)擴(kuò)增分別與本文方法聯(lián)合使用實(shí)驗(yàn)結(jié)果
© 1996 - 中國科學(xué)院 版權(quán)所有 京ICP備05002857號-1 京公網(wǎng)安備110402500047號 網(wǎng)站標(biāo)識碼bm48000002
地址:北京市西城區(qū)三里河路52號 郵編:100864
電話: 86 10 68597114(總機(jī)) 86 10 68597289(總值班室)
編輯部郵箱:casweb@cashq.ac.cn
© 1996 - 中國科學(xué)院 版權(quán)所有 京ICP備05002857號-1 京公網(wǎng)安備110402500047號 網(wǎng)站標(biāo)識碼bm48000002
地址:北京市西城區(qū)三里河路52號 郵編:100864
電話: 86 10 68597114(總機(jī)) 86 10 68597289(總值班室)
編輯部郵箱:casweb@cashq.ac.cn
© 1996 - 中國科學(xué)院 版權(quán)所有
京ICP備05002857號-1
京公網(wǎng)安備110402500047號
網(wǎng)站標(biāo)識碼bm48000002
地址:北京市西城區(qū)三里河路52號 郵編:100864
電話:86 10 68597114(總機(jī))
86 10 68597289(總值班室)
編輯部郵箱:casweb@cashq.ac.cn