基于深度学习的遥感影像地物变化检测研究开题报告

1. 研究目的与意义

1.1 研究背景及意义遥感技术是指依据电磁波理论，利用各种传感器对远距离目标所辐射和反射的电磁波信息，进行收集、处理，并最后成像，从而对地面各种景物进行探测和识别的一种综合技术[1][2]。利用遥感技术可以获取实时的、大范围的数据资料，为资源普查、自然灾害和环境监测、工程建设规划以及海洋渔业等应用提供重要数据支撑[3]。近年来，航天技术和遥感探测技术都取得了极大突破，越来越多的航天器和卫星群升空，它们搭载的传感器平台的探测能力以及获取的遥感影像数据质量也不断提升。在光谱分辨率方面，遥感平台可以探测到纳米级别的数百个波段。在空间分辨率方面，遥感平台的空间分辨率越来越精细，现在可达到“亚米级”。在时间分辨率方面，多角度、全天候绕地的探测卫星和航天器的结合使获取的遥感影像的时间周期越来越短。由此遥感技术在农业、城市规划管理、海岸带调查，灾情评估以及军事方面取得飞速发展[4][5][6]。随后无人机遥感平台的出现，使得遥感数据的质量又得到了显著提升，这进一步夯实了遥感技术在上述各邻域中的数据基础地位[7]。在遥感数据应用中，地物变化检测一直是研究热点。所谓变化检测是指在不同时间对同一现象或对象进行对比分析，并使用计算机图像处理手段，获取地物目标变化信息的过程[8][9]。在农业物候、土地利用、城市规划、植被监测等领域，遥感地物变化检测有着广泛的应用，比如有研究利用地震前后的同一季节遥感影像数据进行地表地物变化的研究[10]，还有研究利用多期遥感及反演数据对植被变化进行了检测分析[11][12]。如今，遥感影像数据的获取手段越来越多，其空间分辨率、时间分辨率以及光谱分辨率也得到显著提高[13]。高分辨率遥感影像数据可以为地物目标的变化检测提供更加丰富的细节信息，但现如今地物变化检测方法大多数是通过人工标记或者传统的图像处理，这导致人力和物力成本较高，且处理效率低下，以致无法满足实际的应用需求。同时遥感图像质量受天气、树木和建筑遮挡、传感器的摄影角度以及阴影等因素的影响，会对地物目标造成干扰，从而增加地物变化检测的难度。由此可见，开展实用高效的遥感影像地物变化检测研究具有非常重要的科学意义和现实意义。1.2 研究现状在遥感影像地物变化检测中，基于像素、基于对象和基于场景等单元进行检测是常用的三种类型。基于像素单元检测是对遥感影像的像元进行变化检测分析，在大范围的光谱差异弱、色调变化不明显的水体、森林、植被覆盖等类型中应用较多[14]。常用的检测方法主要为比较法和差值法。比如，庞博采用基于稳定像元的决策树分类后比较法对林地变化进行检测[15]。何曙光为了解决光学遥感在城市变化方面不能提供稳定数据源的问题，采用差值法与InSAR相干系数检测城市变化信息[16]。基于对象单元检测是通过定义对象，充分利用图像的光谱、形状和纹理信息，利用特定算法对遥感影像进行变换，比如通过分割获取像斑，然后将变换结果进行变化检测[17][18]。常用的变换方法包括变化矢量分析法[19]、K均值聚类[20]、随机森林[21]、直方图距离法[22]以及各种遥感影像分类法。检测方法主要涉及分类后比较[15]和直接比较。基于对象检测由于考虑了像元及其利于的光谱及空间特性，因此其变化检测结果要优于基于像素检测方法[17][23]。然而该方法的检测精度取决于前期影像变换结果精度。如果前期遥感影像变换结果精度不高，那么后面的变化检测精度相对较低。因此该方法通常适用于易分类的中低分辨率遥感影像。基于场景单元检测是以区域场景作为变化检测的分析单元，通过训练学习获取该区域真实地物的语义信息，然后进行变化检测，它强调的是在地物语义层级上进行变化检测。在该类型中，超像素分割法是一种较为常用的方法，他是一种将图像快速分割为一定数量的具有语义意义的子区域，它相比传统处理方法中的像素更有利于局部特征的提取与结果信息的表达[24]。有研究为了解决传统分割算法忽略海陆的局部相似先验问题，提出一种基于超像素和多尺度特征的红外遥感图像海陆分割方法，主要是将海陆分割任务解释为超像素而不是像素，将相似像素聚类并讨论局部相似性[25]。随着深度学习在图像分割邻域中的发展，深度卷积神经网络越来越多用于遥感影像变化检测研究[26]。相比于超像素的单一语义层次，深度卷积神经网络能够提取更多级别的语义信息，包括浅层的边缘形状和深层的抽象语义。为此，有研究也利用深度学习语义分割模型对城市高分遥感图像的变化进行了检测，指出深度学习方法的检测精度显著高于其它参考方法[27]。还有研究利用孪生残差神经网络对遥感影像变化进行检测，显著提升了检测精度[28]。此外，还有研究为提高高分辨率遥感影像的变化检测精度，尤其对相同地物中纹理差异较大的区域做出有效判别，提出结合深度学习和超像素分割的高分辨率遥感影像变化检测方法[29]。在深度卷积神经网络中，UNet模型是一个经典的图像分割框架。UNet模型采用全卷积神经网络构成U型对称结构，总体包括三部分，分别为编码（Encoder）、解码（Decoder）和跳跃连接（Skip Connection）[30]。UNet最初用于解决小样本的医学图像分割问题。比如有研究用一种改进的UNet模型分割组织学图像的细胞核[31]。而周纵苇研究了一种用于医学图像分割的嵌套UNet框架[32]。相对于传统的UNet模型，改进的UNet框架显著提升了精度，同时大幅度减少了参数量。近来，有研究利用UNet模型从无人机图像中提取水稻倒伏区域[33]。还有研究基于改进的UNet模型对遥感影像建筑物变化进行了检测，结果表明改进的UNet模型有效提高了建筑物的变化检测精度[34]。尽管如此，UNet及其改进模型在进一步提高分割精度方面仍面临巨大挑战。随着无人机遥感技术的兴起和发展，遥感影像的分辨率越来越高，地物类型越来越多，纹理布局越来越复杂，地物空间尺度极易多变。地物之间的语义特征相比纹理特征的重要性更加突出。由于季节不同导致的植被形态发生变化，但地物实际上并未发生改变。又由于传感器差异、拍摄角度差异和天气变化等因素导致的影像中的地物姿态虽然存在变化，但事实上地物并未改变。这使得基于像素和对象等单元的地物变化检测方法的检测精度难以满足业务需求，同时为基于场景的地物检测方法带来新的挑战。为此，如何进一步增强地物之间的语义特征，降低地物检测的误检率，亟需做深入研究。另外，遥感影像数据的样本不充足也为地物检测方法带来巨大困难。1.3 参考文献[1] 刘霞.遥感技术在矿山地质勘查中的应用[J].冶金管理,2021(13):80-81.[2] 马玉林,吴华,张文海.遥感技术在滑坡识别中的应用探讨[J].科技创新与应用,2022,12(03):142-145.DOI:10.19981/j.CN23-1581/G3.2022.03.041.[3] 陈静.遥感技术在环境监测领域中的应用[J].中国新技术新产品,2020(14):106-107.DOI:10.13612/j.cnki.cntp.2020.14.049.[4] 王涛. 亚米级空间分辨率光学卫星影像大气辐射校正研究[D].中国科学技术大学,2021.DOI:10.27517/d.cnki.gzkju.2021.000282.[5] 杨嘉葳. 城市地表水高光谱遥感关键问题研究[D].中国科学院大学(中国科学院上海技术物理研究所),2019.DOI:10.27581/d.cnki.gksjw.2019.000036.[6] 许盼盼. 基于高时空分辨率数据的湿地精细分类研究[D].中国科学院大学(中国科学院遥感与数字地球研究所),2018.[7] 刘鹏,柯瑞锋,何雯.无人机遥感技术在智慧城市建设中的应用[J].智能城市,2021,7(16):43-44.DOI:10.19301/j.cnki.zncs.2021.16.020.[8] 倪良波,卢涵宇,卢天健,丁蕾锭,卢梅.基于孪生残差神经网络的遥感影像变化检测[J].计算机工程与设计,2020,41(12):3451-3457.DOI:10.16208/j.issn1000-7024.2020.12.023.[9] L. Khelifi and M. Mignotte, "Deep Learning for Change Detection in Remote Sensing Images: Comprehensive Review and Meta-Analysis," in IEEE Access, vol. 8, pp. 126385-126400, 2020, doi: 10.1109/ACCESS.2020.3008036.[10] 张晓朋,王修信,梁维刚,农京辉,罗涟玲.利用遥感图像检测地震的地表地物变化[J].广西物理,2009,30(04):2-4.[11] 丁佳,刘星雨,郭玉超,任鸿瑞.1980—2015年青藏高原植被变化研究[J].生态环境学报,2021,30(02):288-296.DOI:10.16258/j.cnki.1674-5906.2021.02.007.[12] 郭岩,何毅,张立峰,邱丽莎,张国强,张志华.2000—2017年中亚地区植被变化遥感监测[J].中国农学通报,2021,37(08):123-131.[13] 李娜,温乃璎,侯毅苇.基于低空无人机遥感技术的应用探究[J].价值工程,2018,37(25):112-113.DOI:10.14018/j.cnki.cn13-1085/n.2018.25.055.[14] 周晓光,曾联斌,袁愈才,宋正祥,李飞.四种基于像元的地表覆盖变化检测方法比较[J].测绘科学,2015,40(01):52-57.DOI:10.16251/j.cnki.1009-2307.2015.01.011.[15] 庞博,王浩,宁晓刚.基于稳定像元的决策树分类后比较法在林地变化检测中的应用[J].生态学杂志,2018,37(09):2849-2855.DOI:10.13292/j.1000-4890.201809.020.[16] 何曙光,庞蕾,张学东,刘慧.利用差值法与InSAR相干系数检测城市变化信息[J].遥感信息,2017,32(03):76-80.[17] Shi X, Lu L, Yang S, et al. Object-oriented change detection based on weightedpolarimetric scattering differences on POLSAR images[J]. ISPRS - InternationalArchives of the Photogrammetry, Remote Sensing and Spatial Information Sciences,2015, XL-7/W4: 149-154.[18] 赵敏,赵银娣.面向对象的多特征分级CVA遥感影像变化检测[J].遥感学报,2018,22(01):119-131.[19] 刘红超,张磊.面向类型特征的自适应阈值遥感影像变化检测[J].遥感学报,2020,24(06):728-738.[20] Turgay elik. Unsupervised Change Detection in Satellite Images Using Principal Component Analysis and k -Means Clustering.[J]. IEEE Geosci. Remote Sensing Lett.,2009,6(4):[21] Julian Hatwell,Mohamed Medhat Gaber,R. Muhammad Atif Azad. CHIRPS: Explaining random forest classification[J]. Artificial Intelligence Review,2020(prepublish):[22] ZhiYong Lv,TongFei Liu,Jón Atli Benediktsson,Tao Lei,YiLiang Wan. Multi-Scale Object Histogram Distance for LCCD Using Bi-Temporal Very-High-Resolution Remote Sensing Images[J]. Remote Sensing,2018,10(11):[23] 卢丽琛, 洪亮. 面向对象的高分辨率遥感影像建筑物变化检测[J]. 牡丹江师范学院学报（自然科学版）, 2021, (1): 50-54.[24] 宋熙煜,周利莉,李中国,陈健,曾磊,闫镔.图像分割中的超像素方法研究综述[J].中国图象图形学报,2015,20(05):599-608.[25] Sen Lei,Zhengxia Zou,Dunge Liu,Zhenghuan Xia,Zhenwei Shi. Sea-land segmentation for infrared remote sensing images based on superpixels and multi-scale features[J]. Infrared Physics and Technology,2018,91:[26] Lazhar Khelifi,Max Mignotte. Deep Learning for Change Detection in Remote Sensing Images: Comprehensive Review and Meta-Analysis[J]. IEEE Access,2020:[27] 陈璐,管霜霜.基于深度学习的城市高分遥感图像变化检测方法的研究[J].计算机应用研究,2020,37(S1):320-323.[28] 倪良波, 卢涵宇, 卢天健, et al. 基于孪生残差神经网络的遥感影像变化检测[J].计算机工程与设计, 2020, 41(12): 3451-3457.[29] 王艳恒,高连如,陈正超,张兵.结合深度学习和超像元的高分遥感影像变化检测[J].中国图象图形学报,2020,25(06):1271-1282.[30] Olaf Ronneberger,Philipp Fischer,Thomas Brox. U-Net: Convolutional Networks for Biomedical Image Segmentation.[J]. CoRR,2015,abs/1505.04597:[31] Zitao Zeng,Weihao Xie,Yunzhe Zhang,Yao Lu. RIC-Unet: An Improved Neural Network Based on Unet for Nuclei Segmentation in Histology Images.[J]. IEEE Access,2019,7.[32] Zhou Zongwei Arizona State University. Siddiquee Md Mahfuzur Rahman Arizona State University. Tajbakhsh Nima Arizona State University. Liang Jianming Arizona State University. . UNet : A Nested U-Net Architecture for Medical Image Segmentation.[J]. Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support : 4th International Workshop, DLMIA 2018, and 8th International Workshop, ML-CDS 2018, held in conjunction with MICCAI 2018, Granada, Spain, S...,2018,11045:[33] Xin Zhao,Yitong Yuan,Mengdie Song,Yang Ding,Fenfang Lin,Dong Liang,Dongyan Zhang. Use of Unmanned Aerial Vehicle Imagery and Deep Learning UNet to Extract Rice Lodging[J]. Sensors,2019,19(18).[34] 朱节中,陈永,柯福阳,张果荣.基于Siam-UNet 的高分辨率遥感影像建筑物变化检测[J]. 计算机应用研究,2021,38(11):3460-3465.

2. 研究内容和问题

2.1研究内容（1）收集遥感影像数据及进行图像处理。收集多源不同时相遥感影像数据，进行数据增强预处理。利用目视解译绘制遥感影像地物变化区域，制作训练样本和测试样本。（2）复现网络骨架，设计图像语义分割模型。以UNet、UNet 、FPN和DeeplabV3等深度学习模型为基础，使用Pytorch复现模型网络骨架，设计数据增强模块，设计损失函数和分类器使之能完成高质量的图像语义分割任务。（3）对比不同语义分割模型在遥感影像地物变化检测方面的性能，评估其检测精度。2.2预计解决难题（1）复现UNet、UNet 、FPN、DeeplabV3模型。（2）在训练样本不足的情况下，可以高质量的完成图像语义分割任务，进而对遥感影像地物变化进行快速、精准检测。

3. 设计方案和技术路线

3.1 研究方法

利用深度学习检测遥感影像地物变化问题实质是图像语义分割问题。因此，本研究将对unet、unet 、fpn、deeplabv3四种图像语义分割模型进行对比评价分析。

4. 研究的条件和基础

4.1 工作条件

（1）已充分了解课题的研究背景及研究内容，已下载并查阅了大量与本课题相关的研究文献及相关案例。（2）对课题涉及到的unet、unet 、fpn以及deeplabv3模型内容已基本掌握。（3）对课题所需要的多源遥感影像数据进行了收集，对课题的技术路线实施过程已熟悉了解。（4）对课题实施所需要的软件平台，如pycharm，arcgis等已熟练应用。（5）对课题实施所需要的编程语言，如python、pytorch等已基本掌握。