高分辨率遥感影像场景智能理解

第1章 绪论
　　1.1 国内外研究进展
　　随着遥感产业的不断繁荣与发展，功能各异的高分辨率遥感成像传感器搭载卫星平台在轨运行，持续对人类赖以生存的地球表面进行数据采集，多源高分辨率遥感影像数据的覆盖范围与周期不断变大。高精度自动化的遥感影像场景智能理解是遥感对地观测技术高效深入应用的基本前提与保障（李德仁等，2014）。与中、低分辨率遥感影像相比，高分辨率遥感影像呈现出十分显著的“同谱异物、同物异谱”现象（汪闽等，2005），使得仅在像素级或者对象级的遥感影像理解表现出较大的局限性。为了突破这一限制，借助更大解译单元内的空间上下文信息来实施遥感影像场景智能理解（Cheng et al.，2017；何小飞等，2016；Yang et al.，2010 ）是高分辨率遥感解译领域的重要发展趋势。高分辨率遥感影像场景智能理解技术受到国内外研究学者的广泛关注，已经初步在大范围经济预测（Jean et al.，2016）、实时难民区监测（Pelizari et al.，2018）、城市功能区识别（Zhang et al.，2015b ）等任务上发挥重要作用。
　　高分辨率遥感影像场景智能理解以影像区块（场景单元）为基本解译单元，旨在通过对场景单元内的多种目标及其空间分布关系进行不同层次与粒度的分析，实现对场景单元语义信息的多层级智能理解。遥感影像场景理解方法主要可以分为两类：①借助人工特征描述子来表征遥感影像场景的视觉内容并结合浅层分类器完成特征分类与理解；②通过深度学习技术来进行统一框架下的特征表达、分类与理解。总的来说，基于深度学习（焦李成等，2016；LeCun et al.，2015；Krizhevsky et al.，2012 ）的遥感影像场景理解技术可能获得较高的精度，但高度依赖于标记样本的规模与质量。遥感影像场景理解技术的研究进展主要包括以下几个方面。
　　（1）遥感影像场景标记。为了降低遥感影像场景数据集标注的劳动力成本，目前遥感影像场景标记主要有两种方法。第一类是基于公开地理信息数据提取的方法（Cheng et al.，2017），如利用公开地图（Open Street Map，OSM）格式的兴趣点和矢量数据来表示遥感影像中的地理空间对象，然后通过提取以每个指示为中心的场景来完成场景注释过程。第二类是使用交互式标记的方法（Xia et al.，2015），如使用交互式算法来主动细化数据集中场景的图模型中的边缘链接。除了上述两种方法，半监督方法（He et al.，2017；Yang et al.，2015 ）因为可以使用非常小的数据集进行监督并恢复剩余数据的标签，在快速影像数据集注释中可能发挥作用。总的来说，如何有效和准确地自动标注遥感影像场景数据还需要更具体的探索。
　　（2）遥感影像场景检索。根据遥感影像检索过程是否有用户的参与，已有的遥感影像检索方法可以分为用户参与交互确认的遥感影像检索方法（Demir et al.，2015；Schroder et al.，2000）和无需用户参与交互确认的遥感影像检索方法（Rosu et al.，2017；Demir et al.，2016；Du et al.，2016；Li et al.，2016c；Wang et al.，2016；Aptoula，2014；Yang et al.，2013；Luo et al.，2008；Shyu et al.，2007 ）两大类。在无需用户参与交互的遥感影像检索方法中，Luo 等（2008 ）利用小波特征来解决不同分辨率遥感影像检索问题。Yang 等（2013）提出了包含21 类地物覆盖类型的遥感影像数据集并用于遥感检索任务。除此之外，基于局部特征描述子的流形特征方法（Du et al.，2016）、形态学纹理特征方法（Aptoula，2014 ）和结构张量特征方法（Rosu et al.，2017）也相继被用于遥感影像检索任务。为了进一步提高检索精度，基于图模型的多特征融合方法（Li et al.，2016c；Wang et al.，2016）被用于遥感影像检索任务。为了提高特征*近邻搜索效率，Shyu 等（2007）提出了K 维树搜索加速算法。当原始特征维度较高时，K 维树搜索加速算法会大大损害检索精度。为了达到检索效率与检索精度之间的平衡，Demir 等（2016 ）利用基于局部特征的视觉词袋模型作为遥感影像的初始描述特征，进一步利用无监督和有监督哈希学习方法对初始特征进行降维，*后用简短的二值向量来表达影像内容并用于影像相似性计算。为了提高哈希学习的效率，Li 等（2017b）提出了基于随机映射的快速哈希学习方法。在遥感影像检索领域，哈希学习技术暂时局限于人工特征的基础，尚未出现与主流的深度学习特征相结合的成功案例，结合互联网影像大数据检索的经验（Kang et al.，2016），有望将深度学习结合哈希学习技术引入遥感影像特征表达，进一步提升遥感影像检索的性能。到目前为止，遥感领域的研究主要讨论了同一类型间遥感影像的检索任务，不同类型间遥感影像检索问题鲜有谈及，然而现实中不同类型间影像检索任务的需求度很大。总的来说，同类型海量遥感影像检索任务的性能仍有很大提升空间，跨类型海量遥感影像检索任务的理论与方法有待进一步发展。
　　（3）遥感影像场景分类。在众多开源遥感影像场景数据集的支撑下，遥感影像场景分类成为一个开放性问题，并得到了长足的发展。已有的遥感影像场景分类方法大致可以分为基于人工特征、基于无监督学习特征和基于“端到端”深度卷积神经网络的分类方法三类。在现有的基于人工特征的分类方法中，Yang 等（2011 ）和Qi 等（2015 ）分别提出了改进的视觉词袋特征来编码场景内容。Huang 等（2016 ）利用局部二值模式来描述场景内容。前述特征描述子（Huang et al.，2016；Qi et al.，2015；Yang et al.，2011）更多关注编码场景内目标信息，Zhong 等（2017 ）则提出了专注表征多目标空间分布关系的特征描述子用于遥感影像场景分类。在现有的基于无监督特征学习的分类方法中，Lu 等（2017 ）提出了基于无监督重建残差*小的金字塔特征表达方法。从数据自动合成的角度，Lin 等（2017）提出了基于生成式对抗网络的多级特征量化方法。钱晓亮等（2018）评估了不同特征对遥感影像场景分类精度的影响。在基于“端到端”深度卷积神经网络的分类方法中，为提高深度卷积神经网络的判别能力，类内与类间的密集约束（Cheng et al.，2018；Gong et al.，2018；Wang et al.，2017 ）被相继用于优化深度网络。郑卓等（2018）提出了多通道深度卷积神经网络，可以有效挖掘遥感影像的多尺度信息，从而提高场景分类精度。为了减小噪声标签对深度卷积神经网络训练的不利影响，Jian 等（2018）提出了容错性深度学习方法。相比人工特征和无监督特征，深度卷积神经网络可以获得明显的性能优势。尽管深度卷积神经网络通过层次化非线性抽象可以有效感知场景内目标信息，然而仍然无法学习目标间的空间分布关系。
　　（4）遥感影像目标检测。在深度学习技术的支撑下，遥感影像目标检测已有一定的发展。计算机视觉领域的研究表明，仅使用场景级标签约束下训练的深度网络可以为目标检测提供弱监督信息，这为遥感影像目标检测提供了新的思路。如Cinbis 等（2017）和Pinheiro 等（2015）将多实例学习与深度卷积特征相结合来定位对象。还有学者提出了一种通过评估深度网络在多个重叠斑块上的输出来定位目标的方法（Tang et al.，2017；Oquab et al.，2014）。Tang 等（2017 ）和Bilen 等（2016）基于区域建议的方法使用弱监督解决目标检测问题。在全局池化操作帮助下，Zhou 等（2016）和Oquab 等（2015）基于弱监督学习技术对深度网络进行端到端训练，用于特定类的目标检测。但是，由于这些方法*初是针对自然图像设计的，无法解决遥感影像背景复杂、目标分布密集、方向任意等问题，难以直接用于遥感影像目标检测中。
　　（5）遥感影像场景语义分割。随着深度学习的快速发展，借助深度语义分割网络，遥感影像场景语义分割取得显著的成功。但是神经网络难以表达高层次的先验知识，忽略了地物目标之间丰富的语义信息，而本体的知识图谱模型在表达和运用知识方面具有很大的优势。Sarker 等（2017 ）设计了基于知识模型解释的分类器以输出对分类结果的解释，但精度较差。Andrés 等（2017 ）利用本体知识推理对Landsat 影像实现了基于显式光谱规则的分类，但仅仅采用了光谱信息，未考虑地物目标的形状、纹理和空间关系等信息。Amiri 等（2018）提出了一种基于区域邻接图的遥感影像语义标注方法，该方法借助本体化的空间和光谱属性完成标注。Gui 等（2016 ）在遥感影像解译中运用本体完成了建筑物的提取。基于地理对象的影像分析（geographic object-based image analysis，GEOBIA），可以借助领域专家知识提取对象的形状、纹理和空间关系等信息以完成对目标的分类。Gu 等（2017 ）提出了一种基于本体的高分辨率遥感影像语义分割方法，旨在充分利用GEOBIA 和本体对地理信息的优势。以上方法的知识推理增强了分类结果的可解释性和可靠性，但是相比于深度学习方法，其分割精度较差。耦合深度学习和知识推理的遥感影像语义分割方法是充分发挥数据驱动和知识驱动方法优势的关键。在这一方面，目前仅有少量的研究。鉴于遥感影像智能解译的迫切需求，急需发展耦合深度学习和知识推理的遥感影像解译方法。
　　（6）遥感影像场景图生成。遥感影像场景图生成是遥感影像智能理解中的新兴研究任务。场景图源于计算机视觉，即用图结构的形式描述影像的目标与关系内容。目前，自然影像的场景图生成已在计算机视觉领域得到飞快发展（Tang et al.，2020，2019；Zellers et al.，2018；Xu et al.，2017）。遥感影像场景图生成任务则是指通过输入遥感影像自动生成一系列描述遥感影像内容的目标检测结果和目标关系三元组预测结果，*终构成遥感影像场景图。在遥感影像场景图研究方面，Chen 等（2021 ）构建了一个相关的地理关系三元组表示数据集，并提出了一种基于消息传递驱动的高分辨率遥感影像地理目标关系推理三元组表示方法。Li 等（2021a ）则构建了一个具有一定规模的遥感场景图数据集，并提出了基于多尺度语义融合网络的遥感影像场景图生成方法。然而，目前的遥感影像场景图数据集仍局限于自然影像场景图数据集模式，缺乏真正顾及遥感影像数据特性的相关数据集，难以支撑例如大幅面遥感影像场景图生成等更具意义的任务。如何自动生成高质量的有价值的遥感影像场景图还需继续深入研究。
　　从以上国内外研究进展可以看出，当前的遥感影像场景智能理解技术还存在不少的缺陷，有着较大的提升空间和研究价值。
　　1.2 本书的研究内容
　　为了应对前文中的问题，本书从多个角度入手，研究遥感影像场景智能理解技术。本书的主要内容包括以下几个方面。
　　（1）遥感影像场景标记。第2 章提出一种基于多特征自动分级聚合引导的快速遥感影像场景标记方法。基于聚类假设，尝试通过谱聚类自动聚合遥感影像的数据集，然后基于关键样本按聚类标注数据集。所提出的方法采用具有互补特征的分层相似性扩散结构，可捕获基础数据流形并充分利用特征之间的互补性。
　　（2）遥感影像场景检索。第3 章提出一种基于单模态深度哈希神经网络的同源遥感影像场景检索方法，其中深度哈希神经网络由用于高级语义特征表示的深度特征学习神经网络和用于紧凑特征表示的哈希学习神经网络组成。第4章*次揭示跨模态大规模遥感影像检索的紧迫性与可能性，提出可在一系列约束下端到端进行优化的源不变深度哈希卷积神

《高分辨率遥感影像场景智能理解》是根据作者在遥感大数据智能处理及知识挖掘理论与方法的研究积累，以及在人工智能技术驱动及多领域技术交叉融合下高分辨率遥感影像场景智能理解的*新研究成果撰写的，系统阐述高分辨率遥感影像场景智能理解各个层次研究任务的*新理论和技术，分别介绍遥感影像场景理解的研究进展及趋势、遥感影像场景标记任务、遥感影像场景检索任务、遥感影像场景分类任务、遥感影像场景目标检测任务、遥感影像场景语义分割任务，以及遥感影像场景图生成任务。

目录
第1章 绪论　1
1.1 国内外研究进展　1
1.2 本书的研究内容　4
第2章 多特征自动分级聚合引导的快速遥感影像场景标记　5
2.1 概述　5
2.2 研究方法　6
2.2.1 遥感影像的多特征表达　7
2.2.2 基于分层相似性扩散的样本自动聚合　9
2.2.3 基于样本库自动聚合的关键样本自动挑选　11
2.3 实验结果与分析　11
2.3.1 实验数据集与评价指标　11
2.3.2 重要参数的敏感性分析　12
2.3.3 分层扩散的有效性分析　14
2.3.4 与已有方法的对比分析　14
2.4 本章小结　16
第3章 基于单模态深度哈希网络的同源遥感影像场景检索　17
3.1 概述　17
3.2 研究方法　17
3.2.1 单模态深度哈希网络优化　17
3.2.2 基于单模态深度哈希网络的同源遥感影像场景检索算法　20
3.3 实验结果与分析　21
3.3.1 实验设置与评价指标　21
3.3.2 基于有限标记样本数据集的实验结果分析　21
3.3.3 基于充足标记样本数据集的实验结果分析　26
3.4 本章小结　29
第4章 基于跨模态深度哈希网络的跨源遥感影像场景检索　31
4.1 概述　31
4.2 研究方法　31
4.2.1 跨模态深度哈希网络优化　32
4.2.2 基于跨模态深度哈希网络的跨源遥感影像场景检索算法　34
4.3 实验结果与分析　35
4.3.1 实验数据集与评价指标　35
4.3.2 约束项的有效性分析　35
4.3.3 重要参数的敏感性分析　37
4.3.4 目标函数的收敛性分析　38
4.3.5 与已有方法的对比分析　40
4.4 本章小结　43
第5章 基于容错性深度学习的遥感影像场景分类　45
5.1 概述　45
5.2 研究方法　46
5.2.1 多特征协同表示分类器　46
5.2.2 面向遥感影像场景分类的容错性深度学习方法　50
5.2.3 基于噪声标签的遥感影像场景分类网络优化　52
5.3 实验结果与分析　53
5.3.1 实验数据集与评价指标　53
5.3.2 在仿真噪声数据集上的实验结果分析　54
5.3.3 在真实噪声数据集上的实验结果分析　57
5.4 本章小结　59
第6章 知识图谱表示学习驱动零样本遥感影像场景分类　60
6.1 概述　60
6.2 研究方法　61
6.2.1 知识图谱的构建　61
6.2.2 知识图谱的表示学习　67
6.2.3 零样本遥感影像场景分类　70
6.3 实验结果与分析　73
6.3.1 实验数据集与评价指标　73
6.3.2 重要参数的敏感性分析　74
6.3.3 与已有方法的对比分析　75
6.4 本章小结　78
第7章 基于场景标签约束深度学习的遥感影像目标检测　79
7.1 概述　79
7.2 研究方法　79
7.2.1 基于场景级标签监督的深度网络优化　80
7.2.2 基于深度网络的多类别遥感影像目标检测　81
7.3 实验结果与分析　83
7.3.1 实验数据集与评价指标　83
7.3.2 类激活图的可视化结果分析　84
7.3.3 重要参数的敏感性分析　85
7.3.4 与已有方法的对比分析　87
7.4 本章小结　88
第8章 联合深度学习和知识推理的遥感影像场景语义分割　89
8.1 概述　89
8.2 研究方法　89
8.2.1 推理单元的建立　90
8.2.2 地学知识的推理　91
8.2.3 深度语义分割网络的优化方法　94
8.3 实验结果与分析　95
8.3.1 实验数据集与评价指标　95
8.3.2 重要参数的敏感性分析　95
8.3.3 中间过程的可视化结果分析　96
8.3.4 与已有方法的对比分析　98
8.4 本章小结　100
第9章 知识图谱引导的大幅面遥感影像场景图生成　102
9.1 概述　102
9.2 研究方法　103
9.2.1 知识图谱引导的目标关系搜索优选　104
9.2.2 知识图谱引导的目标关系预测　104
9.3 实验结果与分析　105
9.3.1 实验数据集与评价指标　105
9.3.2 重要参数的敏感性分析　106
9.3.3 与已有方法的对比分析　107
9.4 本章小结　108
第10章 总结与展望　109
10.1 总结　109
10.2 展望　109
参考文献　110