全书共有9 章。第1 章介绍了图像融合的定义、发展历史、研究现状和分类，让读者对图像融合有一个直观的认识。第2 章从研究背景与意义、研究现状、评价体系三个角度讲述了遥感图像融合的基础知识。第3～8 章系统地介绍了各种图像融合方法。第9 章结合图像融合的具体应用实例，介绍了图像融合的应用，并且对未来的发展进行了展望。本书可作为高等院校高年级本科生、研究生学习图像融合技术的教材和教学参考书，也可作为从事图像融合研究和应用的科技人员的参考书。

方发明，博士，华东师范大学计算机科学与技术学院视觉与机器智能研究所副所长、教授、博士生导师，上海市"启明星计划”获得者，"晨光学者”。2013年6月于华东师范大学计算机系获工学博士学位。主要研究方向为机器学习、图像处理。围绕遥感/医学图像恢复、增强、识别、以及三维重建等展开理论和应用研究。工作受到国家自然科学基金重点、面上、NSFC-RGC、上海市"启明星计划”、"晨光计划”、上海市自然科学基金等8项纵向基金支持；并主持多项企事业单位联合项目。相关成果发表在国际顶级杂志/会议上(共四十余篇，中科院1区/CCFA 20余篇，发表期刊会议主要包括：IEEE TC、TIP、TNNLS、TMM、TGRS、TVCG、TCSVT、NeurIPS、CVPR、ICCV、ECCV等）。任IEEE TIP、TGRS、TMM、TVCG、CVPR、ICCV、AAAI等多个期刊与会议的审稿人和程序委员。

第1 章走进图像融合. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1
1.1 什么是图像融合. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 图像融合的发展历史与研究现状. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2
1.3 图像融合分类. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.3.1 按融合层次分类. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.3.2 按融合图像源分类. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
第2 章遥感图像融合基础知识. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.1 遥感图像融合的研究背景与意义. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.1.1 高分辨率遥感技术的发展. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.1.2 遥感卫星图像的特点. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.1.3 遥感图像融合的研究意义. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.2 全色锐化的主流方法及研究现状. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.2.1 分量替换（CS）. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .19
2.2.2 多分辨率分析（MRA） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.2.3 模型求解. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.2.4 深度学习. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
2.3 全色锐化评价体系. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.3.1 降分辨率评估. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.3.2 原分辨率评估. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
第3 章基于金字塔变换的图像融合. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
3.1 引言. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .37
3.2 常见图像金字塔变换. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
3.2.1 高斯金字塔变换. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
3.2.2 拉普拉斯金字塔变换. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3.2.3 比率低通金字塔变换. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.2.4 对比度金字塔变换. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.2.5 梯度金字塔变换. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
3.3 基于金字塔变换的图像融合方法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
3.3.1 基于拉普拉斯金字塔变换的图像融合. . . . . . . . . . . . . . . . . . . . . . . . . . . .43
3.3.2 基于比率低通金字塔变换的图像融合. . . . . . . . . . . . . . . . . . . . . . . . . . . .44
3.3.3 基于对比度金字塔变换的图像融合. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .45
3.3.4 基于梯度金字塔变换的图像融合. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.4 实验结果与分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.4.1 降分辨率分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.4.2 原分辨率分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.5 本章小结. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
第4 章基于小波族的图像融合. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
4.1 引言. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .49
4.2 小波变换的基本理论. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
4.2.1 小波族. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
4.2.2 小波函数与子函数. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
4.2.3 尺度函数与子函数. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
4.2.4 多分辨率分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
4.2.5 信号分解与重构. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
4.3 基于小波变换的图像融合. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
4.3.1 图像的二维离散小波变换. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
4.3.2 图像融合过程. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
4.4 小波选择. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
4.4.1 多小波. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
4.4.2 轮廓波. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
4.4.3 剪切波. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
4.5 实验结果与分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
4.5.1 降分辨率分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
4.5.2 原分辨率评估分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
4.6 本章小结. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
第5 章基于智能优化算法的图像融合. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .67
5.1 引言. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .67
5.2 智能优化算法简介. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
5.2.1 智能优化算法分类. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
5.2.2 进化算法概述. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
5.3 基于贝叶斯网络及进化算法的全色锐化融合模型. . . . . . . . . . . . . . . . 77
5.3.1 模型构建. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
5.3.2 参数优化. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
5.3.3 实验对比与分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
5.4 基于进化算法的IHS 全色锐化融合模型. . . . . . . . . . . . . . . . . . . . . . . . . 86
5.4.1 IHS 融合模型. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
5.4.2 EA-IHS 融合模型. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
5.4.3 组合差分进化优化. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
5.4.4 实验对比与分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
5.5 基于多目标优化的IHS 全色锐化融合模型. . . . . . . . . . . . . . . . . . . . . . .97
5.5.1 目标函数. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
5.5.2 NSGA-II 优化. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
5.5.3 MO-IHS 基本流程. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
5.5.4 实验对比与分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
5.6 本章小结. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
第6 章基于能量模型的图像融合. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
6.1 引言. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .108
6.2 变分法预备知识. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
6.2.1 泛函定义及性质. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
6.2.2 BV 空间定义及性质. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
6.2.3 Bregman 迭代和分裂Bregman 迭代. . . . . . . . . . . . . . . . . . . . . . . . . . 111
6.3 变分全色锐化融合模型. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
6.3.1 VP 模型构建. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
6.3.2 能量极小值存在性分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
6.3.3 数值算法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
6.3.4 实验结果与分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130
6.4 基于Framelet 的全色锐化融合模型. . . . . . . . . . . . . . . . . . . . . . . . . . . . 137
6.4.1 Framelet 及其图像表示. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .137
6.4.2 基于Framelet 的全色锐化融合模型. . . . . . . . . . . . . . . . . . . . . . . . . . . 142
6.4.3 基于变分法和Framelet 的全色锐化融合模型. . . . . . . . . . . . . . . . . . . 144
6.4.4 实验结果及分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152
6.4.5 VFP 模型与VP 模型的比较. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157
6.5 基于贝叶斯后验概率估计的全色锐化融合模型. . . . . . . . . . . . . . . . . .159
6.5.1 模型构建. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
6.5.2 模型求解. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164
6.5.3 实验对比与分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
6.6 本章小结. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177
第7 章基于深度学习的图像融合. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179
7.1 引言. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .179
7.2 深度学习基础理论. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180
7.2.1 数据输入层. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180
7.2.2 卷积计算层. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180
7.2.3 激励层. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183
7.2.4 池化层. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184
7.2.5 全连接层. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185
7.2.6 经典架构. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185
7.3 小波系数指导的全色锐化融合网络. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187
7.3.1 网络构建. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187
7.3.2 实验对比与分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192
7.3.3 消融实验. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 196
7.4 基于Framelet 的全色锐化融合网络. . . . . . . . . . . . . . . . . . . . . . . . . . . . 197
7.4.1 模型构建. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197
7.4.2 实验对比与分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201
7.4.3 消融分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 207
7.5 基于深度展开网络的全色锐化融合网络. . . . . . . . . . . . . . . . . . . . . . . . 211
7.5.1 网络构建. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 212
7.5.2 实验对比与分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 217
7.5.3 消融分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224
7.6 本章小结. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224
第8 章基于颜色迁移的图像融合. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 226
8.1 引言. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .226
8.2 研究背景与研究现状. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .227
8.2.1 基于涂鸦点的着色. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227
8.2.2 基于参考图像的着色. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228
8.2.3 基于深度学习的着色. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229
8.3 基于超像素的图像融合. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231
8.3.1 模型构建. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231
8.3.2 模型求解. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 238
8.3.3 模型分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242
8.3.4 实验对比与分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 246
8.4 基于风格迁移的图像融合. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 252
8.4.1 网络构建. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 252
8.4.2 消融实验. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 264
8.4.3 实验对比与分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 270
8.5 基于生成对抗网络的图像融合. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .274
8.5.1 网络构建. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 274
8.5.2 实验对比与分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 279
8.6 本章小结. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 280
第9 章图像融合的应用与发展趋势. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .281
9.1 引言. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .281
9.2 图像融合的落地应用. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .281
9.2.1 遥感图像融合应用. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 281
9.2.2 图像融合的其他应用. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 284
9.3 图像融合的未来发展展望. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 286
参考文献. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 288
缩略词表. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 299