本书主要介绍了图像画质相关的各类底层视觉任务及其相关算法，重点讲解了去噪、超分辨率、去雾、高动态范围、图像合成与图像和谐化、图像增强与图像修饰等多种类型的基础任务的设定及其对应的经典算法和模型。本书讨论了底层视觉任务的基本特征，并从成像过程及图像处理的基础知识出发，系统分析了不同任务下的退化机制，以及对应的算法设计原则。本书在算法选择上兼顾了经典的传统图像算法及当前较新的人工智能模型算法，可以作为从图像处理领域或者深度学习领域进入底层计算机视觉领域进行学习的读者的基础读物。本书主要面向的读者群体包括深度学习与计算机视觉行业的从业人员，计算机、人工智能及其相关专业方向的学生，图像处理相关技术的爱好者与学习者。

贾壮，计算机视觉算法工程师，毕业于清华大学自动化系，模式识别与智能系统方向硕士，曾在百度、华为等单位从事多项视觉相关算法项目的研发与交付，在相关期刊和会议发表多篇论文，并在视觉相关国际竞赛中获得奖项，编著有《机器学习与深度学习算法基础》等技术书籍。

第1章 画质算法与底层视觉概述 1
1.1 画质算法的主要任务 1
1.1.1 画质算法定义及其主要类别 1
1.1.2 画质问题的核心：退化 3
1.2 基于深度学习的底层视觉技术 4
1.2.1 深度学习与神经网络 4
1.2.2 底层视觉任务的特点 5
第2章 画质处理的基础知识 7
2.1 光照与成像 7
2.1.1 视觉与光学成像 7
2.1.2 Bayer阵列与去马赛克 15
2.1.3 相机图像信号处理的基本流程 20
2.2 色彩与颜色空间 25
2.2.1 人眼色觉与色度图 25
2.2.2 常见的颜色空间 28
2.3 图像的影调调整方法 32
2.3.1 直方图与对比度 32
2.3.2 对比度拉伸与直方图均衡 35
2.3.3 对比度增强算法的改进策略 39
2.4 图像常见的空间操作 42
2.4.1 基本图像变换：仿射变换与透视变换 42
2.4.2 光流与帧间对齐 50
2.5 图像的频域分析与图像金字塔 54
2.5.1 傅里叶变换与频域分析 54
2.5.2 自然图像的频域统计特性 60
2.5.3 图像金字塔：高斯金字塔与拉普拉斯金字塔 61
第3章 图像与视频去噪算法 66
3.1 噪声的来源与数学模型 66
3.1.1 图像噪声的物理来源 66
3.1.2 噪声的数学模型 68
3.2 去噪算法的难点与策略 76
3.2.1 去噪算法的难点 76
3.2.2 盲去噪与非盲去噪 77
3.2.3 高斯去噪与真实噪声去噪 77
3.2.4 去噪算法的评价指标 78
3.3 传统去噪算法 84
3.3.1 空域滤波：均值、高斯与中值滤波器 84
3.3.2 非局部均值算法 87
3.3.3 小波变换去噪算法 90
3.3.4 双边滤波与导向滤波 96
3.3.5 BM3D滤波算法 104
3.4 深度学习去噪算法 106
3.4.1 深度残差去噪网络DnCNN和FFDNet 106
3.4.2 噪声估计网络去噪：CBDNet 115
3.4.3 小波变换与神经网络的结合：MWCNN 119
3.4.4 视频去噪：DVDNet和FastDVDNet 125
3.4.5 基于Transformer的去噪方法：IPT与SwinIR 132
3.4.6 自监督去噪算法：Noise2Noise、Noise2Void与DIP 138
3.4.7 Raw域去噪策略与算法：Unprocess与CycleISP 142
第4章 图像与视频超分辨率 145
4.1 超分辨率任务概述 146
4.1.1 分辨率与超分辨率任务 146
4.1.2 超分辨率的任务设定与特点 147
4.1.3 超分辨率的评价指标 150
4.2 超分辨率的传统算法 156
4.2.1 上采样插值算法与图像锐化处理 156
4.2.2 基于自相似性的超分辨率 162
4.2.3 基于稀疏编码的超分辨率 164
4.3 经典深度学习超分辨率算法 166
4.3.1 神经网络超分辨率开端：SRCNN和FSRCNN 167
4.3.2 无参的高效上采样：ESPCN 171
4.3.3 无BN层的残差网络：EDSR 173
4.3.4 残差稠密网络 176
4.3.5 针对视觉画质的优化：SRGAN与ESRGAN 178
4.3.6 注意力机制超分辨率网络：RCAN 183
4.3.7 盲超分辨率中的退化估计：ZSSR与KernelGAN 187
4.4 真实世界的超分辨率模型 189
4.4.1 复杂退化模拟：BSRGAN与Real-ESRGAN 189
4.4.2 图像域迁移：CycleGAN类网络与无监督超分辨率 193
4.4.3 扩散模型的真实世界超分辨率：StableSR 196
4.5 超分辨率模型的轻量化 199
4.5.1 多分支信息蒸馏：IMDN与RFDN 199
4.5.2 重参数化策略：ECBSR 206
4.5.3 消除特征冗余：GhostSR 214
4.5.4 单层极轻量化模型：edgeSR 217
4.6 视频超分辨率模型简介 221
4.6.1 视频超分辨率的特点 221
4.6.2 BasicVSR、BasicVSR++与RealBasicVSR 223
4.7 超分辨率模型的优化策略 227
4.7.1 基于分频分区域处理的模型设计 227
4.7.2 针对细节纹理的恢复策略 228
4.7.3 可控可解释的画质恢复与超分辨率 231
第5章 图像去雾 235
5.1 图像去雾任务概述 235
5.1.1 有雾图像的形成与影响 235
5.1.2 有雾图像的退化：大气散射模型 236
5.1.3 去雾算法的主要思路 237
5.2 基于物理模型的去雾算法 238
5.2.1 基于反照系数分解的Fattal去雾算法 238
5.2.2 暗通道先验去雾算法 243
5.2.3 颜色衰减先验去雾算法 248
5.3 深度学习去雾算法 255
5.3.1 端到端的透射图估计：DehazeNet 255
5.3.2 轻量级去雾网络模型：AOD-Net 260
5.3.3 基于GAN的去雾模型：Dehaze cGAN和Cycle-Dehaze 262
5.3.4 金字塔稠密连接网络：DCPDN 264
5.3.5 特征融合注意力去雾模型：FFA-Net 265
第6章 图像高动态范围 277
6.1 图像HDR任务简介 277
6.1.1 动态范围的概念 277
6.1.2 HDR任务分类与关键问题 279
6.2 传统HDR相关算法 280
6.2.1 多曝融合算法 280
6.2.2 局部拉普拉斯滤波算法 285
6.2.3 Reinhard摄影色调重建算法 295
6.2.4 快速双边滤波色调映射算法 301
6.3 基于神经网络模型的HDR算法 306
6.3.1 网络模型的训练目标：MEF-SSIM 306
6.3.2 端到端多曝融合算法：DeepFuse 310
6.3.3 多曝权重的网络计算：MEF-Net 313
6.3.4 注意力机制HDR网络：AHDRNet 317
6.3.5 单图动态范围扩展：ExpandNet 327
第7章 图像合成与图像和谐化 331
7.1 图像合成任务简介 331
7.2 经典图像合成算法 332
7.2.1 alpha通道混合算法 332
7.2.2 多尺度融合：拉普拉斯金字塔融合 334
7.2.3 梯度域的无缝融合：泊松融合 337
7.3 深度学习图像合成与图像和谐化 343
7.3.1 空间分离注意力：S2AM模型 344
7.3.2 域验证的和谐化：DoveNet 348
7.3.3 背景引导的域转换：BargainNet 354
7.3.4 前景到背景的风格迁移：RainNet 357
第8章 图像增强与图像修饰 360
8.1 图像增强任务概述 360
8.2 传统低光增强算法 361
8.2.1 基于反色去雾的低光增强算法 361
8.2.2 多尺度Retinex算法 364
8.3 神经网络模型的增强与颜色调整 369
8.3.1 Retinex理论的模型实现：RetinexNet 370
8.3.2 双边实时增强算法：HDRNet 374
8.3.3 无参考图的低光增强：Zero-DCE 376
8.3.4 可控的修图模型：CSRNet 380
8.3.5 3D LUT类模型：图像自适应3D LUT和NILUT 383
8.3.6 色域扩展：GamutNet和GamutMLP 388