随着科技的发展，全景视觉的应用已日趋广泛，学习与掌握全景视觉基本原理及计算方法是从事计算几何、计算机图形学、图像处理、机器人学等专门人才的需要。因此编写一本全景视觉方面的教材是有必要的。同时由于计算机视觉是集数字图像处理、数字信号处理、光学、物理学、几何学、概率统计学、模式识别、人工智能等于一体的学科，编写一本相关的教材是十分棘手的。
《全景视觉中的理论基础》力求从最基本的原理出发，阐述全景视觉中的数学理论及计算方法，既做到系统条理，又能使各章相对独立，便于读者通读和选择性阅读。
《全景视觉中的理论基础》在阐述理论的同时又兼顾相关的应用，这样便于理论与实践的结合，既不乏经典的理论，又注入了近年来新的研究成果，使读者在了解全景视觉发展史的同时又倾心关注近年来全景视觉研究的新成果。《全景视觉中的理论基础》涵盖射影几何、全景摄像机几何、全景摄像机标定、全景图像拼接、全景视觉技术应用以及简单的数值计算理论。

目 录
1—
刖言 符号说明
第一篇射影几何
第1章二维射影几何 2
1.1 射影平面 2
1.1.1 中心射影 2
1.1.2 射影直线与射影平面 3
1.1.3 齐次坐标 7
1.1.4 对偶原理 8
1.1.5 复元素 9
1.1.6 交比 10
1.2 二维射影变换 18
1.3 二次曲线 19
1.3.1 二次曲线的定义 20 目 录
1—
刖言 符号说明
第一篇射影几何
第1章二维射影几何 2
1.1 射影平面 2
1.1.1 中心射影 2
1.1.2 射影直线与射影平面 3
1.1.3 齐次坐标 7
1.1.4 对偶原理 8
1.1.5 复元素 9
1.1.6 交比 10
1.2 二维射影变换 18
1.3 二次曲线 19
1.3.1 二次曲线的定义 20
1.3.2 二次曲线的切线 21
1.3.3 极点与极线,配极原则 22
1.3.4 二次曲线的仿射性质 25
1.3.5 二次曲线的度量性质 27
1.3.6对偶二次曲线 31
1.3.7直线与二次曲线在二维射影变换下的规则 32
1.3.8 二次曲线束 32
1.3.9双接触定理与三曲线定理 34
第2章三维射影几何 37
2.1 三维射影空间 37
2.1.1 三维射影空间的基本特征 37
2.1.2 点?平面?直线的表示 37
2.1.3 共线平面束的交比 40
2.2 三维射影变换 41
2.2.1 三维射影变换41
2.2.2 平面与直线在三维射影变换下的像 42
1.3 二次曲面 42二次曲面 42
2.3.2对偶二次曲面 44
1.1.6 二次曲面在三维射影变换下的像 45
1.1.7 绝对二次曲线(AC) 45
1.1.8 绝对对偶二次曲面(DAC) 46
第二篇全景摄像机
第3章全景摄像机概述 48
1.3.6 全景摄像机简介 48
1.3.7 全景摄像机的发展史 48
1.3.8 全景摄像机研究现状 49
第4章全景摄像机几何 51
2.3 针孔摄像机成像模型 51
2.1.4 针孔摄像机 52
4.1.2几何元素的投影与反投影 56
2.2.3 消失点(线)与摄像机内参数 60
2.2.4 圆环点与摄像机内参数 61
4.3 鱼眼摄像机几何 61
4.3.1 鱼眼镜头的成像模型 62
4.3.2 基于球面模型的鱼眼图像的校正 63
4.4 折反射摄像机几何 66
4.4.1 折反射摄像机和鱼眼摄像机的统一成像模型 67
4.4.2 基于柱面展开的折反射全向图像校正 70
4.5 单位球模型下几何体的投影 74
4.5.1 空间点 74
4.5.2 空间直线 76
1.3 球基于球投影的几何不变量的中心折反射摄像机标定 120
1.3 利用球在中心折反射下像的投影几何性质的标定方法 133
1.3 基于对拓球像的中心折反射摄像机标定 142
1.3 使用两个相交球像标定抛物折反射摄像机 150
1.3 使用DLT——相似方法标定中心折反射摄像机 152
5.5 双平面折反射摄像机自标定 157
1.1.9 双平面镜折反射摄像机的几何模型与成像原理 157
1.1.10 双平面镜折反射系统中的几何不变量 158
1.1.11 基于圆环点的平面折反射摄像机的标定 161
第三篇全景图像拼接技术
第6章全景图像的拼接技术 168
6.1柱面全景图像拼接技术 168
1.3.9 基于特征的拼接算法 168
1.3.10 基于相位相关拼接算法 174
2.4 基于球面的全景图像拼接 176
2.1.5 球面全景图像基础知识 176
2.1.6 球面全景图像拼接 181
第四篇全景视觉技术的应用
第7章基于全景图像的虚拟导航 188
2.2.5 基于全景图像的目标识别 188
2.2.6 将均值漂移和动态阈值调整植入粒子滤波器的目标跟踪算法 190
2.2.7 基于全景图像的目标定位方法 192
2.2.8 基于全景图像的自主导航 193
第8章基于链式全景图的大范围场景漫游 195
5.1 链式全景图的组成 195
5.2 链式全景图的调度机制 195
5.3 变换系数的估计 195
5.1.1 针孔摄像机成像几何模型 196
5.1.2 平移运动下两幅图像之间的关系 196
5.1.3 变换系数的求取 197
5.4 平滑过渡的实现与平滑过渡质量评价 197
参考文献 199
附录1 矩阵理论 201
A1.1 基本知识 201
A1.1.1 矩阵 201 A1.1.2 行列式 202
A1.1.3矩阵的秩 204
A1.1.4矩阵的运算 204
A1.2矩阵的特征值?特征向量和相似性 209
A1.2.1矩阵的特征值与特征向量 209
A1.2.2 相似性 210
A1.3 正交矩阵 210
A1.4对称与反对称矩阵 212
A1.4.1对称矩阵 212
A1.4.2反对称矩阵 212
A1.5矩阵分解 213
A1.5.1正交三角分解 213
A 1.5.2 Cholesky 分解 214
A1.5.3奇异值分解 215
A1.6 最小二乘问题 216
A1.6.1用SVD解线性最小二乘问题 216
A1.6.2用正规方程求解线性最小二乘问题 218
A1.6.3齐次方程组的线性最小二乘解 218
附录2迭代估计方法 220
A2.1 非线性最优化原理 220
A2.1.1最优性条件 220
A2.1.2 迭代格式 221
A2.2无约束非线性最优化迭代 222
A2.2.1最速下降法 222
A2.2.2 Newton 迭代 222
8.3.1 A2.2.3 Levenberg-Marquardt 迭代 22477
第5章全景摄像机的标定 79
5.5 基于标定物的中心折反射摄像机的标定 79
5.1.4 基于一维标定物的全景摄像机标定方法 79
5.1.5 基于二维标定模板的全景摄像机标定 83
5.6 使用空间直线标定中心折反射摄像机 86
5.2.1 基于正交方向的消失点标定中心折反射摄像机 86
5.2.2 基于圆环点的中心折反射摄像机标定 90
5.2.3 基于直线投影的几何不变量的中心折反射摄像机标定 97
5.2.4 基于共点线束的中心折反射摄像机标定 107
5.2.5 基于正交线束的中心折反射摄像机标定 117
5.3 使用球标定中心折反射摄像机 119

第1 章 二维射影几何
1.1 射 影 平 面
本节首先通过在欧氏空间引入无穷远元素的方式来建立射影平面的概念,然后在射影平
面上引入齐次坐标,介绍对偶原理,通过引入复元素的方式将实射影平面扩充到了复射影平
面,最后定义了交比?这部分内容是学习二维射影几何的基础?
1.1.1 中心射影
中心射影又称为透视对应,是射影几何中的基本方法?下面给出中心射影的定义?
1.直线到直线的中心射影
定义1.1.1 设l,l ' 为两条相异的共面直线,O 为平面上不属于直线l,l ' 上的一个定点?
则由此确定了直线l 到l ' 的一个以O 为投射中心的中心射影?
若O 与l 上任一点A的连线OA交l ' 于点A' ,则称A'
为A在l ' 上的中心射影,直线OA称为投射线?或者,称A'
为A在该中心射影下的像,而称A为A' 的原像?显然,A也
是A' 在直线l 上的像,即一个中心射影的逆对应也是中心射
影?图1.1.1给出了直线l 到l ' 的一个中心射影?
若直线l 与l ' 有交点X ,则X 是中心射影的自对应点;
若直线l 与l ' 平行,则没有自对应点?对于取定的两直线l 与
l ' ,不同的投射中心将确定不同的中心射影?
如图1.1.1所示,当直线l 与l ' 不平行时,在直线l 上存在一点P ,使得OP ?? l ' ,这样OP
与l ' 不存在交点,即P 在l ' 上不存在像点,称P 为l 上的影消点?同样,在l ' 上也存在影消
点Q′?由于影消点的存在,欧氏几何中直线到直线的中心射影不是一一对应的?
2.平面到平面的中心射影
定义1.1.2 设π ,π ′为两个相异的平面,O 为不在此二平面上的任一定点?则由此确定了
平面π 到π ′上的点之间的一个以O 为投射中心的中心射影?
若O 与π 上任一点A的连线OA交π ′于点A' ,则称A' 为A在π ′上的中心射影,直线
OA称为投射线?或者,称A' 为A在该中心射影下的像,而称A为A' 的原像?同样,平面
到平面上点之间的中心射影的逆对应也是中心射影?图1.1.2 给出了平面π 到π ′上的点之间
的一个中心射影?
若平面π 与π ′的交线为x,则直线x上的任一点X 都是该中心射影的自对应点,进而,
直线x为该中心射影下的自对应直线;若平面π 与π ′平行,则没有自对应直线?对于取定的
两平面π 与π ′,不同的投射中心将确定不同的中心射影?__如图1.1.2 所示,当平面π 与π ′不平行时,在平面π 上存在一条直线u与点O 确定的平
面平行于平面π ′,这样直线u上的任一点U 与O 的连线均与平面π ′平行,于是,点U 在该
中心射影下不存在像点,是影消点,从而,直线u在平面π ′上不存在像,称直线u为平面π 上
的影消线?同样,在平面π ′上也存在一条影消线v′?由于影消线的存在,欧氏几何中平面到
平面上的点之间的中心射影不是一一对应的?
1.1.2 射影直线与射影平面
1.无穷远元素
影消点?影消线存在的根本原因是在欧氏几何中,相互平行的直线不存在交点?使得中
心射影能够在一般情况下一一对应的一个自然途径是给平行直线添加交点?为此给出下面的
约定?
约定1.1.1 (1)在每一条直线上添加唯一点,此点不是该直线上原有的点,称为无穷远
点,常用记号P∞,Q∞等表示无穷远点?
(2)相互平行的直线上所添加的无穷远点相同,不平行的直线上添加的无穷远点不同?
(3)同一平面上添加的全体无穷远点的集合为一条直线,称为无穷远直线,常用记号
∞, ∞ l m 等表示无穷远直线?
(4)空间里一切无穷远点的集合组成一个平面,称为无穷远平面,常用记号∞, ∞ α β 等表示
无穷远平面?
无穷远点?无穷远直线和无穷远平面统称为无穷远元素?
2.仿射直线和仿射平面
定义1.1.3 在欧氏直线上添加一个无穷远点便可得到一条新的直线,称为仿射直线?
仿射直线上的无穷远点把直线左右两端连接起来,仿射直线可以看成像圆一样的封闭图
形,如图1.1.3 是仿射直线的模型?实际上可以按照图1.1.4 的方式建立仿射直线与圆之间的
一一对应?如图1.1.4 所示,设圆C 与直线l 相切于点A ,点B 是A 的对径点( AB 是圆的直
径)?以B 为投射中心建立圆与仿射直线间的中心射影,圆上任一点P′与B 的连线交直线l 于
点P ,P 为P′在此中心射影下的像?当Q′在圆C 上离B 越来越近时,Q′的像Q 在直线l 上
离A 越来越远,自然地可以定义圆C 上点B 的像是直线l 上的无穷远点?这样的中心射影建立了圆与仿射直线间的一一对应,这样的对应是连续的,因此圆可以看成是仿射直线的一个
直观模型?
A B D
P∞ 图1.1.3 仿射直线模型 图1.1.4 圆与仿射直线间的中心射影
仿射直线与普通直线是不同的:如图1.1.3 所示,仿射直线上任一点A 不能把仿射直线分
成不连通的两段;而仿射直线上任意的两个非无穷远点A,B 把它分成两段,其中一段包含无
穷远点,另一段就是原来直线上的线段;仿射直线上的任意三个非无穷远点A,B,D 不能排成
唯一顺序(一点介于另两点之间)?
定义1.1.4 在欧氏平面上添加一条无穷远直线便可得到一个新的平面,称为仿射平面?
下面给出欧氏空间中的一个仿射平面的模型?如图1.1.5 所示,设有以O 为球心的球面,
过球心O 作平面α 交球面与大圆C ,这里规定:半球面S 为仿射平面,大圆C 上的点为无穷
远点,并且大圆C 的每一直径的两个端点视为相同的无穷远点,半球面上除大圆C 外的所有
点均为非无穷远点;大圆C 为无穷远直线,半球面上的半大圆弧为普通直线,相交于大圆C
上同一点的半大圆弧为平行直线?关于半球面与仿射平面间一一对应的建立留作练习?
在普通平面上,一条直线可以把平面分成不连通的两部分?但是在仿射平面上一条仿射
直线不能把它分成不连通的两部分?如图1.1.6 所示,l 是一条直线,A,B是l 两侧的点?直
线l 上包含无穷远点的线段AB 与直线l 不相交(两直线只有一个交点,直线l 与不包含无穷远
点的线段AB 相交)?这说明l 两侧的点可以用不与l 相交的线段连接,于是,直线l 不能把仿
射平面分成不连通的两部分?同样不难知道,图1.1.7中两条仿射直线l,m 将仿射平面分为两
个不同的区域Ⅰ和Ⅱ,这里,Ⅰ和Ⅰ是连通的,Ⅱ和Ⅱ也是连通的,但是,Ⅰ和Ⅱ两部分互
不连通?
P∞
P∞
O
S
C
P∞
B
A
l
图1.1.5 仿射平面模型 图1.1.6 一条仿射直线划分仿射平面 图1.1.7 两条仿射直线划分仿射平面
3.射影直线与射影平面
定义1.1.5 如果把仿射直线上的无穷远点与非无穷远点同等看待而不加区分,则称这条
直线为射影直线?
射影直线可以看成是封闭的,欧氏平面上的圆通常可看成射影直线的模型(图1.1.8)?如图1.1.8 所示,和仿射直线类似,射影直线上任一点A 不能把射影直线分成不连通的两段;而
射影直线上任意的两点A,B 把它分成两段;射影直线上的任意三个点A,B,D 不能排成唯一顺
序(一点介于另两点之间)?
将射影直线的概念加以推广,就可得到射影平面的概念?
定义1.1.6 在仿射平面上,如果对于普通元素和无穷远元素不加区分,即可得到射影平面?
将仿射平面的模型图1.1.5 中的无穷远元素和普通元素不加区分,就得到射影平面的一个
模型?射影平面也是封闭的?图1.1.9 是一个M?bius 带,它是射影平面的一部分,不难发现,
M?bius 带是一个单侧曲面?把M?bius 带与一个圆片沿着它们的边界粘合起来,便可得到射
影平面,射影平面是封闭的单侧曲面?但在欧氏空间中只能看到射影平面的一部分,即图1.1.9
中的M?bius 带?类似于仿射平面,射影平面中的任一直线l 不能把射影平面分成不连通的两
部分?而射影平面中的任意两条直线l,m 只能将射影平面分为两个不同的区域?
D
A B
M
图1.1.8 射影直线模型 图1.1.9 M?bius 带
根据前面的定义,可以得到射影平面上的点与直线的两个基本性质?下面以公理的形式
给出这两个基本性质?
公理1.1.1 射影平面上任意两个相异的点确定唯一直线?
公理1.1.2 射影平面上任意两条相异的直线确定唯一点?
4.射影基本形和图形的射影性质
平面射影几何主要涉及两对射影基本形,它们分别是关于点和直线的?
定义1.1.7 一直线l 内所有点A,B,C,???的集合称为点列,直线l 称为点列的底,记为
l(A,B,C,???)?
定义1.1.8 一平面内通过一点O 的所有直线a,b,c,???的集合称为线束,点O 称为线束的
中心(顶点),记为O(a,b,c,???)?
定义1.1.9 平面π 上所有点的集合称为一个点场,平面π 称为该点场的底?
定义1.1.10 平面π 上所有线的集合称为一个线场,平面π 称为该线场的底?
这四个射影基本形中,点列和线束为一维基本形,点场和线场为二维基本形?
下面介绍一些在平面射影几何中经常用到的基本图形?
定义1.1.11 平面内n(n≥3)个有序的点(无三点共线)及其两两顺次连线所构成的图形称
为简单n 点形?这n 个点称为顶点, n 条连线称为边?
定义1.1.12 平面内n(n≥3)条有序的直线(无三线共点)及其两两顺次相交的交点所构成
的图形称为简单n 线形?这n 条直线称为边, n 个交点称为顶点?
对于简单n点(线)形,图1.1.10和图1.1.11分别给出了n = 3和n = 4的情形?这里需要注
意,对于给定的n 个点( n 条直线),由它们所构成的简单n 点(线)形与这n 个点( n 条直线)的排序有关,不同的排序将得到不同的简单n 点(线)形?此外,这两类图形与欧氏几何中的多
边形是不同的概念?
(a) 简单三点形ABC (b) 简单三线形abc (a) 简单四点形ABCD (b) 简单四线形abcd
图1.1.10 简单三点形ABC 和简单三线形abc 图1.1.11 简单四点形ABCD 和简单四线形abcd
定义1.1.13 平面内n(n≥3)个点(无三点共线)及其每两点连线所构成的图形称为完全n
点形?这n个点称为顶点,n(n ?1) 2条连线称为边?
定义1.1.14 平面内n(n≥3)条直线(无三线共点)及其每两条直线的交点所构成的图形称
为完全n线形?这n条直线称为边,n(n ?1) 2个交点称为顶点?
在完全n点(线)形中,最常见的例子是n = 3,三点形与三线形?如图1.1.12所示,图1.1.12(a)
是三点形,图1.1.12(b)是三线形?
在完全n 点(线)形中,最重要的例子是
n = 4,完全四点(线)形?图1.1.13是一个完全四
点形ABCD ,图1.1.14 是一个完全四线形abcd ?
如图1.1.13 所示,完全四点形ABCD 的4 个顶点
为A,B,C,D;6条边为p,q,r, s,t,u;3对对边(没
有公共顶点的边)为p?q, r?s, t?u;3 个对边点
(对边的交点)为X,Y,Z ;对边三点形为XYZ ?如图1.1.14所示,完全四线形abcd 的4 条边
为a,b,c,d ;6 个顶点为P,Q,R, S,T,U ;3 对对顶(不在同一条边上的顶点)为
P?Q,R?S ,T?U ;3个对顶线(对顶的连线)为x, y, z ;对顶三线形为xyz?
图1.1.13 完全四点形ABCD 图1.1.14 完全四线形abcd
引入无穷远元素以后,便可通过中心射影建立一平面上两直线上点之间的一一对应?同
样,也可通过中心射影建立两平面之间点的一一对应?
定义1.1.15 经过中心射影后图形的不变性质(量)称为图形的射影性质(不变量)?
容易证明,保持点与点?直线与直线间的一一对应?同素性?结合性均为图形的射影性
质?这里的同素性指经过中心射影后,点对应点?直线对应直线;结合性指一点在一直线上,
则对应点在对应直线上?点列?线束?点场?线场?简单n 点(线)形?完全n 点(线)形均为