最新要闻
- 卡塔尔世界杯官方授权:富光1.5L顿顿桶29元发车
- 焦点精选!零碳排放!我国首款双源智能重卡成功下线:自带大辫子
- 视焦点讯!全球打广告最划算的一块屏?登上纽约时代广场屏幕只需40美元
- 《狂飙》后 张译宣传新剧《他是谁》:今晚优酷、央视开播
- 获赔近100万 报废奔驰翻新再销售被判退1赔3 网友:C级秒变大S
- 天天最新:dnf游戏闪退怎么解决方法_dnf游戏闪退
- 停车场闸机防骗能力太弱鸡:博主实测一部手机、一张纸均可通行
- 曾模仿东方甄选直播带货 好未来旗下学而思大规模重启线下招生
- 白皮书:购物平台为2022年度消费者投诉最多的行业
- 天天播报:315前海鲜加工厂的狠活被曝光:硼砂泡出黄金鲍 系明令禁止食品添加剂
- 世界焦点!两只售价3899元:华硕ROG推出魔方幻路由器月曜白限定版
- 环球速递!冲击全球的“硅谷银行破产”到底咋回事?会不会引爆危机?
- 视点!国产AYA新掌机Ayaneo 2 IGN9分好评:价格贵 但很好用!
- 【聚看点】央视3·15晚会官宣明晚举办 这次谁会被曝光?
- 世界最资讯丨配置大升级!新款比亚迪唐DM-i/汉EV冰川蓝实车亮相:绝对吸睛
- 上海测试9辆自动驾驶清扫车 可替代25名环卫工人
手机
iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
- 警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- 男子被关545天申国赔:获赔18万多 驳回精神抚慰金
- 3天内26名本土感染者,辽宁确诊人数已超安徽
- 广西柳州一男子因纠纷杀害三人后自首
- 洱海坠机4名机组人员被批准为烈士 数千干部群众悼念
家电
对极几何的理解和原理推导
特征点法前端
\(\quad\)前端又称为视觉里程计 (VO),它根据相邻图像间的信息来估计出相机的运动。估计值既可作为结果输出,也可以作为初始值提供给后端来进行优化。VO的实现,按照是否提取图像特征,分为特征点法前端和直接法前端。
1.0 特征点与特征点匹配
\(\quad\)如前所述,VO的主要问题是根据图像信息来估计相机的运动。一般来说,我们首先从图像中选取出比较有代表性的点,然后根据这些点来估计相机的位姿(和点的定位)。在SLAM 中,这些点也称为路标。
(资料图片)
1.1 特征点
\(\quad\)影像在计算机中是以数值矩阵的方式来进行存储的。因此,单个像素也是一种特征。但我们希望所提取的特征能够在相机运动后保持稳定,即有一定程度的不变性。而单个像素往往收到光照、视角、形变等等因素的影响而变得不稳定。因此,在计算机视觉中,常常通过人工设计的特征提取器来获取具有鲁棒性的图像特征。
\(\quad\)常见的图像特征就是角点。角点有易辨认,易提取的特点。但它也存在一些问题。比如距离的影响:从远处看是角点的地方,相机移近之后却不是了。还有旋转的影响:相机旋转后,不同影像上的同一角点可能就具有不同的外观。
\(\quad\)为此,研究者们设计了许多能够提取具有足够鲁棒性特征提取算法,如 SIFT, SURE, ORB等等。这些人工设计的特征点一般都具备如下性质:
- 可重复性:相同的特征点可以在不同的影像上找到;
- 可区别性:不同的特征点具有不同的表达;
- 高效率:同一图像中,特征点的数量远小于像素的数量;
- 本地性:提取的特征点仅仅和一小片图像区域相关。
\(\quad\)一个特征点由关键点(key-point) 和描述子(descriptor) 两部分组成。关键点指的是该特征点在图像上的位置信息,有些还具有方向、大小等其他信息。描述子通常是一个向量,它按照某种人为设计的方式,描述了特征点周围像素点信息。描述子一个重要设计原则就是外观相似的特征具有相似的描述子。
\(\quad\)由于SLAM是一种实时应用,因此除了鲁棒性之外,算法的实时性也应该被考虑。实际上,特征点提取和匹配占据了SLAM 主要的时间消耗。因此选用合适的特征提取算法至关重要。如 SIFT 算子虽好,但计算量太大,时间消耗过多。虽然大部分的特征提取都具有良好的并行性,可以使用 GPU来加速运算,但由此带来的成本提升也要纳入考量。而ORB算子是质量和效率之间比较好的折中方案,常被用在目前的视觉 SLAM 方案中。
1.2 ORB
\(\quad\)网上关于 ORB算子的资料很多,相关论文也可以直接获取。这里仅仅进行一个简要的叙述。
\(\quad\)ORB特征一样由关键点和描述子两部分组成。它的关键点为 Oriented FAST,是 FAST 算子的一种改进;描述子则是BRIEF。
\(\quad\)FAST 算子很高效,但不具备尺度和旋转不变性。通过构建影像金字塔,在不同尺度的影像上提取特征来增加尺度不变性。然后引入像素重心来确定特征点的方向,引入旋转不变性。中间还可以使用Harris 角点滤波来提取出N 个最有可能的角点。
传统的BRIEF 描述子一样不具备旋转不变性,同样通过像素重心所确定的特征点方向来作为描述子点方向,得到steer BRIEF。最后,为了得到更好的两两比较模式,利用一个角点数据集和贪心算法得到一个具有高方差、低相关的模式,用以构建合适的描述子,称为 rBRIEF。
原论文ORB 在此。
1.3 特征匹配
\(\quad\)完成特征提取后,就可以进行特征匹配了。特征匹配解决了SLAM 中的数据关联问题,即确定了当前看到的路标和之前看到的路标之间的对应关系。
\(\quad\)最简单的特征匹配方法就是暴力匹配(brute-force matching):计算待匹配特征点与其他特征点之间的距离,然后按距离排序,选取距离最近的特征点作为匹配点。在这里,描述子间的距离表示了两个特征点之间的相似程度,有欧式距离,汉明距离等等。对于特征点数量巨大的情况,快速近似最邻近(FLANN) 算法会更为高效。
\(\quad\)接下来,我们希望根据匹配的特征点对来估计相机的运动。根据相机原理或所有的数据等不同,有三种情况:
- 当使用单目相机时,我们只知道二维的像素坐标,因此问题是根据两组匹配的 \(2D\) 点来估计相机运动。该问题用对极几何来解决。
- 当相机为双目或为RGB-D 相机时,由于我们可以获得深度信息,问题就是估计两组 \(3D\) 点间的运动。该问题用$ ICP $ 来解决。
- 如果有 \(3D\) 点云及其对应像素点的 \(2D\) 坐标,也能顾及相机运动。该问题通过 $PnP $求解。
2.0 对极几何
2.1 对极约束
\(\quad\)上图展示了一对匹配好的特征点。我们希望求取这两帧之间的运动。设两个相机关心分别为 \(O_1\) 和 \(O_2\),第一帧到第二帧到运动为 \(R,t\)。点 $p_1 (x_1) $ 和点 $p_2 (x_2) $ 是同一个空间点在两个成像平面上的投影。连线 \(O_1 \ p_1\) 和 \(O_2 \ p_2\) 在三维空间中相交于点 \(P\)。这时,\(O_1, O_2\) 和 \(P\) 三点确定一个平面,称为极平面(epipolar plane)。\(O_1, O_2\) 连线与像平面 $I_1, I_2 $ 的交点分别为 \(e_1, e_2\)。点 \(e_1, e_2\) 称为极点(epipoles),是相机光心在另一幅影像上的投影。注意到这里 \(e_1, e_2\) 都位于像平面内。有时候它们有可能会落在成像平面之外。\(O_1, O_2\) 称为基线(baseline)。而极平面与两个像平面之间的交线 \(l_1, l_2\) 为极线(epipolar line),它们分别是射线 \(O_2 \ p_2\) 和 \(O_1 \ p_1\) 在对方影像上的投影。
\(\quad\)从几何上来看,射线 \(O_1 \ p_1\) 是像素点 \(p_1\) 所对应的物方点可能出现的位置:该射线上的所有点都有可能投影到点 \(p_1\) 上。射线 \(O_2 \ p_2\) 是像素点 \(p_2\) 所对应的物方点可能出现的位置。如果匹配正确的话,像素点 \(p_1, p_2\) 对应于同一个物方点。这两条射线的交点就是就是点 \(P\) 的空间位置。如果没有特征匹配,我们就必须在极线 \(l_2\) 上搜索 \(p_1\) 的匹配点。
现在我们从代数的角度上看,在第一帧的相机坐标系下,点 \(P\) 的空间位置为:
\[\mathbf{P}=[X, Y, Z]^T\]根据针孔相机模型,不考虑畸变,两个像素点 \(p_1\), \(p_2\) 点像素(\(u,v\))坐标分别为:
\[s_1\mathbf{p}_1=\mathbf{K}\mathbf{P},\ s_2\mathbf{p}_2=\mathbf{K}(\mathbf{R}\mathbf{P}+\mathbf{t})\]\(s_1p_1\)和 \(p_1\)成投影关系,他们在齐次坐标系下是相等的,我们称这种关系为尺度意义下相等,记作:
\[sp\simeq p\]在使用齐次坐标的时候,一个向量将等于它自身乘以一个非零的常数,这通常用于表达一个投影关系,\(s_1p_1=p_1\),这里可以参考一下14讲中P100页关于归一化平面和归一化坐标的定义:
- 归一化坐标可以看作相机前方 \(z=1\) 处的青面上的一个点,这个 \(z=1\) 的平面上的点也叫做归一化平面。归一化坐标再左乘内参即可得到像素坐标,所以我们可以将像素坐标 \((u,v)\) 看作是归一化平面上的点进行量化测量的结果\[\mathbf{RP_w +t}=\underbrace{[X,Y,Z]^T }_{相机坐标系} \rightarrow \underbrace{[\frac{X}{Z},\frac Y Z ,1]}_{归一化坐标系}\]我们再来看一下针孔相机的投影模型:\[\begin{pmatrix} u\\ v\\1\end{pmatrix} = \frac{1}{Z} \begin{pmatrix} f_x& 0 &c_x \\ f_y& 0 &c_y \\ 0 &0 &1\end{pmatrix}\begin{pmatrix} X\\Y \\Z\end{pmatrix} \overset{\mathrm{def}}{=} \frac{1}{Z}KP \]针孔相机的成像模型中本身对于\(Z\)就是未知的无约束的。
那么上述的两个投影关系可以写成:
\[p_1 \simeq KP,p_2\simeq K(RP+t)\]这里,\(K\) 为相机内参矩阵。如果使用齐次坐标,则前面的系数 $s_1, s_2 $可以省略。设:
\[\mathbf{x}_1=\mathbf{K}^{-1}\mathbf{p}_1,\ \mathbf{x}_2=\mathbf{K}^{-1}\mathbf{p}_2\]这里,\(x_1\) 和 \(x_2\) 分别为两个像素点在各自相机坐标系下的归一化平面坐标。将之代入上式(将 \(p_1,p_2\) 分别带入上面的式子)可得:
\[\mathbf{x}_2 = \mathbf{R}\mathbf{x}_1+\mathbf{t}\]这里本身笔者并不理解如何去除尺度因子之后仍然成立,于是接着带上尺度因子推倒了一遍,发现结果是一样的,也就是说尺度无法影响对极约束,当然求解出来的结果中的\(t\) 当然不是真实的尺度了,这里放出推倒过程:
将上式两边同时左乘\(\mathbf{t}^{\wedge}\),这相当于两侧同时和 $t $ 做外积:
\[\mathbf{t}^{\wedge}\mathbf{x}_2=\mathbf{t}^{\wedge}\mathbf{R}\mathbf{x}_1\]再将两侧同时左乘\(\mathbf{x}^T_2\):
\[\mathbf{x}^T_2\mathbf{t}^{\wedge}\mathbf{x}_2=\mathbf{x}^T_2\mathbf{t}^{\wedge}\mathbf{R}\mathbf{x}_1\]注意到\(\mathbf{t}^{\wedge}\mathbf{x}_2\) 是一个垂直于二者的向量,因此它和\(\mathbf{x}_2\) 的内积为0。由此可得:
\[\mathbf{x}^T_2\mathbf{t}^{\wedge}\mathbf{R}\mathbf{x}_1=0\]如果我们代入 $p_1, p_2 $ 则可得:
\[\mathbf{p}^T_2\mathbf{K}^{-T}\mathbf{t}^{\wedge}\mathbf{R}\mathbf{K}^{-1}\mathbf{p}_1=0\]这两个式子称为对极约束。它的几何意义为 $O_1, O_2 $和 \(\mathbf{P}\) 三点共面。这两个式子的中间部分分别称为本质矩阵(essential matrix) \(\mathbf{E}\) 和基础矩阵(fundamental matrix) \(\mathbf{F}\)。
\[\mathbf{E} = \mathbf{t}^{\wedge}\mathbf{R} \\ \mathbf{F} =\mathbf{K}^{-T}\mathbf{t}^{\wedge}\mathbf{R}\mathbf{K}^{-1} \\\mathbf{x}_2^T\mathbf{E}\mathbf{x}_1=\mathbf{p}_2^T\mathbf{F}\mathbf{p}_1=0\]\(\quad\)对极约束给出了两个匹配点的空间位置关系。\(\mathbf{E}\) 和 \(\mathbf{F}\) 之间只差了相机内参。在 SLAM中,相机内参一般都是已知的(也可以通过相机标定获得),所以实践中常常使用形式更简单的 \(\mathbf{E}\)。注意到 \(\mathbf{E}\) 完全由旋转矩阵 \(\mathbf{R}\) 和平移向量 \(\mathbf{t}\) 组成,由此我们也希望能够通过 \(E\) 来求得 \(\mathbf{R}\), \(\mathbf{t}\)。因此,相机位姿的估计就可以描述为:
- 通过匹配点求出 \(\mathbf{E}\);
- 根据E 求取 \(\mathbf{R}\), \(\mathbf{t}\)。
实际情况自然会比这个复杂。下面我们就来了解下这个求解过程。
2.2 本质矩阵
关于本大节(对极几何)的更详细的讲解和推导推荐看书 An Invitation to 3-D vision 的第五章。这章也正好是sample chapters 之一,可以免费阅读。地址在此Reconstruction from Two Calibrated Views .
本质矩阵 \(\mathbf{E} = \mathbf{t}^{\wedge} \mathbf{R}\) 是一个\(3 * 3\) 大小的矩阵,共 \(9\) 个未知数。它包含了一个相对位置信息 \(t\) 和一个旋转矩阵 \(R\)。所有本质矩阵也构成一个集合,具有以下的性质:
- 本质矩阵是由对极约束定义的。由上可知对极约束是一个等式为零的约束,所以对 \(E\) 乘以任意非零常数后,对极约束仍然满足。说明 \(E\) 在不同尺度下是等价的。
- 根据\(\mathbf{E} = \mathbf{t}^{\wedge} \mathbf{R}\),本质矩阵 \(E\) 的奇异值必定是\([\sigma,\sigma,0]^T\) 的形式。这称为本质矩阵的内在性质。想要详细的证明还请看上面的章样。
- 平易和旋转各自有 $3 \(个自由度,所以\)\mathbf{t}^{\wedge} \mathbf{R}$ 一共只有 \(6\) 个自由度。考虑到尺度等价性,本质矩阵 \(E\) 实际上只有\(5\)个自由度。
\(\quad\)既然 \(E\) 只有 \(5\) 个自由度,说明我们可以只用 \(5\) 对点来对其进行求解。但 \(E\) 的内在性质是非线性的,只用 \(5\) 对点求解会更麻烦些。考虑 \(E\) 的尺度等价性,可以使用 \(8\) 对点来求解 \(E\)。这就是八点法。
\(\quad\)考虑一对匹配点,它们的归一化坐标为\(\mathbf{x}_1 = [u_1, v_1,1]^T\) 和\(\mathbf{x}_2 = [u_2, v_2,1]^T\)。根据对极约束则有:
\[\begin{pmatrix}u_1, v_1, 1\end{pmatrix}\begin{pmatrix}e_1 & e_2 & e_3 \\e_4 & e_5 & e_6 \\e_7 & e_8 & e_9 \\\end{pmatrix}\begin{pmatrix}u_2 \\ v_2 \\ 1\end{pmatrix} = 0\]把矩阵 \(E\) 展开,写成向量的形式 (stacked version):
\[\mathbf{e} =[ e_1, e_2, e_3, e_4, e_5, e_6, e_7, e_8, e_9]^T\]对极约束就可以写成与 \(e\) 有关的线形形式:
\[[u_1u_2, u_1 v_2, u_1, v_1 u_2, v_1 v_2, v_1, u_2, v_2, 1] \mathbf{e} = 0\]\(8\)个特征点对就构成了一个线性方程组。设系数矩阵为 \(A\),它是一个 \(8 * 9\) 大小的矩阵,\(e\) 位于该矩阵的零空间 (Null Space) 中。如果矩阵 \(A\) 满足秩为 \(8\)(满秩)的条件(\(8\) 个点不共面),那么其零空间维度为 \(1\),即 \(e\) 构成一条线,这与 \(e\) 的尺度等价性是一致的。
求解出 \(E\) 后,问题就变成了如何从 \(E\) 中恢复出相机的运动 \(R,t\)。该过程可以由奇异值分解 (SVD) 得到。且对于任意一个本质矩阵 \(E\),有两组相对运动 \((R, t)\) 与之对应。同样地,详细证明请看上面的书籍章样。假设 \(E\) 的SVD分解为:
\[\mathbf{E} = \mathbf{U} \mathbf{\Sigma} \mathbf{V}^T\]其中,$U, V $ 是正交阵,\(\mathbf{\Sigma}\) 是奇异值矩阵。与 \(E\) 对应的两组 \((R, t)\) 分别为:
\[\begin{align}\mathbf{t}_1^{\wedge} = \mathbf{U} \mathbf{R}_z(\frac{\pi}{2}) \mathbf{\Sigma} \mathbf{U}^T, & \ \mathbf{R}_1 = \mathbf{U} \mathbf{R}^T_z(\frac{\pi}{2}) \mathbf{V}^T \\\mathbf{t}_2^{\wedge} = \mathbf{U} \mathbf{R}_z(-\frac{\pi}{2}) \mathbf{\Sigma} \mathbf{U}^T, & \ \mathbf{R}_2 = \mathbf{U} \mathbf{R}^T_z(-\frac{\pi}{2}) \mathbf{V}^T \\\end{align}\]其中,\(\mathbf{R}_z(\frac{\pi}{2})\) 表示沿 \(z\) 轴旋转 \(90\) 度的旋转矩阵。对比上面两个式子可以发现,这两组解其实是以参考帧为中心,绕 \(z\) 轴呈 \(180\) 度旋转对称的两组解,如下图所示(来自上面推荐的书籍):
\(\quad\)同时,由于 \(E\) 可以取任意符号,即 \(-E\) 和 \(E\) 是等价的,所以对任意一个 \(t\) 取负号又取得一个符合条件的解,所以一共有四组符合条件的解。
\(\quad\)我们可以将任意一对特征点代入所取得的\(4\)组解中,检测该点在两个相机下的深度值。显然物方特征点应该位于两个相机的前方,取两个深度值都为正的解即是正确的解。
\(\quad\)最后,使用带有噪声的数据利用线形方程组求解得到的E 可能并不是一个”正确“的解,即奇异值矩阵并不满足 \(E\) 的内在性质 \(\mathbf{\Sigma} = diag(\sigma, \sigma, 0)\) 而是\(\mathbf{\Sigma} = diag(\lambda_1, \lambda_2, \lambda_3)\),为从大到小的排序。通常的做法是取\(\mathbf{\Sigma} = diag(\frac{\lambda_1 + \lambda_2}{2},\ \frac{\lambda_1 + \lambda_2}{2}, 0)\) 或者直接取 \((1, 1, 0)\)。
2.3 单应矩阵
\(\quad\)前面我们提到,利用八点法来求解本质矩阵的一个前提是系数矩阵满秩,这也意味着八组特征点不能(近似)落在同一个平面上。但在一些情况中,如无人机俯拍影像,这个假设就不成立了。此时,可以利用单应矩阵 (Homography) \(H\) 来求解相机运动。
\(\quad\)考虑图像 \(I1\) 和 \(I2\) 有匹配好的特征点对 \(p_1\) 和 \(p_2\),这些特征点所对应的物方点 \(P\) 落在同一平面上。以第一张影像的相机坐标系为惯性系,该平面的法向量为\(n\),到惯性系的原点的距离为 \(d\),则该平面可以表示为:
\[\mathbf{n}^T \mathbf{P}=d\]整理得:
\[\frac{\mathbf{n}^T \mathbf{P}}{d} = 1\]影像 \(I2\) 相对于影像 \(I1\) 的运动为$ (R, t)$,则有:
\[\begin{align}\mathbf{P}_2 & = \mathbf{R} \mathbf{P}_1 + \mathbf{t} \\ & = \mathbf{R} \mathbf{P}_1 + \mathbf{t} \cdot \frac{\mathbf{n}^T \mathbf{P}_1}{d} \\ & = (\mathbf{R} + \frac{\mathbf{t} \mathbf{n}^T}{d}) \cdot \mathbf{P}_1\end{align}\]\(\quad\)这样,我们就得到了描述两个相机坐标系下同一物方点的转换关系,把中间括号内的部分抽取出来就得到了单应矩阵 \(H\)。当然,也可以在括号两端各加上相机矩阵 \(K\),得到\(\mathbf{K} (\mathbf{R} + \frac{\mathbf{t} \mathbf{n}^T}{d}) \mathbf{K}^{-1}\),这是高博书中的表示方式,描述了两个图像坐标之间的转换关系。
\(\quad\)单应矩阵包含了相机运动信息 \((R, t)\) 和对应平面的参数$ (n, d)$,同样是一个\(3 * 3\) 大小的矩阵,同样可以先通过匹配的特征点对计算 \(H\) 然后将之分解得到平移和旋转。值得注意的是,若相机运动为纯旋转,情形仍和单应矩阵相同,因为此时\(\mathbf{X}_2 = \mathbf{R} \mathbf{X}_1\) 或\(\mathbf{x}_1 = \mathbf{K} \mathbf{R} \mathbf{K}^{-1} \mathbf{x}_2\)。可见,旋转矩阵也是单应矩阵的一种。
由上可得:
\[\begin{pmatrix}u_2 \\ v_2 \\ 1\end{pmatrix} = \begin{pmatrix}h_1 & h_2 & h_3 \\h_4 & h_5 & h_6 \\h_7 & h_8 & h_9 \\\end{pmatrix}\begin{pmatrix}u_1 \\ v_1 \\ 1\end{pmatrix}\]需要注意的是这里的等号是在一个非零因子下成立的(齐次坐标)。实际处理中常常乘以一个非零因子使得 \(h_9 = 1\)。然后去掉这个非零因子可得:
\[u_2 = \frac{h_1 u_1 + h_2 v_1 + h_3}{h_7 u_1 + h_8 v_1 + h_9} \\v_2 = \frac{h_4 u_1 + h_5 v_1 + h_6}{h_7 u_1 + h_8 v_1 + h_9}\]整理得:
\[h_1 u_1 + h_2 v_1 + h_3 - h_7 u_1 u_2 - h_8 v_1 u_2 = u_2 \\h_4 u_1 + h_5 v_1 + h_6 - h_7 u_1 v_2 - h_8 v_1 v_2 = v_2\]如此,一组匹配点可以构造出两个约束(三组约束中只有两组线性独立)。于是,自由度为 \(8\) 的单应矩阵可以由4对特征点算出(不存在三点共线的情况)。这种将 \(H\) 转化为向量形式来直接求解的方式称为直接线性变换 (Direct Linear Transform, DLT)。
和本质矩阵的分解类似,分解单应矩阵H 也会得到4组解(如下所示)。这里的推导比较复杂(我也没看得很明白),还请参看前面的书籍章样。利用物方点的深度值为正(位于相机前方)的特性,可以排除两组解,剩下的两组解则需通过其他先验信息进行验证。
3.0 补充
3.1 尺度不确定性
\(\quad\)前面提到,\(E\) 具有尺度等价性,由它分解得到的 \((R, t)\) 也具有一个尺度等价性,但由于旋转矩阵 \(R\) 自身带有约束(行列式为 \(1\) 等),所以只有 \(t\) 具有一个尺度。换言之,分解 \(E\) 得到的其实是 \(qt\), q 为一个分零因子。而在通过分解 \(H\) 得到 \((R, t)\) 的时候,由于平面到坐标原点的距离未知,得到的 \(t\) 同样具有一个尺度等价性。在这种情况下,通常是将 \(t\) 进行归一化处理,即令其模长为 \(1\).
\(\quad\)对 \(t\) 长度的归一化直接导致了单目视觉的尺度不确定性。如果对轨迹和地图同时缩放任意倍数,我们得到的图像仍然是一样的。而对两张图像间的平移 \(t\) 进行归一化相当于固定尺度。以 \(t\) 的长度作为为单位长度,计算相机轨迹和特征点的三维位置。这被称为单目 slam 的初始化。初始化后,就可以利用 3D - 2D
来计算相机运动了。进行初始化的两张图像必须有一定程度的平移,而后都将以此步的平移为单位。
3.2 纯旋转
\(\quad\)在只有纯旋转的情况下,我们可以通过 \(H\) 来求取旋转。此时由于 \(t = 0\),\(E\) 也为 \(0\)。但此时我们无法利用三角测量来计算特征点的空间位置(不构成对极几何)。所以,单目初始化不能只有纯旋转,必须有一定程度的平移。
3.3 多余匹配
求解 \(E\) 和 \(H\) 都只需要用到少量的特征点对。而通过特征提取和匹配,往往能获得远超需要的特征点对。拥有这么多匹配点,在求解 \(E\) 或 \(H\) 的过程中当然可以构造一个最小二乘问题。但是,在可能存在误匹配的情况下,随机采样一致性(RANSAC
) 更受青睐。
关键词:
python语言基础
每日焦点!Mysql数据库未添加索引引发的生产事故
对极几何的理解和原理推导
卡塔尔世界杯官方授权:富光1.5L顿顿桶29元发车
焦点精选!零碳排放!我国首款双源智能重卡成功下线:自带大辫子
视焦点讯!全球打广告最划算的一块屏?登上纽约时代广场屏幕只需40美元
《狂飙》后 张译宣传新剧《他是谁》:今晚优酷、央视开播
获赔近100万 报废奔驰翻新再销售被判退1赔3 网友:C级秒变大S
每日快讯!10Wqps 超高并发 API网关 架构演进之路
Egg.js 学习笔记01
世界快看:git提交规范
【全球速看料】早起、冥想、阅读、写作、运动
焦点讯息:观察者模式——学习笔记
天天最新:dnf游戏闪退怎么解决方法_dnf游戏闪退
停车场闸机防骗能力太弱鸡:博主实测一部手机、一张纸均可通行
曾模仿东方甄选直播带货 好未来旗下学而思大规模重启线下招生
白皮书:购物平台为2022年度消费者投诉最多的行业
天天播报:315前海鲜加工厂的狠活被曝光:硼砂泡出黄金鲍 系明令禁止食品添加剂
世界焦点!两只售价3899元:华硕ROG推出魔方幻路由器月曜白限定版
卷起来!!!看了这篇文章我才知道MySQL事务&MVCC到底是啥?
蓝牙Mesh简介(一)设备标识:UUID和Mesh地址
开源免费:分享powershell读写k8s的etcd的脚本库
环球速递!冲击全球的“硅谷银行破产”到底咋回事?会不会引爆危机?
视点!国产AYA新掌机Ayaneo 2 IGN9分好评:价格贵 但很好用!
【聚看点】央视3·15晚会官宣明晚举办 这次谁会被曝光?
世界最资讯丨配置大升级!新款比亚迪唐DM-i/汉EV冰川蓝实车亮相:绝对吸睛
上海测试9辆自动驾驶清扫车 可替代25名环卫工人
干货来袭!3天0基础Python实战项目快速学会人工智能必学数学基础全套(含源码)(第3天)概率分析篇:条件概率、全概率与贝叶斯公式
韩国电视台剪掉杨紫琼获奖感言:鼓励女性部分没了
腾讯会议重大调整!取消免费300人不限时会议使用
世界看热讯:斥资10亿美元!NASA将开发太空拖船:实现国际空间站受控坠落
那些曾被315点过名的品牌怎么样了?英菲尼迪道歉并更换变速箱 汉堡王被罚
实时焦点:车圈大V杨学良晒魅族20 Pro真机:极简设计 好看又好用!
与微软聊天机器人对话
Vue项目迁移小程序,实操干货分享
戴尔PC要100%离开中国!完整时间表曝光:真着急
天天微资讯!韩媒称特斯拉停止与比亚迪合作 马斯克:虚假报道、双方关系积极
魔兽世界将推出全新硬核玩法:一命通关、挂了就得重来
ai文件怎么打开?ai文件用什么软件打开和编辑?
斐讯k1支持千兆吗?斐讯k1路由器怎么设置?
windows如何一键还原?windows截图保存在哪里?
声卡怎么调试?声卡什么牌子的音质比较好?
笔记本fn键在哪里?fn键怎么开启和关闭?
每日短讯:可插拔组件设计机制—SPI
今日热讯:Vim 备忘清单_开发速查表分享
世界头条:Linux进程的创建与销毁
鲨鱼求偶被误认吃“同事” 官方回应:是繁殖行为 撕咬有分寸
天天热文:减肥不吃主食?医生提醒:可致大脑功能衰退
全球热消息:《小丑2》Lady Gaga小丑女新片场照 造型太好看了
全球报道:极速直追中国高铁!碳陶瓷刹车套件特斯拉Model S Plaid打破单圈纪录
【全球报资讯】一键开盖:哈尔斯600ml水杯9.9元狂促 Tritan材质款23.9元
天天热头条丨阳高县气象台发布大风蓝色预警【Ⅳ级/一般】
全球微头条丨java操作excel文件——POI
天天讯息:剑指 Offer 68 - II. 二叉树的最近公共祖先(java解题)
分布式架构-可观测性
obs studio 插件
看热讯:小米子公司发通告:拼多多、京东、淘宝上的“紫米官旗”不是我
硅谷银行停业没影响!贾跃亭要“翻身”:4月26日FF91终极发布
世界今日讯!德国反对2035禁售燃油车!欧盟做出让步:内燃机还有活路
天天观热点:Intel要求电源厂商使用单一规格制作12VHPWR接头
马斯克减肥神药遭疯抢!欧洲药管局警告:2023年都会短缺
天天热讯:DockQuery | 基于E-R图的数据建模功能使用实践
宝马iX3高速撞车 车主:车道纠偏系统和自己抢方向盘酿事故
环球最新:公司回应因给客户倒水太满开除员工:该走啥程序走啥程序
新机型“无可奉告”:任天堂称对Switch未来充满信心
【全球速看料】史上最大规模!魅族领克无界生态发布会官宣:魅族20系列、Flyme 10来了
全球视点!一加逆袭!成为2023年销量增速最快的品牌:友商普遍下滑
共314套房源!昌平区公租房配租公告来了
焦点资讯:GO语言学习笔记-测试篇 Study for Go ! Chapter ten- Test
要闻速递:面试官:怎么删除 HashMap 中的重复元素?第 3 种实现思路,99% 的人不会!
世界快消息!k8s的Helm 工具安装
RPC框架JMH测试-chatgpt自动生成
前端设计模式——代理模式
全球视讯!特斯拉叫停与比亚迪合作?比亚迪回应:不实信息
环球即时:苹果人事巨震:11位高管扎堆离职 库克也要降薪40%
微头条丨燃油车 真凉透了吗
【天天时快讯】采用全新NT架构:新Windows端QQ首个版本将于24日发布
世界资讯:剧版打破多项纪录!爱奇艺考虑拍《狂飙》电影版 网友评论两级分化
每日看点!插件化开发详解
关注:读Java性能权威指南(第2版)笔记16_垃圾回收C
全球滚动:京东小程序CI工具实践
巧妙使用SQL Server的计算列实现项目唯一规则快速定制
天天快资讯:免费玩没戏 《暗黑4》不会加入微软XGP:四五百块还是要花的
首位华裔奥斯卡影后!杨紫琼84岁母亲喜极而泣 为女儿感到自豪
世界微资讯!Redis内存碎片深入分析
多举措提高职教吸引力 助力职业教育“强起来”“活起来”
焦点简讯:曝苹果最快2024年商用MicroLED屏:比OLED更香
今日快讯:7月1日普及!我国将全面淘汰传统后视镜 都换汽车电子后视镜:上游供应链已准备好
全球今日报丨老人捡钱不愿归还 女孩崩溃下跪引网友愤怒:律师称可起诉 专家喊话不能仗着年龄大
环球新动态:适合买二手的硬件只有4个:学会省1000元
K8S-Helm
资讯:04-数据类型
环球动态:在Linux中安装containerd作为kubernetes的容器运行时
当前通讯!“自杀式”降价杀红眼:燃油车真凉透了?
乘客出地铁黄鹤楼站的统一姿势:集体反站拍摄绝美夜景
天天动态:大爷充29万做美容反悔起诉退钱:宣称能打通“任督二脉”等
世界聚焦:硅谷银行破产:在营销号那儿 咋又成美国赢了?
从大厂离职后 游戏程序员们过得咋样?
鲍美瑶男朋友大白_鲍美瑶
即时看!第129篇:JS模块化开发