一种真实感三维彩色纹理重建方法[发明专利]

(12)发明专利申请

(10)申请公布号 CN 110599578 A(43)申请公布日 2019.12.20

(21)申请号 201910687176.1(22)申请日 2019.07.29

(71)申请人 深圳市易尚展示股份有限公司

地址 518000 广东省深圳市宝安区新安街

道海旺社区中心区甲岸南路易尚科技创意大厦二十三层

申请人 清华大学

(72)发明人 陈海龙　曹良才　吴佳琛　刘梦龙　(74)专利代理机构 北京天盾知识产权代理有限

公司 11421

代理人 黄鹏飞(51)Int.Cl.

G06T 15/04(2011.01)G06T 7/80(2017.01)G06T 5/50(2006.01)

权利要求书2页 说明书11页 附图2页

G06T 7/41(2017.01)

CN 110599578 A()发明名称

一种真实感三维彩色纹理重建方法(57)摘要

本发明提供一种真实感三维彩色纹理重建方法，包括：预标定三维传感器以及彩色纹理相机的系统参数；获取多视角三维图像与二维彩色纹理图像；利用所述多视角三维图像生成三维网格模型；由所述系统参数建立各个视角下所述二维彩色纹理图像与所述三维网格模型之间的映射关系；基于所述映射关系进行纹理融合得到融合图像以实现整体三维模型的彩色纹理重建；根据所述映射关系生成对应的纹理贴图。本发明通过引入复合权重参数来评价纹理颜色的置信度。通过对投影纹理图像进行加权平均，可以消除纹理的不连续性。对于不精确的几何图形，引入了表示两幅图像结构相似性的双向相似性函数来校正不一致，生成真实感纹理。

CN 110599578 A

权　利　要　求　书

1/2页

1.一种真实感三维彩色纹理重建方法，其特征在于，包括：预标定三维传感器以及彩色纹理相机的系统参数；获取多视角三维图像与二维彩色纹理图像；利用所述多视角三维图像生成三维网格模型；

由所述系统参数建立各个视角下所述二维彩色纹理图像与所述三维网格模型之间的映射关系；

基于所述映射关系进行纹理融合得到融合图像以实现整体三维模型的彩色纹理重建；根据所述映射关系生成对应的纹理贴图。

2.根据权利要求1所述的真实感三维彩色纹理重建方法，其特征在于，所述纹理融合是通过深度数据定义复合权重的方法评估每个纹理像素的置信度，并根据各个视角下的置信度进行加权平均以计算融合结果。

3.根据权利要求2所述的真实感三维彩色纹理重建方法，其特征在于，所述复合权重由下式计算获得：

f(xk)＝fnorm(xk)·fdepth(xk)·fedge(xk)

其中，法线权重边缘权重

深度权重

且每项权重经过归一化，取值范围为[0,1]。

4.根据权利要求3所述的真实感三维彩色纹理重建方法，其特征在于，所述法线权重中的系数取值为：a＝0.1，b＝50°，所述深度权重中的系数取值为：a＝0.4，b＝50mm，d0＝55mm，所述边缘权重中的系数取值为：a＝-0.08，b＝50mm。

5.根据权利要求1所述的真实感三维彩色纹理重建方法，其特征在于，在原始所述二维彩色纹理图像与融合图像之间引入目标图像，并根据每个视角下所述融合图像的位移情况，采用双向相似度函数EBDS(S,T)对所述原始二维彩色纹理图像进行重建计算生成能量函数，并通过最小化能量函数以使得全局的所述目标图像发生位移而减少整体模型纹理融合的图像模糊，最终得到新的高分辨率的目标图像。

6.根据权利要求5所述的真实感三维彩色纹理重建方法，其特征在于，所述能量函数还包括光学测度一致性函数EC：

其中Mi表示第i个视角下的所述融合图像，xk表示图像的像素位置，P(·)表示投影函数，N表示视角的数量。wj表示第j个视角下图像的复合权重。

7.根据权利要求6所述的真实感三维彩色纹理重建方法，其特征在于，所述能量函数E最终被构造成：

2

CN 110599578 A

权　利　要　求　书

2/2页

E＝E1+λE2其中λ是两个能量函数E1和E2之间的比例因子。

8.根据权利要求7所述的真实感三维彩色纹理重建方法，其特征在于，所述目标函数通过两步交替优化策略求解，即对以下两个步骤进行迭代求解：

S1:固定所述融合图像Mi，优化所述目标图像Ti；S2：固定所述目标图像Ti，优化所述融合图像Mi。

9.根据权利要求8所述的真实感三维彩色纹理重建方法，其特征在于，所述步骤S1中，所述目标图像Ti用下式表达：

所述步骤S2中，所述目标函数Mi用下式表示：

10.根据权利要求9所述的真实感三维彩色纹理重建方法，其特征在于，所述迭代运算过程中采用多尺度优化方法，即在低尺度阶段，所有图像降采样到低的分辨率并进行上述迭代运算。当能量函数E收敛后，所述目标图像和所述融合图像升采样到更大的尺度，而所述原始二维彩色纹理图像依然进行降采样，目的是为了将原始二维彩色纹理图像的高频信息注入到所述目标图像和所述融合图像中。

3

CN 110599578 A

说　明　书

一种真实感三维彩色纹理重建方法

1/11页

技术领域

[0001]本发明属于电子技术领域，更具体地说，是涉及一种真实感三维彩色纹理重建方法。

背景技术

[0002]三维测量技术在城市测量、人体测量、原型制作等多个行业和学科中得到了广泛的应用，光学三维测量技术为获取三维图像提供了一种灵活的方法。随着电荷耦合器件(CCD)、数字光处理(DLP)投影仪等高性能光电器件的发展，光学三维测量可以获得高灵敏度、高速度的数据。通过动态空间变化图案照明的结构光三维测量技术在三维测量系统中得到了广泛的应用，图案可以是周期性条纹、二维网格或随机斑点。物体的几何形状被扭曲的结构光图案编码以期从捕捉到的图像中准确地解调出来。[0003]然而，三维几何测量无法解决颜色问题。一般情况下，多视图图像被捕获用于几何曲面上的映射，以生成于几何重构的颜色信息。几何形状或相机姿势的任何误差都可能导致映射难以对齐，不同视图之间的不一致照明可能导致颜色不真实，上述问题将导致纹理伪影，如模糊、重影和颜色不连续。[0004]为了解决上述问题，目前已提出了多种纹理重建方法。通过在空间域或频率域中进行图像融合可以提升颜色的一致性，但这些方法是以牺牲图像清晰度为代价来实现的。利用马尔可夫随机场优化方法进行图像拼接是避免图像退化的另一种方法，然而可见的接缝并不能完全消除。后处理通常用于调整接缝处纹理块的颜色，如泊松融合法、热扩散法和其他颜色调整方法。通过优化摄像机姿态可以用来纠正对齐不准的现象，如手动摄像机校准、基于互信息的方法和最大化颜色一致性的方法等。有些方法通过使用非刚性校准技术校正输入图像来处理偏差。例如，引入了用于图像扭曲的光流方法来解决图像偏差问题。另外，超分辨率方法已被提出，以克服模糊问题。最近的一种方法提出了一种基于补丁的多幅图像纹理映射优化方法。在上述方法中，虽然采用了多种手段来消除各种伪影，但均需要人工参与从而降低了效率。

[0005]为了解决上述问题中的至少一种，本文提出了一种真实感三维彩色纹理重建方法。

发明内容

[0006]为解决上述问题，本发明提供一种真实感三维彩色纹理重建方法，其特征在于，包括：预标定三维传感器以及彩色纹理相机的系统参数；获取多视角三维图像与二维彩色纹理图像；利用所述多视角三维图像生成三维网格模型；由所述系统参数建立各个视角下所述二维彩色纹理图像与所述三维网格模型之间的映射关系；基于所述映射关系进行纹理融合得到融合图像以实现整体三维模型的彩色纹理重建；根据所述映射关系生成对应的纹理贴图。

[0007]在一些实施例中，所述纹理融合是通过深度数据定义复合权重的方法评估每个纹

4

CN 110599578 A

说　明　书

2/11页

理像素的置信度，并根据各个视角下的置信度进行加权平均以计算融合结果。所述复合权重由下式计算获得：

[0008]f(xk)＝fnorm(xk)·fdepth(xk)·fedge(xk)

[0009]

其中，法线权重

边缘权重

深度权重

且每项权

重经过归一化，取值范围为[0,1]。所述法线权重中的系数取值为：a＝0.1，b＝50°，所述深

度权重中的系数取值为：a＝0.4，b＝50mm，d0＝55mm，所述边缘权重中的系数取值为：a＝-0.08，b＝50mm。

[0010]在一些实施例中，在原始所述二维彩色纹理图像与融合图像之间引入目标图像，并根据每个视角下所述融合图像的位移情况，采用双向相似度函数EBDS(S,T)对所述原始二维彩色纹理图像进行重建计算生成能量函数，并通过最小化能量函数以使得全局的所述目标图像发生位移而减少整体模型纹理融合的图像模糊，最终得到新的高分辨率的目标图像。

[0011]在一些实施例中，所述能量函数还包括光学测度一致性函数EC：

[0012]

其中Mi表示第i个视角下的所述融合图像，xk表示图像的像素位置，P(·)表示投影函数，N表示视角的数量。wj表示第j个视角下图像的复合权重。[0014]在一些实施例中，所述能量函数E最终被构造成：

[0013][0015]

[0016][0017]

E＝E1+λE2[0018]其中λ是两个能量函数E1和E2之间的比例因子。[0019]在一些实施例中，所述目标函数通过两步交替优化策略求解，即对以下两个步骤进行迭代求解：S1:固定所述融合图像Mi，优化所述目标图像Ti；S2：固定所述目标图像Ti，优化所述融合图像Mi。

[0020]所述步骤S1中，所述目标图像Ti用下式表达：

[0021]

[0022]

所述步骤S2中，所述目标函数Mi用下式表示：

5

CN 110599578 A

说　明　书

3/11页

[0023]

[0024]

在一些实施例中，所述迭代运算过程中采用多尺度优化方法，即在低尺度阶段，所

有图像降采样到低的分辨率并进行上述迭代运算。当能量函数E收敛后，所述目标图像和所述融合图像升采样到更大的尺度，而所述原始二维彩色纹理图像依然进行降采样，目的是为了将原始二维彩色纹理图像的高频信息注入到所述目标图像和所述融合图像中。[0025]本发明的有益效果：提出了一种真实感三维彩色纹理重建方法，通过引入复合权重参数来评价纹理颜色的置信度。通过对投影纹理图像进行加权平均，可以消除纹理的不连续性。对于不精确的几何图形，引入了表示两幅图像结构相似性的双向相似性(BDS)函数来校正不一致，生成真实感纹理。附图说明

[0026]图1是根据本发明一个实施例的真实感三维彩色纹理重建方法示意图。[0027]图2是根据本发明一个实施例的各类权重曲线示意图。

[0028]图3是根据本发明一个实施例的基于BSF的彩色纹理融合算法流程图。

具体实施方式

[0029]下面结合具体实施方式并对照附图对本发明作进一步详细说明，应该强调的是，下述说明仅仅是示例性的，而不是为了本发明的范围及其应用。

[0030]图1所示的是根据本发明一个实施例的真实感三维彩色纹理重建方法示意图。[0031]步骤101中先预标定三维传感器以及彩色纹理相机的系统参数。这里的三维传感器用于获取采集深度图像，即三维图像，三维传感器可以是基于结构光技术的双目视觉三维传感器，比如由数字条纹投影仪以及双彩色相机组成的双目视觉三维传感器。当然，任意可采集三维图像的三维传感器均可采用，比如单目结构光三维传感器、时间飞行三维传感器等。彩色纹理相机用于采集高分辨率的物体纹理信息，比如可以采用高分辨率单反相机等。标定即要对三维传感器、彩色纹理相机的内部参数进行标定，也要对二者的相对外参进行标定。

[0032]在一个实施例中，三维传感器含有三个相机，其中两个是用于生成深度数据的黑白工业相机，第三个是用于采集纹理图片的彩色相机。三维传感器的标定是后续生成深度数据及进行纹理融合的前提。以下将从单相机的数学模型出发，描述黑白相机组成的双目传感器的标定，以及彩色纹理相机标定的原理。[0033]相机模型。

[0034]如果忽略成像系统的衍射效应，并假设相机镜头严格满足傍轴条件，则相机成像可以等效为小孔成像，其成像过程满足透视投影变换，设物点在世界坐标系下标记为Xw＝(Xw,Yw,Zw)T，在图像坐标系下的理想像点为mc＝(u,v)T，则成像过程表示为

6

CN 110599578 A

说　明　书

4/11页

[0035]

[0036]其中，上标表示齐次坐标；Xc表示物点在相机坐标系下的坐标；是Xc在相机像面上的投影；Rc、tc分别为世界坐标系到相机坐标系的

旋转矩阵和平移向量，称为相机的外部参数；Kc是相机内部参数矩阵，包括沿图像坐标轴的

等效焦距(fu,fv)T，光心在图像平面上的投影，即图像平面的主点(u0,v0)T，以及图像的倾斜因子γ；Mc＝Kc[Rc|tc]称为投影矩阵，同时包含了相机的内外参；λ＝Zc是尺度因子。[0037]真实的光学成像系统由于成像镜头的加工工艺、结构装配等因素的影响，必然导致实际成像面与上述理想成像面之间存在偏差，称之为相机镜头畸变。经典的Brown-Conrady模型是目前应用最广泛的镜头畸变模型，其畸变可表示为：[0038]x′c＝xc+Δ(xc),

[0039]

[0040]

T

其中，x′Δ(xc)表示畸变项，包括径向畸变(radial c＝(x′c,y′c)表示有畸变像点；

distortion)和离心畸变(decentering distortion)；是无畸变图像点到主点

的距离；(k1,k2,k3,…)和(p1,p2,p3,…)分别是径向畸变和离心畸变参数。通常三项径向畸

变和两项离心畸变已经满足精度要求。令k＝(k1,k2,k3,p1,p2)T表示畸变参数向量，则包含镜头畸变的相机模型表示为

[0041]

在式(3)表示的非线性相机模型中，k与Kc表示相机的内参，Rc与tc表示相机的外

参。相机标定过程通常是最小化标靶基准点到实际图像点的重投影误差，即Xc→mc，因此通过解析表达式x′k)可以对理想像点加畸变，即从无畸变像点xc计算出有畸变c＝xc+Δ(xc；像点x′而三维重建过程则是通过实际图像点构建出准确物点，即Xc→mc。三维重建过程则c。

是通过实际图像点重构物点的空间坐标，即mc→Xc，此过程需要去除畸变，即从有畸变的实际像点x′由于式(2)是一个复杂的非线性函数，无法获得其逆函数的c计算出无畸变像点xc。解析表达式，考虑到畸变项相对较小，可用递归逼近的方法得到无畸变像点的数值解：

[0043]

[0042]

使用有畸变像点近似为初始的无畸变像点，通过控制迭代次数即可得到较为准确的无畸变像点。

7

[0044]

CN 110599578 A[0045]

说　明　书

5/11页

双目传感器标定。

[0046]由左右两个相机可构成基于双目立体视觉的三维传感器，通常将世界坐标系设立在相机上。以左相机为例，则双目传感器的数学模型表示为[0047]Xl＝RlXw+tl  (5)

[0048]

[0049]

其中，I为单位矩阵，Rs和ts为左相机坐标系到右相机坐标系的旋转矩阵与平移向量，[Rs|ts]表示传感器的结构参数，满足

[0050][0051]

双目标定的目标就是确定两个相机的内部参数以及两个相机间的结构参数。[0052]相机标定的过程通常以标靶基准点的投影像点与实际测量图像点的重投影误差作为优化目标函数，从标靶图像数据中获得内外参数的最优估计值。双目传感器标定的目标函数表示为

[0053][00]

其中，m′l和m′r是真实图像坐标，和是根据模型计算的基准点的重投影图像

坐标。可以采用通过Gauss-Newton或者Levenberg-Marquardt优化算法[207]对上式进行优化

求解，最终得到系统参数。[0055]彩色纹理相机标定。

[0056]彩色纹理相机的作用是获取物体的彩色二维图像信息，通过建立三维几何模型到二维彩色图像的映射关系，获得三维网格的颜色信息，最终实现彩色三维成像。为实现三维几何模型到二维彩色图像的映射，需要预先求解彩色纹理相机的内部参数和结构参数，即标定彩色纹理相机。通常情况下，彩色三维传感器获取物体彩色图像的方式有两种：①双目传感器的两个相机本身是彩色相机，可以同时获取深度信息和彩色纹理信息，这种情况下通过双目传感器标定已经确定了相机内外参数，无需额外的标定操作；②双目相机与彩色相机分离，需要额外标定彩色相机。在实际应用过程中，这两种方式均有优缺点。第一种方式结构简单，成本低，但是由于彩色相机受到拜尔滤波成像原理的影响，由彩色图像转换得到的灰度图像的灰阶精度比直接从黑白相机获取的更低，从而影响了深度数据的精度。另外考虑到三维测量速度，双目传感器所使用的工业相机的分辨率不能太高，因而了彩色纹理图像的分辨率。第二种方式结构相对复杂，成本也较高，但是由于不受深度数据采集的，可以根据需求选取专用的彩色相机，比如专业单反相机等，从而达到非常高的分辨率和色彩还原度。

8

CN 110599578 A[0057]

说　明　书

6/11页

设左相机坐标系为三维传感器坐标系，则三个相机的结构参数为：

[0058]

[0059]

其中，Rt和tt分别为世界坐标系到彩色相机坐标系的旋转矩阵和平移向量，Rp和tp

为左相机和彩色纹理相机之间的旋转矩阵与平移向量。为了获得更高精度的结构参数，我们把变换矩阵加入到三相机的非线性目标函数中，通过Gauss-Newton或者Levenberg-Marquardt的方法最小化目标函数实现相机参数估计：

[0060]

其中τ＝{Kl,Kr,Kc,kl,kr,kc,Rs,ts,Rp,tp},Kc、kc分别为彩色相机的内参。[0062]三维传感器标定一般流程

[0063]以圆形基准点的平面标靶为例，具体标定流程如下：[00](1)标靶图像基准点提取：拍摄多组标靶图像，提取标靶图像上的圆心坐标并与已知的基准点三维坐标进行对应，以基准点的三维坐标和图像坐标作为输入参数求解和优化传感器的系统参数；[0065](2)获取相机参数初值：先不考虑镜头畸变，采用线性相机模型估计相机的内外参数；为了防止下一步骤目标函数过拟合以及加速目标函数的收敛速度，采用最小二乘算法对估计的参数进一步优化，得到的结果作为相机参数和传感器结构参数的初值；[0066](3)非线性优化传感器参数：在相机模型中加入镜头畸变，采用非线性相机模型和传感器结构参数构造优化目标函数，通过最小化目标函数实现传感器参数的最优估计。[0067]回到图1，步骤102中利用三维传感器以及彩色纹理相机对被物体进行多视角采集以获取多视角三维图像与二维彩色纹理图像。在一个实施例中，可以将被测物体放置在一个旋转台上，当旋转台进行旋转时利用三维传感器以及彩色纹理相机对被测物体进行采集，从而可以采集到包含被测物体360度信息的多个视角下的三维图像以及二维彩色纹理图像。

[0068]步骤103利用所述多视角三维图像生成三维网格模型。

[0069]步骤104由所述系统参数建立各个视角下所述二维彩色纹理图像与所述三维网格模型之间的映射关系以实现网格参数化。

[0070]步骤105基于所述映射关系进行纹理融合得到融合图像以实现整体三维模型的彩色纹理重建。在一个实施例中，可以根据映射关系将多视角的二维彩色纹理图像投影到三维网络模型上，当所有视角下的二维彩色纹理图像均进行投影之后，即可以得到彩色三维纹理模型，即实现了整体三维模型的彩色纹理重建。

[0071]步骤106根据所述映射关系生成对应的纹理贴图。为了便于保存，最后根据映射关系生成多幅纹理贴图，并将三维网格模型和纹理贴图以obj、ply、wrl等格式进行保存。可以理解的是，在实际应用中，需要经常对该模型进行新的网格参数化并生成新的纹理贴图。

9

[0061]

CN 110599578 A[0072]

说　明　书

7/11页

将所有建立映射关系的纹理图像进行均值运算是一种直接且简单的全局纹理融

合方法，但是实际上由于光照不均以及物体形貌变化等关系，彩色相机采集的物体表面图像的亮度也不一致，导致融合结果出现比较明显的颜色跳变。为了实现具有真实感的三维彩色纹理重建，本专利提出采用基于复合权重的纹理融合是解决纹理色彩跳变、实现不同视角的纹理边界自然过渡的有效方法。即通过深度数据定义复合权重的方法来评估每个纹理像素的置信度，根据各个视角下的置信度进行加权平均计算融合结果。

[0073]这里引入Sigmoid核函数(也叫logistic函数)进行复合权重的分配。Sigmoid核函数定义如下：

[0074]

其中f(·)∈(0,1)，系数a和b为实数，控制Sigmoid曲线的分布。在复合权重中引

入Sigmoid核函数是为了通过系数的调节灵活控制权重曲线以满足实际需求。复合权重包含法线权重、深度权重以及边缘权重。

[0076]法线权重是根据物体表面法向与相机视线方向的夹角进行权重分配的。根据经典的双向反射率(BRDF)模型，相机采集物体表面的亮度与光源入射角、物体表面法向、相机视线方向、表面反射率等参数有关系。然而，在实际应用中很难获得这些参数的准确值，比如光源的具体空间位置、物体表面的真实反射率等等。因此，我们将法向权重近似为Sigmoid函数。设图像某一有效区域中物体表面法向与相机视线方向的夹角为Δθ则法向权重满k，足：

[0075][0077]

其中xk为图像中的像素，夹角越大，权重越低。法向权重曲线如图2(a)所示，曲线

中系数a＝0.1，b＝50°。

[0079]深度权重是根据物体表面到相机成像面的距离进行权重分配的。由于相机成像模型受到景深(DOF)的，当物体表面的某些区域超出镜头的景深范围时，会因为离焦而变得模糊，从而对纹理融合质量造成不良影响。深度权重以最佳成像距离为基准，偏离程度越大，权重越小，且在景深范围内权重衰减慢，临近景深边界处衰减得快，超出景深范围迅速截止。深度权重定义如下：

[0080][0081]

[0078]

其中D(·)表示物体表面点d到最佳成像基准面d0的最短距离。深度权重曲线如图2(b)所示，曲线中系数a＝0.4，b＝50mm，d0＝55mm。

[0082]边缘权重是根据图像中目标像素点到有效区域的边缘轮廓线的最短欧氏距离进行权重分配的。由于不同视角下的纹理融合在边缘处容易引起亮度跳变，所以目标像素点距离有效区域的边缘轮廓线越近，权重越低。本文的边缘权重定义如下：

[0083]

[0084]

其中D(·)表示点xk到边缘轮廓线的最短距离。边缘权重可以显著减少纹理边界

10

CN 110599578 A

说　明　书

8/11页

处的颜色跳变，是纹理融合中非常重要的权重函数。边缘权重曲线如图2(c)所示，系数a＝-0.08，b＝50mm。

[0085]通过对以上三项权重相乘构造复合权重：[0086]f(xk)＝fnorm(xk)·fdepth(xk)·fedge(xk)  (15)[0087]每项权重经过归一化，取值范围在[0,1]之间。[0088]如果各个视角下的纹理映射关系足够精确，以及重建的几何模型足够精细，基于复合权重的纹理融合能够实现良好的纹理重建效果。然而，受系统标定、单视角深度数据重建以及ICP匹配等三维成像各个环节的综合影响，实际上很难满足这些假定条件，从而导致纹理错位和模糊现象，降低了纹理重建质量。为此，本专利还提出一种复合权重与双向相似度(Bidirectional similarity，BDS)函数相结合的纹理融合算法。该算法的主要思路是在原始图像和融合图像之间引入目标图像，根据每个视角下融合图像的位移情况，采用双向相似度函数对原始图像进行重建计算生成能量函数，通过最小化能量函数，使得全局的目标图像发生位移而减少整体模型纹理融合的图像模糊，以得到新的目标图像。引入双向相似函数是为了在目标图像重建过程中，根据融合图像进行变形，同时尽可能地包含原始图像信息。

[00]2008年，Simakov等人将双向相似度函数定义为：

[0090]

其中S表示原始图像，T表示目标图像，s,t分别表示原始图像和目标图像的区块，D(s,t)表示区块s和t在RGB彩色空间内的平方差之和，α为两项的比例参数，L表示每个区块内像素的个数，比如7×7大小的区块，则L＝49。式(16)右边第一项为完整项(Completeness)，表示目标图像包含原图像中的信息的完整性，值越低则越完整；第二项为相关项(Coherence)，表示在目标图像中出现的相对于原图像的新的可视结构(比如，由人工痕迹所导致)，值越低则新的可视结构越少。通过最小化该函数，使得目标图像在视觉相关性约束下最大程度地包含原始图像信息。[0092]然而，单纯依赖双向相似度函数并不能很好地改善纹理融合质量，还需要让多视角下的目标图像与融合图像保持光学测度一致性(Photometrically Consistent)。为此引入另外一项能量函数：

[0093][0094]

[0091]

其中Mi表示第i个视角下的融合图像，xk表示图像的像素位置，P(·)表示投影函

数，例如Pi(Tj)表示第j个视角的目标图像往第i个视角的目标图像进行投影，N表示视角的数量。wj表示第j个视角下图像的复合权重，权重值根据式(5)生成。将式(6)和(7)由单视角扩展到全局视角，并构造最终的能量函数：

11

CN 110599578 A

说　明　书

9/11页

[0095]

其中λ是两个能量函数E1和E2之间的比例因子。通过最小化能量函数E，可以生成各

个视角下的目标图像Ti，使得目标图像满足两个约束：相似性(Similarity)约束，即尽可能地包含原始图像的信息(对应于能量函数E1)；一致性(Consistency)约束，即保持与融合图像的一致性(对应于能量函数E2)。[0097]纹理对齐与融合

[0098]由能量函数式(8)可以看到，目标函数T1,...,TN和融合图像M1,...,MN均为变量。为了求得能量函数(8)的最优解，本文使用两步交替优化策略，其基本思路是当优化目标图像时，所有融合图像保持不变，而当生成融合图像时，所有目标图像保持不变。首先初始化以原始图像作为目标图像和融合图像的初始化图像，即Ti＝Si,Mi＝Si，两步交替优化方法如下：

[0099]步骤S1：固定融合图像Mi，优化目标图像Ti。在这个阶段，融合图像M1,...,MN被当作已知项。根据式(18)，目标图像与能量函数E1和E2均有关联，因此分开求解目标图像Ti。对于式(16)，根据Simakov的方法，通过最小化D(s,t)进行区块搜索，确定目标图像中所有区块与原始图像中与之误差最小的区块的对应关系。为了更加清晰描述求解过程，重写式(16)：

[0100]

[0096]

其中E1(i,xk)为第i个视角下目标图像像素xk处的能量函数，su和sv分别为BSF函数

的完整项和相关项中覆盖目标图像像素xk的区块所对应原始图像的区块，通过区块搜索确定，yu和yv分别为区块su和sv中的像素，且对应于目标图像区块中xk的像素位置，U和V分别对应完整项和相关项中区块的数量，例如，区块的大小为7×7，则U和V小于等于49。由式(19)可以看到能量函数E1(i,xk)是关于Ti(xk)的二次方程，对是(19)进行求导并令导数为0，得到

[0102][0103]

[0101]

从而得到目标图像的表达式：

[0104]

[0105]

由式(21)可以看到第一项的目标图像是根据原始图像的信息进行重建的。注意到

在式中保留1/L是为了与式(14)进行合并。[0106]能量函数E2的最小化求解方法类似，考虑到Pj(Pi(Tj))＝Tj，重写能量函数E2的表

12

CN 110599578 A

说　明　书

10/11页

达式：

[0107][0108][0109][0110]

对式(22)进行求导并令导数为0，得到

为了与E1的表达式保持一致，将符号i和j调换获得Ti的表达式：

[0111]

[0112]

同样的，没有将wi(xk)约去是为了与式(21)进行合并。由式(24)可以看到目标图像

是对当前所有相关视角下的纹理图像进行加权平均来求解的，此约束体现了目标图像会根据融合图像的结果进行对齐。

最后，对能量函数E进行求导并令导数为0，即

并结合式(21)和式(24)

可以得到目标图像的表达式：

[0113]

[0114]

步骤S2：固定纹理图像Ti，优化融合图像Mi。在这个阶段，融合图像M1,...,MN为优

化参数。根据式(18)，融合图像只与能量函数E2有关联，因此采用类似的方法可以得到纹理图像的生成公式：

[0115]

[0116]

由式(26)可以看到，融合图像是对各个相关视角下的目标图像进行加权平均得

到。在迭代运算的开始阶段，如果各个视角下的目标图像产生错位，融合图像会产生重影和模糊，而在迭代运算过程中，各个视角下的目标图像会根据融合图像进行对齐操作，从而在融合图像重建过程中不断减少图像的重影和模糊，直至能量函数E小于设定的临界值c，则判断为收敛。

[0118]在迭代运算过程中，为了避免陷入局部最优，并加速收敛速度，我们采用多尺度的优化方法。在低尺度阶段，所有图像降采样到低的分辨率并进行上述迭代运算。当能量函数E收敛后，目标图像和融合图像升采样到更大的尺度，而原始图像依然进行降采样，目的是为了将原始图像的高频信息注入到目标图像和融合图像中。在一些实施例中，在初始阶段融合图像存在模糊，灰度曲线存在明显波纹，而随着不同尺度的迭代运算，图像越来越清晰，灰度曲线的对比度也得到增强。在最高尺度的迭代运算中，所有图像的分辨率调整至原始图像的初始分辨率大小，同时得到所有视角下的目标图像T1,...,TN和融合图像M1,...,

13

[0117]

CN 110599578 A

说　明　书

11/11页

MN。在一个实施例中，采用10级尺度进行多尺度优化，其中第i级的图像任意一维的图像尺寸li的计算公式为：

[0119]li＝(l0/8)·8(i-1)/9  (27)

[0120]l0为原始图像的初始图像尺寸，例如原始图像的初始分辨率是5520pixel×3680pixel，则第1级尺度下的图像分辨率是690pixel×460pixel。[0121]经过上述两步法的迭代运算，最终得到所有视角下新的最高分辨率的目标图像，且目标图像已经经过了对齐优化，此时再采用复合权重的融合算法对所有目标图像进行融合，即可得到三维模型最终的纹理贴图。基于BSF的彩色纹理融合算法的整体流程如图3所示。

[0122]以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。

14

CN 110599578 A

说　明　书　附　图

1/2页

图1

图2

15

CN 110599578 A

说　明　书　附　图

2/2页

图3

16