基于带邻边样例的图像超分辨率方法

本发明涉及图像处理中的超分辨技术，即对于给定的一个图像，希望得到一个 对此图像进行放大的图像，所得到的放大的图像越清晰越好。此技术可以应用于放 大互联网上由于带宽限制而存储的小图像等领域，有着广阔的应用领域。

国际上现今有两类超分辨率方法。一类方法是基于插值的方法，另一类是基于 样例(example)的方法。其中，基于差值的超分辨率方法虽然比较简单，复杂度 较低，但是其得到的放大图像一般比较模糊，图像边缘部分不清晰。为了克服这一 缺点，人们提出了基于样例的超分辨率方法。在此类方法中，分为两个步骤。第一 个步骤是建立图像样例数据库，第二个步骤是基于样例的图像超分辨率的实现。在 第一个步骤中，首先进行离线的训练过程。此过程中，首先设法得到一批高分辨率 的清晰图像，然后对每一个高分辨率的图像通过下采样或滤波的方法得到对应的低 分辨率的图像。然后对低分辨率和高分辨率的图像进行分块处理，对低分辨率的图 像所划分的块的大小可以为4×4或者5×5等，对每一个在低分辨率图像中的块，可 以在高分辨率的图像块中到和其对应的块。例如：如要求的放大倍数为2时，对 每一个在低分辨率图中的4×4大小的块，在高分辨率的图中都有一个8×8大小的块 和其对应或匹配。这样，在低分辨率的图像块的大小为×时，低分辨率的图像 块中的像素值组成一个集合：

q(x，y，k)={fL(x，y，k，i，j)|x≤i≤x+-1，y≤j≤y+-1}

这里k表示训练库中的第k个图像，(x，y)为图像块的左上角在低分辨率的图像中的 位置，fL(x，y，k，i，j)为第k个低分辨率的图像在(i，j)处的像素点的值。和集合 q(x，y，k)所表示的低分辨率的图像块相对应，有一个高分辨率的图像块的像素值所 组成的集合：

Q(x，y，k)={fH(x，y，k，i，j)|2x≤i≤2x+2-1，2y≤j≤2y+2-1}

这里fH(x，y，k，i，j)为第k个高分辨率的图像在(i，j)处的像素点的值。然后，可以把 每一个低分辨率的集合q(x，y，k)所表示的块、其匹配的高分辨率的集合Q(x，y，k)所 表示的块、以及这种对应关系都存储在样例数据库中。每一个存储的低分辨率的块 可称为一个样例。在对训练库中每一个高分辨率的图像都经过此处理后，可得到一 个样例数据库，此数据库描述了一大批低分辨率块(样例)、和其对应的高分辨率 块。

在训练数据库建设好之后，就可以对给定的不在训练库中的低分辨率的图像进 行在线的超分辨率处理。在此处理步骤中，首先把训练库中没有的待放大的低分辨 率的图像进行分块，块的大小和样例数据库中的低分辨率的块的大小一样。即，若 样例数据库中的样例都为4×4大小的，那么，把待放大的低分辨率的图像划分为具 有4×4大小的块。然后，对每个待放大的块，在样例数据库中到最接近此待放大 的块的样例。即对于待放大的块中的像素所组成的集合

s(x0，y0)={gL(i，j)|x0≤i≤x0+-1，y0≤j≤y0+-1}

首先计算待放大的块和训练库中块q(x，y，k)之间的绝对差值之和：

$\mathrm{SAD}(x,y,k)=\underset{i=1}{\overset{-1}{\Sigma }}\underset{j=1}{\overset{-1}{\Sigma }}|g_L(x_0+i,y_0+j)-f_L(x,y,k,i,j)|$

这里，(x0，y0)为待放大块的左上角的位置，gL(i，j)为待放大的低分辨率的图像中 在(i，j)处的像素值。接下来，在训练库中寻和待放大块最匹配的块，即计算

$(x^o,y^o,k^o)=\arg \left\{\underset{x,y,k}{\min }\left(\mathrm{SAD}(x,y,k)\right)\right\}$

这样，在训练库中集合q(xo，yo，ko)所表示的块和待放大块最匹配，即两者之间的 距离最近。接着，就可以利用训练数据库中所存储的集合q(xo，yo，ko)所表示的块和 集合Q(xo，yo，ko)所表示的块之间的对应关系来进行超分辨率放大。即，对于高分 辨率图像的块中像素所组成的集合

S(x0，y0)={gH(i，j)|2x0≤i≤2x0+2-1，2y0≤j≤2y0+2-1}

中的像素值用集合Q(xo，yo，ko)中的像素值来替代。因此，有

gH(2x0+i，2y0+j)=fH(xo，yo，ko，i，j)，

其中，0≤i≤2-1，0≤j≤2-1，2xo≤i′≤2xo+2-1，2yo≤j′≤2yo+2-1。

例如，对于待放大4×4大小的块，先寻存储在训练数据库中和此样例最匹配的高 分辨率的8×8块，然后利用此匹配块来替代此待放大块在高分辨率的图像中所对应 位置处的8×8的块。

在已有文献中，也有人提出如下的超分辨率方法。在这些方法中，对每个待放 大的块，在样例数据库中到k个和其最接近的样例，然后到这k个样例所匹配 的k个高分辨率块，接着利用对这k个高分辨率的块进行加权平均的方法来得到所 需要的高分辨率块。

在对低分辨率图像中的每个低分辨率的块，都得到了替代其块的高分辨率的块 之后，就可以把这些高分辨率块拼在一起，得到一个高分辨率的图像，完成图像超 分辨率的处理过程。

在以上处理过程中，对每个低分辨率的块是分别利用训练数据库来得到高分辨 率的块的。这样，所得到的高分辨率图像一般来说具有较强的块效应。即，在一个 图像块和另一个图像块的分界线上，或分界线的周围，存在伪边缘，或伪跳变的情 况。这种块效应会严重地降低所得到的高分辨率图像的视觉效果。

另外，在这种方法中，存在多对一的情况，即原本相差较小的低分辨率块，在 训练数据库中对应着相差很大的高分辨率块。即，多个很不同的高分辨率块却对应 着一个低分比率块。这样，如果低分辨率块有着微小的扰动，将带来极其不同的高 分辨率图像。这种现象是在这类方法中无法克服的。

这样，需要提出或寻能有效克服以上缺点的图像超分辨率的方法。在本发明 中，将建立一种新型样例的模式来克服以上缺点，取得更好的超分辨率的性能。

(1)带邻边样例的建立

在本发明中，样例的提取是和传统的方法不同的。在传统方法中，在对低分辨 率图像进行分块之后，分块的大小即为样例的大小，从而忽略了此块周围像素的信 息。本课题组认为，如果能在图像超分辨率处理中利用好此传统方法中所忽略的信 息，可以大大地提高超分辨率处理的性能。

为此，本发明提出了一种基于带邻边样例的图像超分辨率方法。在此方法中， 对于样例的提取，除了包括原有的分块的图像信息，还尽可能地包括在低分辨率图 像中和此块四周相邻的周围像素的信息。如：在低分辨率的块的大小为×时， 所提取的样例的大小不再是4×4，而是如说明书附图1中所示的(+m)×(+m)大 小，其中m为所提取的样例在块的边界外扩充的在水平方向或垂直方向上的像素个 数。这些像素值可以在低分辨率的图像中得到。

和此样例对应的高分辨率块的大小还和原方法一样，保持不变。如：在低分辨 率的块的大小为4×4时，高分辨率的块的大小还是为8×8。

这样，在传统的训练的数据库中存储的是：多个×大小的样例，以及和每 个样例对应的(2)×(2)大小的高分辨率匹配块，这里×是低分辨率的块的大 小。而在所提出的方法的训练库中存储的是：多个(+m)×(+m)大小的样例， 以及和每个样例对应的(2)×(2)大小的高分辨率匹配块。即，低分辨率的样例中 的像素值组成一个新的集合：

q′(x，y，k)={fL(x，y，k，i，j)|x-m≤i≤x+m+-1,y-m≤j≤y+m+-1}

(2)边缘像素点的确定及其在匹配过程中的权值

由于在图像中，人眼对其边缘信息最敏感。因此，本课题组认为在超分辨率过 程中进行的块匹配寻优中，应对边缘像素值赋予比一般像素点上的值更大的权值， 以得到放放大的边缘更清晰的图像。

在图像处理中，对边缘提出有很多方法，但一阶梯度法对噪声比较敏感。因此， 本发明采用二阶的拉普拉斯算子对边缘进行提取。在对一维的信号进行拉普拉斯处 理后，在边缘点的左右两边分别出现一正一负的两个绝对值比较大的信号值，边缘 点处为过零点值。因此，先对图像中的像素采用如下模板

$\left[\begin{array}{ccc}0& 1& 0\\ 1& -4& 1\\ 0& 1& 0\end{array}\right]$

进行卷积运算，然后寻绝对值小于|δ|的点，δ为一小值，然后在到的点的周围 Q×Q(在本发明中Q=5)的区域中的0°、45°、90°、135°、180°的方向上分别寻 到一正或一负的值，且其绝对值大于T(本发明中T=200)，再在其反方向上寻 到和此值异号的值，其绝对值也大于T。如到，则到的点为二维拉普拉斯运 算后的过零点，即图像中的边缘点；其它点为非边缘点。对于图像中的边缘点和非 边缘点，其权值分别为A、和B，即

其中(i,j)为图像中的像素点的位置。(本发明中A=1，B=1.5)

(3)重叠区域的产生与利用

在传统的超分辨率算法中，待放大的块和已放大的块之间是没有重叠区域的， 这在一定的程度上导致了块效应的产生。如何在超分辨率的过程中产生这种重叠区 域，并利用好这些重叠区域来提升超分辨率处理的性能，是本发明的一个创新点。 由于本发明中所建立的样例是带有邻边像素信息的，这在低分辨率的图像上，会导 致样例和已放大区域之间产生重叠区域。同时，在本发明中，每次进行块放大后， 下一个待放大块的左上角移动的距离将小于一个块的长度，这样不仅会在低分辨率 的图像上产生重叠区域，在高分辨率的图像上也会产生待放大区域和已放大区域之 间的重叠区域。例如：若第一个放大块的大小为4×4，其左上角坐标为(0，0)，下 一个待放大块的大小亦为4×4，其移动的左上角的坐标为(2，0)。这时，就会在低 分辨率的图像和高分辨率的图像上产生待放大区域和已放大区域之间的重叠区域。 其在低分辨率的图像上的重叠区域为集合OL1={(i,j)|2≤i≤3，0≤j≤3}，在高分辨 率的图像上的重叠区域的集合为OH1={(i，j)|4≤i≤7，0≤j≤7}。随着超分辨率处理 过程的进行，在本发明中有可能一个待放大块和好几个已放大块有重叠区域。

(4)待放大区域和训练库中块的匹配差值的确定

由于在本发明中，样例是带邻边像素的，可以在寻训练库中最优样例时利用 好这一启发式信息，同时避免传统算法中的块效应和多对一的问题，使放大后的图 像质量更好。

同时和传统的方法不同，所提出的方法不仅考虑到训练库中低分辨率块和当前 待放大区域之间的匹配差值，还在放大过程中，还考虑到训练库中和此低分辨率块 相对应的高分辨率的块在放大图像中和已放大区域之间的匹配差值，以获得更好的 效果。

在对样例和训练数据库进行了如上变化之后，超分辨率图像放大的过程中的待 放大区域和训练库中块的匹配差值的定义也将有些变化，以发挥所提出的样例模式 在超分辨率处理中的优势。

为此，在选择每个待放大区域所对应最匹配的样例时，不仅利用区域内像素的 值，还利用低分辨率图像上和此区域相邻像素的值。同时，还需要考虑待放大区域 和已放大区域之间重叠的部分在低分辨率图像和高分辨率图像上的差值。

因此，首先计算

$\mathrm{SADEO}(x,y,k,L_{\mathrm{ol}})=\underset{(i,j)\in L_{\mathrm{ol}}}{\Sigma }|f_L(x,y,k,i,j)-g_L(i,j)|·p_L(i,j)$

其中，Lol是当前要放大区域和已放大区域之间的第ol个交集。fL(x，y，k，i，j)是训练 库中第(x，y，k)个样例在(i，j)处的像素点值，gL(xol+i，yol+j)是在低分辨率图像上 (xol+i，yol+j)处的像素点值，pL(i，j)表示低分辨率图中(i，j)处是否为边缘像素的 权值，其求法如前所述。接下来，计算此候选样例和所有在低分辨率图像上重叠区 域的匹配差值，即

$\mathrm{SADLO}(x,y,k)=\underset{L_{\mathrm{oi}}}{\Sigma }\mathrm{SADEO}(x,y,k,L_{\mathrm{ol}})$

这样SADLO(x，y，k)表示第(x，y，k)个样例和各重叠区域的绝对差值之和。

然后计算在训练库中和第(x，y，k)个样例所对应的高分辨率块和各已放大区域 相重叠部分的绝对差值，即计算

$\mathrm{SADEH}(x,y,k,H_{\mathrm{oh}})=\underset{(i,j)\in H_{\mathrm{oh}}}{\Sigma }|f_H(x,y,k,i,j)-g_H(i,j)|·p_H(i,j)$

这里，Hoh是当前要放大区域和已放大区域之间的第oh个交集，。fH(x，y，k，i，j)是训 练库中和第(x，y，k)个样例相对应的块在(i，j)处的像素点的值，gH(i，j)是第oh个已 放大块和待放大块之间的重叠部分的像素点的值。pH(i，j)表示高分辨率图中(i，j) 处是否为边缘像素的权值，其求法如前所述。接下来，计算和此候选样例对应的高 分辨率块在高分辨率图像中和已放大区域重叠部分的绝对差值之和，即

$\mathrm{SADHO}(x,y,k)=\underset{H_{\mathrm{oh}}}{\Sigma }\mathrm{SADEO}(x,y,k,H_{\mathrm{oh}})$

这样SADHO(x，y，k)表示和第(x，y，k)个样例相对应的高分辨率块和已放大的各 重叠区域的绝对差值之和。

最后，确定在低分辨率图像中，样例和待放大块在无重叠区域的绝对差值。即， 计算

$\mathrm{SADO}(x,y,k)=\underset{(i,j)\in L_{\mathrm{no}}}{\Sigma }|f_L(x,y,k,i,j)-g_L(i,j)|·p_L(i,j)$

这里，Lno表示低分辨率图像中和样例(x，y，k)不相重叠的部分。pL(i，j)表示低 分辨率图中(i，j)处是否为边缘像素的权值，其求法如前所述。

这样，所得到的和样例(x，y，k)相对应的匹配差值为

SADE(x,y，k)=αSADLO(x，y，k)+βSADHO(x,y，k)+γSADO(x，y，k)

这里，α，β，γ是三个平衡因子，用于平衡各种差值对总的差值的影响。(本 发明中，为方便起见α=β=γ=1)

(5)高分辨率的图像中的像素值的确定

在高分辨率的图中，如前所述，有的像素点处在几个放大块的重叠区域中。 因此，需要根据各放大块在此位置上的值，最终确定高分辨率图像中的像素值。由 于平均绝对差值小的块中的像素点值更可靠，对平均绝对差值小的块以大的权值， 平均绝对差值大的块以小的权值。为此，首先计算

$\mathrm{sum}(x,y)=\underset{i=1}{\overset{L_o}{\Sigma }}\frac{S\left(i\right)}{\mathrm{SADE}(x^o\left(i\right),y^o\left(i\right),k^o\left(i\right))}$

这里，(x，y)是高分辨率图像中像素点的位置，Lo是此像素点上重叠区域的总数，i 表示此像素点上的第i个重叠区域，SADE(xo(i)，yo(i)，ko(i))是第i个重叠区域上的最 小的SADE值，其中SADE值的定义见上一节。S(i)为计算SADE(xo(i)，yo(i)，ko(i))时 所用到的像素点的总数。则，在高分辨率的图像上的(x，y)处的像素值为：

$g_H^{*}(x,y)=\mathrm{sum}(x,y)\left\{\underset{i=1}{\overset{L_o}{\Sigma }}\right[\frac{S\left(i\right)}{\mathrm{SADE}(x^o\left(i\right),y^o\left(i\right),k^o\left(i\right))}]·[F_H(x^o\left(i\right),y^o\left(i\right),k^o\left(i\right),m,n)\left]\right\}$

其中fH(xo(i)，yo(i)，ko(i)，m，n)为第i个匹配块中在此像素点上的值。

(6)初始的对低分辨率图像和高分辨率图像的加边的处理

由于本发明中的样例为带邻边的样例，为方便起见，本发明先对低分辨率的图 像的四周加一个边，边的宽度和样例中邻边的宽度相同。在四周的像素点上的像素 值由其最邻近的图像中的像素值来确定。

(7)本发明的离线处理过程

本发明分为离线的训练数据库的建立过程，和在线的图像超分辨率放大过程。 其离线的训练数据库的建立过程如下所述。即，对高分辨率的图像数据库中的每个 图像进行如下处理：

步骤1)根据高分辨率的图，进行下采样，得到低分辨率的图。k=1

步骤2)对低分辨率的图像进行以上所述的初始的加边处理，以对它加个边。

步骤3)令xL=0,yL=0

步骤4)提取低分辨率图像中从坐标(xL-m，yL-m)开始到 (xL++m-1，yL++m-1)间的图像块，存储到数据库中。×为块的大小，m 为带邻边样例的邻边的宽度。和m值的选取，需要从计算复杂度和超分辨率处 理的性能加以考虑。

步骤5)令xH=2xL，yH=2yL

步骤6)提取低分辨率图像中从坐标(xH，yH)开始到(xH+2-1，yH+2-1)间的 图像块，存储到数据库中。这样，就存储了一对低分辨率块(带邻边的样例) fL(xL，yL，k)和高分辨率块fH(xH，yH，k)。

步骤7)令xL=xL+1

步骤8)若xL≤W-，则跳到步骤4)提取下一对低分辨率块和高分辨率块， 其中W为图像的宽度。

步骤9)令xL=0，yL=yL+1

步骤10)若yL≤H-，则跳到步骤4)提取下一对低分辨率块和高分辨率块， 其中H为图像的高度。

步骤11)k=k+1，跳到步骤1)，对下一幅高分辨率图像进行处理，直到对训 练库中所有图像都处理完毕。

这样，经过此离线的处理方法，就得到了可用于超分辨率处理的很多样例和与 此样例匹配的高分辨率块所组成的数据库。

(8)本发明的在线处理过程

对于给定的一个数据库中没有的要放大的低分辨率图像，本发明采用如下处理 过程。

步骤1)对初始低分辨率图的处理，给低分辨率的图像加个边。

步骤2)令xL=0，yL=0

步骤3)在此位置上，计算低分辨率图上、已放大的高分辨率的图上，和训练库 中第(x，y，k)个存储的样例、以及与此样例对应的高分辨率块，所提出的匹配差值 SADE(x，y，k)。

步骤4)到数据库中最匹配的样例和与此样例对应的高分辨率块。即，计算此 位置上的

$(x^o,y^o,k^o)=\arg \left[\underset{(x,y,k)\in \mathrm{SX}}{\min }\left(\mathrm{SADE}(x,y,k\right)\right]$

其中，SX为训练数据库中所有样例的索引所组成的集合。

步骤5)令xL=xL+step_x，step_x为低分辨率图上x轴方向上下一个块跳动的距 离。由于step_x<，这样就构成了横向的重叠区域。

步骤6)跳到步骤4)，对下一重叠的块到数据库中最匹配的图像块对，即最匹配 的样例和此样例对应的高分辨率块，直到xL≥W-。其中W为图像的宽度，为 一个低分辨率块的宽度。

步骤7)yL=yL+step_y，step_y为低分辨率图上y轴方向上下一个块跳动的距离。 由于step_y<，这样就构成了纵向的重叠区域。

步骤8)跳到步骤4)，对下一重叠的块到数据库中最匹配的图像块对，即最匹配 的样例和此样例对应的高分辨率块，直到yL≥H-。其中H为图像的高度，为 一个低分辨率块的高度。

步骤9)利用所到的各高分辨率匹配块，利用如上所述的所提出的方法确定高分 辨率的图像中的像素值。

综上所述，本发明的创新点在于：1)在离线的训练和在线的超分辨率的放大 过程中，利用带邻边的样例，以克服传统方法中的块效应和一对多问题。2)在在 线的放大过程中，利用重叠区域，和所提出的匹配准则，继续克服传统方法中的块 效应和一对多的问题。3)在确定重叠区域中的像素点值时，最终的数值与重叠区 域的绝对差值成反比，和重叠区域的最优匹配的高分辨率块在此点的像素值成正 比。

在本发明的运用过程中，包括在线处理过程和离线处理过程。其中，离线处理 过程可以一次处理完，然后得到大量的所提出的带邻边样例的低分辨率块和所对应 的高分辨率块，以把这些信息存入训练数据库。在线的处理过程是针对每一个待放 大的图像的，以利用训练好的数据库和使用重叠区域的思想，得到高分辨率的图像。

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明， 以充分地了解本发明的目的、特征和效果。

图1是本发明所提出的带邻边样例的示意图；

图2是本发明所提出的离线地建立带邻边样例和所对应的数据库的方法的流 程图；

图3是本发明所提出的在线进行图像超分辨率放大的流程图；

图4是本发明利用FERET数据库中一部分图像用于训练的人脸图像图；

图5是本发明与已有方法对FERET数据库中不在训练图像库中的人脸图像进 行处理的实验结果图。从左到右的每一列图像依次为：(a)输入的低分辨率图像(b) 已有的最优的基于样例的方法的超分辨率放大的实验结果(c)所提出的基于带邻 边样例的方法的超分辨率放大的实验结果(d)实际的高分辨率图像。

图6是本发明与已有方法对身份证数据库中不在训练图形库中的人脸图像处 理的实验结果图。从左到右的每一列图像依次为：(a)输入的低分辨率图像(b) 已有的最优的基于样例的方法的超分辨率放大的实验结果(c)所提出的基于带邻 边样例的方法的超分辨率放大的实验结果(d)实际的高分辨率图像。

下面结合附图对本发明的实施例作详细说明：本实施例在以本发明技术方 案前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保 护范围不限于下述的实施例。

本发明在进行对某一幅图像进行图像超分辨率处理前，需要先建立一个训 练数据库。库中存放的是所提出的带边缘的样例和与样例匹配的高分辨率块。 本发明利用如下步骤得到这一数据库。首先，先收集好大量的高分辨率的图像。 这可以由网上的一些免费的图像数据库中获得，如本发明利用的FERET数据 库、Yale大学的人脸数据库等。然后对收集到的每幅高分辨率的图像进行如说 明书附图2所示的如下处理：

步骤1)根据高分辨率的图，对其进行下采样，得到低分辨率的图。令k=1(k=1 表示是数据库中的第一幅图像，k是第几个图像的索引)。

步骤2)对低分辨率的图像进行初始的加边处理，对它加个边。由于所提出的 样例是带有邻边的，因此为处理方便，需要给整幅低分辨率图像加个边，以对在四 周的图像块照样可以提取出带邻边的样例。在本发明中所加的边的宽度为2。

步骤3)令xL=0，yL=0，这里，(xL，yL)是低分辨率样例上除了边以后的左 上角在低分辨率图像中的坐标。

步骤4)提取低分辨率图像中从坐标(xL-2，yL-2)开始到 (xL+4+2-1，yL+4+2-1)间的图像块，存储到数据库中。4×4为块的大小，2为带 邻边样例的邻边的宽度。本发明中选择的块的大小为4×4，带邻边样例的邻边的宽 度为2。

步骤5)令xH=2xL，yH=2yL，(xH，yH)为高分辨率图像中和样例匹配的块的 左上角在高分辨率图像中的坐标。

步骤6)提取低分辨率图像中从坐标(xH，yH)开始到(xH+2*4-1，yH+2*4-1) 间的图像块，存储到数据库中。这样，就存储了一对低分辨率块(带邻边的样例) fL(xL，yL，k)和高分辨率块fH(xH，yH，k)。其中带邻边样例的大小为6×6，相对应的 高分辨率的匹配块的大小为8×8。

步骤7)令xL=xL+1，样例在低分辨率图像的左上角的横坐标左移一个像素 单位，以提取出下一个样例。

步骤8)若xL≤W-4，则跳到步骤4)提取下一对低分辨率块和高分辨率块， 其中W为图像的宽度。否则，这一行的样例已提取完毕，将进行下一行样例的提 取。

步骤9)令xL=0，yL=yL+1，样例左上角在低分辨率的图上的坐标下移到下 一行的开始处。

步骤10)若yL≤H-，则跳到步骤4)提取下一对低分辨率块和高分辨率块， 其中H为图像的高度。否则；对当前图像样例提取过程进行完毕。

步骤11)k=k+1，跳到步骤1)，对下一幅高分辨率图像进行处理，直到对训 练库中所有图像都处理完毕。

这样，经过此离线的处理方法，就得到了可用于超分辨率处理的很多样例和与 此样例匹配的高分辨率块所组成的数据库。

数据库建立好了之后，本发明就可以对任一低分辨率的图像进行超分辨率处 理，对其放大了。对一幅图像放大的过程如说明书附图3所示，进行如下处理：

步骤1)对初始的低分辨率图进行处理，给低分辨率的图像加个宽度为2的 边。

步骤2)令xL=0，yL=0，(xL，yL)为待放大块的左上角在低分辨率图像中的 坐标。

步骤3)在此位置上，计算低分辨率图上、已放大的高分辨率的图上，和训 练库中第(x，y，k)个存储的样例、以及与此样例对应的高分辨率块，相对应的匹配 差值SADE(x,y，k)。这个匹配差值的计算即包括了低分辨率图像上样例和当前低分 辨率图像块的差值、以及重叠区域的差值，也包括了高分辨图像上已放大块和样例 对应的高分辨率块之间在重叠区域的差值。

步骤4)到数据库中最匹配的样例和与此样例对应的高分辨率块。即，计 算此位置上的

$(x^o,y^o,k^o)=\arg \left[\underset{(x,y,k)\in \mathrm{SX}}{\min }\left(\mathrm{SADE}(x,y,k\right)\right]$

其中，SX为训练数据库中所有样例的索引所组成的集合。

步骤5)令xL=xL+step_x，step_x为低分辨率图上x轴方向上下一个块跳动 的距离，在本发明中step_x=2。由于step_x<，这样就构成了横向的重叠区域。 本发明认为只有充分利用好了本次放大区域和以前放大区域在低分辨率和高分辨 率图像上重叠部分的信息，才能进一步地减少超分辨率处理中的块效应和一对多的 问题。

步骤6)跳到步骤4)，对下一重叠的块到数据库中最匹配的图像块对，即最 匹配的样例和此样例对应的高分辨率块，直到xL≥W-。其中W为图像的宽度， =4为一个低分辨率块的宽度。

步骤7)yL=yL+step_y，在本发明中step_y=2为低分辨率图上y轴方向上 下一个块跳动的距离。由于step_y<，这样就构成了纵向的重叠区域。

步骤8)跳到步骤4)，对下一重叠的块到数据库中最匹配的图像块对，即最 匹配的样例和此样例对应的高分辨率块，直到yL≥H-，=4为一个低分辨率 块的高度。其中H为图像的高度。

步骤9)利用所到的各高分辨率匹配块，利用以上本发明中所提出的方法确 定高分辨率的图像中的像素值。在高分辨率图像上的重叠区域，主要利用加权平均 方法来获得最终的高分辨率的像素值。

本发明以人脸图像数据库作为实验对象进行实验，并通过主观评价和客观评价两 个方面来对实验结果进行评价，其中主观评价指的是人眼通过观察重建图像对于其中 细节的感受，客观评价主要包括MSE、PSR和MSSIM(SSIM的平均值)评价准则。 其中MSE为均方根误差，定义为：

$\mathrm{MSE}=\frac{\underset{y=1}{\overset{2H}{\Sigma }}\underset{x=1}{\overset{2W}{\Sigma }}(g_H^{*}(x,y)-g_H(x,y)}{2W\times 2H}$

这里，2W×2H是高分辨率图像的大小，为从低分辨率图像放大的高分辨率
图像在(x，y)处的图像像素值，g_H(x，y)为原始的高分辨率图像在(x，y)处的像素值。

PSR的定义为：

$\mathrm{PSR}=10\times {\log }_{10}\left(\frac{{\max }^2}{\mathrm{MSE}}\right)$

这里，max表示图像中的可能的像素值的最大值。SSIM的定义为：

$\mathrm{SSIM}=\frac{({2\mu }_x{\mu }_y+C_1)({2\sigma }_{\mathrm{xy}}+C_2)}{({\mu }_x^2+{\mu }_y^2+C_1)({\sigma }_x^2+{\sigma }_y^2+C_2)}$

其中，μx，μy分别代表原始高分辨率图像和重建后图像的均值，C1，C2则代表 两个常数，σx，σy表示原始高分辨率图像和重建后图像的方差，σxy表示这两幅图像 的联合方差。MSSIM表示图像中所有块的SSIM值的平均值。

实验一利用FERET数据库中的240幅人脸进行训练，其中包括不同的40个人， 每个人拥有6幅不同侧面的图片，训练集中的一部分人脸图像如说明书附图4所示。 原始高分辨图像的大小为120*120，降质采样后低分辨率图像的大小为60*60，即放 大倍数设为2。

实验中将四幅离线的训练数据库中没有的人脸图像来作为输入图像进行测试。同 时，这四幅图像和数据库中已有图像的关联性不强。实验结果如说明书附图5所示。

从附图5中可以看出，采用本发明所提出的带邻边信息的样例的超分辨率图像放 大方法重构出来的效果要优于现有的最好的基于样例的超分辨率重建方法。本发明放 大的图像边缘更加突出，细节更加清晰，更加接近于实际的高分辨率图像。附图5中 第一个女子的整体感官更加清晰，第二个女子右边的脸颊与眼睛更加清晰，眼睛轮廓 边缘也得到了改进，第三个男子的左眼和脸部部分的清晰度得到了明显的改善，整体 上的清晰度也得到了一定的改进，第四个男子的嘴唇部分也比已有的方法有了一定程 度的改进。总的来说，通过本发明的方法的处理，整幅图像无论从整体清晰度还是图 像边缘的锐利程度都要好于已有的基于样例的最好的方法。对于图5重构出的超分辨 率图像，计算原始高分辨率图像与基于样例的已有的最好的方法得到的图像之间的 MSE和MSSIM，以及原始高分辨图像与采用本发明的方法得到的图像之间的MSE 和MSSIM，从而得到表1和表2。从表中可以看出所提出的方法更接近于原始高分 辨率图像，其MSE更小，MSSIM更大，重建效果优于基于样例的重建方法。另外对 100幅测试图片的测试结果进行统计平均后也发现，所提出方法的MSE和MSSIM指 标上的性能要比已有的基于样例的最好的方法好。

表1在实际的FERET人脸库图像中已有的基于样例的最好的方法和本发明 所提出的方法的MSE指标的此较

表2在实际的FERET人脸库图像中已有的基于样例的最好的方法和本发明 所提出的方法的MSSIM指标的此较

实验二采集了120幅身份证上的人脸照片作为图片数据库去进行训练，原始高分 辨率图像的大小为120*120，下采样后的低分辨率图像大小为60*60。取与数据库中 的图像没有关联性的人脸图像进行测试，测试结果如说明书附图6所示。对图6的结 果分别计算原始图像与已有的基于样例的最好的方法得到的图像、以及和本发明所提 出的方法得到的重建的图像的PSR值和SSIM值，结果如表3和表4所示。从表中 可以看出本发明所提出的方法所重建的图像的PSR更大，MSSIM更高，客观指标 说明本发明的性能更好。同时，从附图6中可以看出所提出的方法的主观效果更好， 更接近于实际的高分辨率图像。本发明的方法重建的高分辨率图像在细节部分如嘴 巴、眼睛、鼻子等优于目前的基于样例的最好的方法。总体来说本发明的方法要优于 目前的基于样例的最好的方法，采用了所提出的方法能够更清晰地进行图像的放 大。

表3在实际身份证人脸图像库中目前基于样例的最好的方法和本发明所提 出的方法的PSR指标的比较

表4在实际身份证人脸图像库中目前基于样例的最好的方法和本发明所提 出的方法的MSSIM指标的比较

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需 创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中 技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验 可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。