2021-03-21 《数据融合（data fusion）原理与方法》| 笔记

彭建业

2023-12-01

数据融合（data fusion）原理与方法

一. 数据融合基本涵义

数据融合（data fusion）最早被应用于军事领域。
现在数据融合的主要应用领域有：多源影像复合、机器人和智能仪器系统、战场和无人驾驶飞机、图像分析与理解、目标检测与跟踪、自动目标识别等等。在遥感中，数据融合属于一种属性融合，它是将同一地区的多源遥感影像数据加以智能化合成，产生比单一信息源更精确、更完全、更可靠的估计和判断。相对于单源遥感影象数据，多源遥感影象数据所提供的信息具有以下特点：

1.冗余性：表示多源遥感影像数据对环境或目标的表示、描述或解译结果相同；

2.互补性：指信息来自不同的自由度且相互独立;

3.合作性：不同传感器在观测和处理信息时对其它信息有依赖关系；

4.信息分层的结构特性：数据融合所处理的多源遥感信息可以在不同的信息层次上出现，这些信息抽象层次包括像素层、特征层和决策层，分层结构和并行处理机制还可保证系统的实时性。

实质： 在统一地理坐标系中将对同一目标检测的多幅遥感图像数据采用一定的算法，生成一幅新的、更能有效表示该目标的图像信息。
**目的：**将单一传感器的多波段信息或不同类别传感器所提供的信息加以综合，消除多传感器信息之间可能存在的冗余和矛盾，加以互补，改善遥感信息提取的及时性和可靠性，提高数据的使用效率。

二、数据融合原理及过程

一般来说，遥感影像的数据融合分为预处理和数据融合两步

1. 预处理

主要包括遥感影像的几何纠正、大气订正、辐射校正及空间配准

几何纠正、大气订正及辐射校正的目的主要在于去处透视收缩、叠掩、阴影等地形因素以及卫星扰动、天气变化、大气散射等随机因素对成像结果一致性的影响；
影像空间配准的目的在于消除由不同传感器得到的影像在拍摄角度、时相及分辨率等方面的差异。影像的空间配准时遥感影像

数据融合的前提空间配准一般可分为以下步骤 :

特征选择：在欲配准的两幅影像上，选择如边界、线状物交叉点、区域轮廓线等明显的特征。
特征匹配：采用一定配准算法，找处两幅影像上对应的明显地物点，作为控制点。
空间变化：根据控制点，建立影像间的映射关系。
插值：根据映射关系，对非参考影像进行重采样，获得同参考影像配准的影像。空间配准的精度一般要求在1~2个像元内。空间配准中最关键、最困难的一步就是通过特征匹配寻找对应的明显地物点作为控制点。

2. 数据融合

**根据融合目的和融合层次智能地选择合适的融合算法，**将空间配准的遥感影像数据（或提取的图像特征或模式识别的属性说明）进行有机合成，得到目标的更准确表示或估计。
对于各种算法所获得的融合遥感信息，有时还需要做进一步的处理，如”匹配处理”和”类型变换”等，以便得到目标的更准确表示或估计。

三、数据融合分类及方法

1. 数据融合方法分类

遥感影像的数据融合方法分为三类：==基于像元（pixel）级的融合、基于特征(feature)级的融合、基于决策(decision)级的融合。==融合的水平依次从低到高。

1.1 像元级融合

像元级融合是一种低水平的融合。
像元级融合的流程为：经过预处理的遥感影像数据——数据融合——特征提取——融合属性说明。
优点：保留了尽可能多的信息，具有最高精度。
局限性：

效率低下。由于处理的传感器数据量大，所以处理时间较长，实时性差。
分析数据限制。为了便于像元比较，对传感器信息的配准精度要求很高，而且要求影像来源于一组同质传感器或同单位的。
分析能力差。不能实现对影像的有效理解和分析
纠错要求。由于底层传感器信息存在的不确定性、不完全性或不稳定性，所以对融合过程中的纠错能力有较高要求。
抗干扰性差。
像元级融合所包含的具体融合方法有：代数法、IHS变换、小波变换、主成分变换（PCT）、K-T变换等。

1.2 特征级融合

特征级融合是一种**中等水平的融合。在这一级别中，先是将各遥感影像数据进行特征提取，提取的特征信息应是原始信息的充分表示量或充分统计量，**然后按特征信息对多源数据进行分类、聚集和综合，产生特征矢量，而后采用一些基于特征级融合方法融合这些特征矢量，作出基于融合特征矢量的属性说明。
特征级融合的流程为：经过预处理的遥感影像数据——特征提取——特征级融合——（融合）属性说明。

1.3 决策级融合

决策级融合是最高水平的融合。融合的结果为指挥、控制、决策提供了依据。在这一级别中，首先对每一数据进行属性说明，然后对其结果加以融合，得到目标或环境的融合属性说明。
决策级融合的优点是具有很强的容错性，很好的开放性，处理时间短、数据要求低、分析能力强。而由于对预处理及特征提取有较高要求，所以决策级融合的代价较高。
决策级融合的流程：经过预处理的遥感影像数据——特征提取——属性说明——属性融合——融合属性说明。

2. 数据融合方法介绍

2.1 代数法

代数法包括加权融合、单变量图像差值法、图像比值法等。
• 加权融合法
• 单变量图象差值法
• 图象比值法

2.2 图像回归法（Image Regression）

图像回归法是首先假定影像的像元值是另一影像的一个线性函数，通过最小二乘法来进行回归，然后再用回归方程计算出的预测值来减去影像的原始像元值，从而获得二影像的回归残差图像。经过回归处理后的遥感数据在一定程度上类似于进行了相对辐射校正，因而能减弱多时相影像中由于大气条件和太阳高度角的不同所带来的影响。

2.3 主成分变换（PCT）

也称为W-L变换，数学上称为主成分分析（PCA）。PCT是应用于遥感诸多领域的一种方法，包括高光谱数据压缩、信息提取与融合及变化监测等。PCT的本质是通过去除冗余，将其余信息转入少数几幅影像（即主成分）的方法，对大量影像进行概括和消除相关性。PCT使用相关系数阵或协方差阵来消除原始影像数据的相关性，以达到去除冗余的目的。对于融合后的新图像来说各波段的信息所作出的贡献能最大限度地表现出来。
PCT的优点是能够分离信息，减少相关，从而突出不同的地物目标。另外，它对辐射差异具有自动校正的功能，因此无须再做相对辐射校正处理。

2.4 K-T变换

即Kauth-Thomas变换，简称K-T变换，又形象地成为”缨帽变换”[14]。它是线性变换的一种，它能使座标空间发生旋转，但旋转后的坐标轴不是指向主成分的方向，而是指向另外的方向，这些方向与地面景物有密切的关系，特别是与植物生长过程和土壤有关。以此，这种变换着眼于农作物生长过程而区别于其他植被覆盖，力争抓住地面景物在多光谱空间的特征。通过这种变换，既可以实现信息压缩，又可以帮助解译分析农业特征，因此
有很大的实际应用意义。
目前对这个变换在多源遥感数据融合方面的研究应用主要集中在MSS与TM两种遥感数据的应用分析方面。

2.5 小波变换

小波变换是一种新兴的数学分析方法，已经受到了广泛的重视。小波变换是一种全局变换，在时间域和频率域同时具有良好的定位能力，对高频分量采用逐渐精细的时域和空域步长，可以聚焦到被处理图像的任何细节，从而被誉为”数学显微镜”。
小波变换常用于雷达影像SAR与TM影像的融合。它具有在提高影像空间分辨率的同时又保持色调和饱和度不变的优越性。

2.6 IHS变换

3个波段合成的RGB颜色空间是一个对物体颜色属性描述系统，而IHS色度空间提取出物体的亮度I，色度H，饱和度S，它们分别对应3个波段的平均辐射强度、3个波段的数据向量和的方向及3个波段等量数据的大小。RGB颜色空间和IHS色度空间有着精确的转换关系。
以TM和SAR为例，变换思路是把TM图像的3个波段合成的RGB假彩色图像变换到IHS色度空间，然后用SAR图像代替其中的I值，再变换到RGB颜色空间，形成新的影像。

2.7 贝叶斯（Bayes）估计

2.8 D-S推理法(Dempster-Shafter)

2.9 人工神经网络（ANN）

2.10 专家系统

四、遥感数据融合存在问题及发展趋势

遥感影像数据融合还是一门很不成熟的技术，有待于进一步解决的关键问题有：
（1）空间配准模型
（2）建立统一的数学融合模型
（3）提高数据预处理过程的精度
（4）提高精确度与可信度
随着计算机技术、通讯技术的发展，新的理论和方法的不断出现，遥感影像数据融合技术将日趋成熟，从理论研究转入到实际更广泛的应用，最终必将向智能化、实时化方向发展，并同GIS结合，实现实时动态融合用于更新和监测。