第七章 多传感器信息融合技术
?概 述
?传感器信息融合的分类和结构
?传感器信息融合的一般方法
?传感器信息融合的实例
第一节 概 述
传感器信息融合又称数据融合,是对多种信息的获
取、表示及其内在联系进行综合处理和优化的技术。传
感器信息融合技术从多信息的视角进行处理及综合,得
到各种信息的内在联系和规律,从而剔除无用的和错误
的信息,保留正确的和有用的成分,最终实现信息的 优
化 。它也为智能信息处理技术的研究提供了新的观念。
定义, 将经过集成处理的多传感器信息进行合成,形成
一种对外部环境或被测对象某一特征的表达方式 。单一
传感器只能获得环境或被测对象的部分信息段,而多传
感器信息经过融合后能够完善地、准确地反映环境的特
征。经过融合后的传感器信息具有以下特征,信息冗余
性、信息互补性、信息实时性、信息获取的低成本性 。
一、概念
二、意义及应用
信息融合技术的实现和发展以信息电子学的原理、方法、
技术为基础。信息融合系统要采用多种传感器收集各种
信息,包括声、光、电、运动、视觉、触觉、力觉以及
语言文字等。信息融合技术中的分布式信息处理结构通
过 无线网络, 有线网络, 智能网络, 宽带智能综合数字
网络 等汇集信息,传给融合中心进行融合。除了自然 (物
理 )信息外,信息融合技术还融合社会类信息,以语言文
字为代表,涉及到大规模汉语资料库、语言知识的获取
理论与方法、机器翻译、自然语言解释与处理技术等,
信息融合采用 分形, 混沌, 模糊推理, 人工神经网络 等
数学和物理的理论及方法。它的发展方向是对非线性、
复杂环境因素的不同性质的信息进行综合、相关,从各
个不同的角度去观察、探测世界。
1、在信息电子学领域
2、在计算机科学领域
在计算机科学中,目前正开展着 并行数据库, 主动
数据库, 多数据库 的研究。信息融合要求系统能适
应变化的外部世界,因此,空间、时间数据库的概
念应运而生,为数据融合提供了保障。空间意味着
不同种类的数据来自于不同的空间地点,时间意味
着 数据库能随时间的变化适应客观环境的相应变化 。
信息融合处理过程要求有相应的数据库原理和结构,
以便融合随时间、空间变化了的数据。在信息融合
的思想下,提出的空间、时间数据库,是计算机科
学的一个重要的研究方向。
3、在自动化领域
以各种控制理论为基础,信息融合技术采用 模糊控制,
智能控制, 进化计算 等系统理论,结合生物、经济、社
会、军事等领域的知识,进行定性、定量分析。按照人
脑的功能和原理进行视觉、听觉、触觉、力觉、知觉、
注意、记忆、学习和更高级的认识过程,将空间、时间
的信息进行融合,对数据和信息进行自动解释,对环境
和态势给予判定。目前的控制技术,已从程序控制进入
了建立在信息融合基础上的智能控制。智能控制系统不
仅用于军事,还应用于工厂企业的生产过程控制和产供
销管理、城市建设规划、道路交通管理、商业管理、金
融管理与预测、地质矿产资源管理、环境监测与保护、
粮食作物生长监测、灾害性天气预报及防治等涉及宏观、
微观和社会的各行各业。
三、优点
?增加了系统的生存能力
?扩展了空间覆盖范围
?扩展了时间覆盖范围
?提高了可信度
?降低了信息的模糊度
?改善了探测性能
?提高了空间分辨率
?增加了测量空间的维数
第二节 传感器信息融合分类和结构
1,组合,由多个传感器组合成 平行 或 互补方式 来获得多组数据输
出的一种处理方法,是一种最基本的方式,涉及的问题有输出方式
的 协调, 综合 以及 传感器的选择 。在硬件这一级上应用。
2,综合,信息优化处理中的一种获得明确信息的有效方法。
例:在虚拟现实技术中,使用两个分开设置的摄像机同时拍摄到一
个物体的不同侧面的两幅图像,综合这两幅图像可以复原出一个准
确的有立体感的物体的图像。
3,融合,当将传感器数据组之间进行相关或将传感器数据与系统
内部的知识模型进行相关,而产生信息的一个新的表达式。
4,相关,通过处理传感器信息获得某些结果,不仅需要单项信息
处理,而且需要通过相关来进行处理,获悉传感器数据组之间的关
系,从而得到正确信息,剔除无用和错误的信息。
相关处理的 目的,对识别、预测、学习和记忆等过程的信息进行综
合和优化。
一、传感器信息融合分类
二、信息融合的结构
信息融合的结构分为串联和并联两种
Sn
S2
S1
Y1
Y2
Yn
C1
C2
Cn
Y
S
C1 C2 Cn
(a) 串联 (b) 并联
C1,C2,…, Cn表示 n个传感器
S1,S2,…, Sn表示来自各个传感器信息融合中心的数据
y1,y2,…, yn表示融合中心。
?
?
三、信息融合系统结构的实例
一种雷达测量的信息融合结构
局部
处理器
局部
处理器
外部逻辑
中央
处理器
传感器信号 传感器信号
















传感器故障
检测系统
第三节 传感器信息融合的一般方法
由多种传感器所获得的客观环境 (即被测对象 )的多组数
据就是客观环境按照某种 映射关系 形成的 像,信息融
合就是通过 像求解原像,即对客观环境加以了解。用
数学语言描述就是,所有传感器的全部信息,也只能
描述环境的某些方面的特征,而具有这些特征的环境
却有很多,要使一组数据对应惟一的环境 (即上述映射
为一一映射 ),就必须对映射的原像和映射本身加约束
条件,使问题能有惟一的解。
嵌入约束法最基本的方法,Bayes估计 和 卡尔曼滤波
嵌入约束法、证据组合法、人工神经网络法
一、嵌入约束法
1.Bayes估计
是 融合静态环境中多传感器低层数据 的一种常用方法。
其信息描述为概率分布,适用于具有 可加高斯噪声的不
确定性信息 。假定完成任务所需的有关环境的特征物用
向量 f表示,通过传感器获得的数据信息用向量 d来表示,
d和 f都可看作是随机向量。信息融合的任务就是由数据
d推导和估计环境 f。假设 p(f,d)为随机向量 f和 d的联合
概率分布密度函数,则
)()|()()|(),( fpdfpdpdfpdfp ????
p(f|d)表示在已知 d的条件下,f关于 d的条件概率密度函数
p(f|d)表示在已知 f 的条件下,d关于 f的条件概率密度函数
p(d)和 p(f)分别表示 d和 f的边缘分布密度函数
已知 d时,要推断 f,只须掌握 p(f|d)即可,即
)(/)()|()|( dpfpfdpdfp ??
上式为概率论中的 Bayes公式,是嵌入约束法的核心。
信息融合通过 数据信息 d做出对环境 f的推断,即求解
p(f|d)。由 Bayes公式知,只须知道 p(f|d)和 p(f)即可。因为
p(d)可看作是使 p(f|d)?p(f)成为概率密度函数的归一化常
数,p(d|f)是在已知客观环境变量 f的情况下,传感器得
到的 d关于 f的条件密度。当环境情况和传感器性能已知
时,p(f|d)由决定环境和传感器原理的物理规律完全确定。
而 p(f)可通过 先验知识 的获取和积累,逐步渐近准确地
得到,因此,一般总能对 p(f)有较好的近似描述。
在嵌入约束法中,反映客观环境和传感器性能与原理的
各种约束条件主要体现在 p(f|d) 中,而反映主观经验知
识的各种约束条件主要体现在 p(f)中。
在传感器信息融合的实际应用过程中,通常的情况是在
某一时刻从多种传感器得到一组数据信息 d,由这一组
数据给出当前环境的一个估计 f。因此,实际中应用较多
的方法是寻找最大后验估计 g,即
即最大后验估计是在已知数据为 d的条件下,使后验概
率密度 p(f)取得最大值得点 g,根据概率论,最大后验估
计 g满足
当 p(f)为均匀分布时,最大后验估计 g满足
此时,最大后验概率 也称为极大似然估计。
当传感器组的观测坐标一致时,可以用直接法对传感器
测量数据进行融合。在大多数情况下,多传感器从不同
的坐标框架对环境中同一物体进行描述,这时传感器测
量数据要以间接的方式采用 Bayes估计进行数据融合。
间接法要解决的问题是求出与多个传感器读数相一致的
旋转矩阵 R和平移矢量 H。
)()( dfpdgp
f
|| m a x?
)()()()( fpfdpgpdgp
f
?? ? || m a x
)()( fdpfgp
f
|| m a x?
在传感器数据进行融合之前,必须确保测量数据代表
同一实物,即要对传感器测量进行一致性检验。常用
以下距离公式来判断传感器测量信息的一致,
式中 x1和 x2为两个传感器测量信号,C为与两个传感
器相关联的方差阵,当距离 T小于某个阈值时,两个
传感器测量值具有一致性。这种方法的实质是剔除
处于误差状态的传感器信息而保留“一致传感器”
数据计算融合值。
? ?21121 )(
2
1 xxCxxT T ??? ?
2.卡尔曼滤波 (KF)
用于 实时融合动态的低层次冗余传感器数据,该方法用
测量模型的统计特性,递推决定统计意义下最优融合数
据合计。如果系统具有线性动力学模型,且系统噪声和
传感器噪声可用高斯分布的白噪声模型来表示,KF为融
合数据提供惟一的统计意义下的最优估计,KF的递推特
性使系统数据处理不需大量的数据存储和计算。 KF分为
分 散卡尔曼滤波 (DKF)和 扩展卡尔曼滤波 (EKF)。 DKF可
实现多传感器数据融合完全分散化,其 优点,每个传感
器节点失效不会导致整个系统失效。而 EKF的 优点,可
有效克服数据处理不稳定性或系统模型线性程度的误差
对融合过程产生的影响。
嵌入约束法传感器信息融合的最基本方法之一,
其 缺点,需要对多源数据的整体物理规律有较好的了解,
才能准确地获得 p(d|f),但需要预知先验分布 p(f)。
二、证据组合法
证据组合法认为完成某项智能任务是依据有关环境某方面
的信息做出 几种可能的决策,而多传感器数据信息在一定
程度上反映环境这方面的情况。因此,分析每一数据作为
支持某种决策证据的支持程度,并将不同传感器数据的支
持程度进行组合,即证据组合,分析得出现有组合证据支
持程度最大的决策作为信息融合的结果。
证据组合法是对完成某一任务的需要而处理多种传感器的
数据信息,完成某项智能任务,实际是做出某项行动决策。
它先对单个传感器数据信息每种可能决策的支持程度给出
度量 (即数据信息作为证据对决策的支持程度 ),再寻找一
种证据组合方法或规则,在已知两个不同传感器数据 (即
证据 )对决策的分别支持程度时,通过反复运用组合规则,
最终得出全体数据信息的联合体对某决策总的支持程度。
得到最大证据支持决策,即信息融合的结果。
证据组合法较嵌入约束法优点,
(1)对多种传感器数据间的物理关系不必准确了解,即无
须准确地建立多种传感器数据体的模型;
(2)通用性好,可以建立一种独立于各类具体信息融合问
题背景形式的证据组合方法,有利于设计通用的信息融
合软、硬件产品;
(3)人为的先验知识可以视同数据信息一样,赋予对决策
的支持程度,参与证据组合运算。
常用证据组合方法,
?概率统计方法
?Dempster-Shafer证据推理
利用证据组合进行数据融合的 关键 在于,
?选择合适的数学方法描述 证据, 决策 和 支持程度 等概念
?建立快速、可靠并且便于实现的通用证据组合 算法结构
1.概率统计方法
假设一组随机向量 x1,x2,…, xn分别表示 n个不同传
感器得到的数据信息,根据每一个数据 xi可对所完成
的任务做出一决策 di。 xi的概率分布为 pai(xi),ai为该分
布函数中的未知参数,若参数已知时,则 xi的概率分
布就完全确定了。用非负函数 L(ai,di)表示当分布参
数确定为 ai时,第 i个信息源采取决策 dj时所造成的损
失函数。在实际问题中,ai是未知的,因此,当得到 xi
时,并不能直接从损失函数中定出最优决策。
先由 xi做出 ai的一个估计,记为 ai(xi),再由损失函数 L
[ai(xi),di]决定出损失最小的决策。其中利用 xi估计 ai的
估计量 ai(xi) 有很多种方法。
概率统计方法适用于 分布式传感器目标识别 和 跟踪信
息融合问题
2.Dempster-Shafer证据推理 (简称 D-S推理 )
假设 F为所有可能证据所构成的有限集,为集合 F中的
某个元素即某个证据,首先引入信任函数 B(f)∈ [0,1]
表示每个证据的信任程度,
1)( ?FB 0?)( ?B
? ?
?
??????
i ji
n
n
jiin AABAABABAAAB )()1()()()( 1
1
21 ?????????
从上式可知,信任函数是概率概念的推广,因为从概率
论的知识出发,上式应取等号。
1)()( ?? ABAB
? ?
1)(
0
?
??
?
? FA
Am
m
引入基础概率分配函数 m(f)∈ [0,1]
?
?
?
AC
CmAB ),()(
FCA ?,
由基础概率分配函数定义与之
相对应的信任函数,
当利用 N个传感器检测环境 M个特征时,每一个特征为
F中的 — 个元素。第 i个传感器在第 k-1时刻所获得的包
括 k— 1时刻前关于第 j个特征的所有证据,用基础概率
分配函数表示,其中 i=1,2,…, m。第 i个传感器在第
k时刻所获得的关于第 j个特征的新证据用基础概率分配
函数表示。由和可获得第 i个传感器在第 k时刻关于第 j个
特征的联合证据。类似地,利用证据组合算法,由和可
获得在 k时刻关于第 j个特征的第 i个传感器和第 i+1个传
感器的联合证据。如此递推下去,可获得所有 N个传感
器在 k时刻对 j特征的信任函数,信任度最大的即为信息
融合过程最终判定的环境特征。
D-S证据推理 优点,算法确定后,无论是静态还是时变
的动态证据组合,其具体的证据组合算法都有一共同的
算法结构。但其 缺点,当对象或环境的识别特征数增加
时,证据组合的计算量会以指数速度增长。
三、人工神经网络法
通过模仿人脑的结构和工作原理,设计和建立相应的机
器和模型并完成一定的 智能任务 。
神经网络根据当前系统所接收到的样本的相似性,确定
分类标准。这种确定方法主要表现在 网络权值 分布上,
同时可采用神经网络特定的 学习算法 来获取知识,得到
不确定性推理机制。神经网络多传感器信息融合的实现,
分三个重要步骤,
?根据智能系统要求及传感器信息融合的形式,选择其拓
扑结构;
?各传感器的输入信息综合处理为一总体输入函数,并将
此函数映射定义为相关单元的映射函数,通过神经网络与
环境的交互作用把环境的统计规律反映网络本身结构;
?对传感器输出信息进行学习、理解,确定权值的分配,
完成知识获取信息融合,进而对输入模式做出解释,将
输入数据向量转换成高层逻辑 (符号 )概念。
基于神经网络的传感器信息融合特点,
?具有统一的内部知识表示形式,通过学习算法可
将网络获得的传感器信息进行融合,获得相应网
络的参数,并且可将知识规则转换成数字形式,
便于建立知识库;
?利用外部环境的信息,便于实现 知识自动获取 及
并行联想推理 ;
?能够将不确定环境的复杂关系,经过 学习推理,
融合为系统能理解的准确信号;
?由于神经网络具有大规模并行处理信息能力,使
得系统信息处理速度很快。
第四节 传感器信息融合的实例
一, 信息融合的民事应用领域
?工业过程监视及工业机器人
?遥感与金融系统
?空中交通管制与病人照顾系统
?船舶避碰与交通管制系统
?生物特征的身份识别
二, 信息融合技术军事上的应用
?采用多传感器的自主式武器系统和自备式运载器
?情报收集系统
?采用多传感器进行截获、跟踪和指挥制导的火控系统
?军事力量的指挥和控制站
?敌情指示和预警系统
第四节 传感器信息融合的实例
1.机器人中的传感器信息融合
控制和信
息融合计
算机
自主移动装配机器人
装配机械手
力觉传感器
触觉传感器
视觉传感器
超声波传感器
激光测距传感器
多传感器信息融合自主移动装配机器人
2.舰船上的传感器信息融合
行扫描
处理器 红外探测器
直流偏
压 AGC
搜索器万向支架
惯性导
航系统
图像摄像机
万向支架
图像
处理
共享
存储器
数据融合
处理器
环境控制
显示
记录
人机
界面
图像摄像机
传感器
海军舰船传感器信息融合系统
传感器 信号处理 ADC 单片机 显示