第 6章 多媒体数据库及基于内容检索
? 多媒体数据管理
? 多媒体 数据库管理系统
? 面向对象技术与 MDBMS
? 基于内容的检索技术
6.1 多媒体数据管理环境
多媒体应用系统关键问题就是对系统中数据进行有
效地管理,
? 对多媒体数据的有效管理能尽量减少开发费用;
? 便于综合利用、数据共享,降低成本、提高效益;
? 对提高多媒体应用程序的执行效率和运行质量也
具有十分重要的意义 。
1.多媒体数据的存储环境
? 对多媒体数据的存储环境总的要求是,
容量大、质量好、存取速度快、价格合适。
? 主要有 4类存储介质,
(1)可更换的硬盘;
(2)磁带备份介质;
(3)光盘档案介质;
(4)磁盘阵列。
2.多媒体数据的传输环境
一般有 3种传输方法,
(1)使用可更换的介质进行人工传输。使用软盘、磁
带、光盘、可更换硬盘等工具;
(2)使用串行端口实行点对点传输。成本低,但难以
实现多台计算机之间数据传输;
(3)使用 网络 系统,实现 计算机之间传输。
3.多媒体数据管理的软件环境
对多媒体数据资源的有效管理方法,
(1)文件管理系统 。
(2)建立特定的逻辑目录。
(3)传统的字符、数值数据库管理系统。
(4)多媒体数据库管理系统 。
(5)超文本和超媒体 。
图 6.1 用传统的 DBMS管理 多媒体数据
6.2 多媒体 数据库管理系统
6.2.1 多媒体 数据库管理系统特点
? 依据独立性原则,DBMS按层次划分为 3种模式,
物理模式、概念模式和外部模式。
? 物理模式定义数据存储组织方法,如数据库文件
的格式、索引文件组织方法、数据库在网络上的
分布方法等 (存储模式 )。
? 概念模式借助数据模型来描述,它定义抽象现实
世界的方法。数据库模型先后经历了网状模型、
关系模型和面向对象模型等阶段。
? 外部模式又叫视图,它是概念模式对用户有用的
那一部分。
图 6.2 DBMS的 3层模式
数据库 物理模式 概念模式 外部模式
用户
用户
用户
多媒体数据对数据库的影响
(1)数据量大且媒体之间差异也极大,从而影响数据
库中的组织和存储方法。
(2)媒体种类增多增加了数据处理困难。
(3)多媒体不仅改变了数据库的接口,使其声、文、
图并茂,而且也改变了数据库的操作形式,其中
最重要的是查询机制和查询方法。
(4)传统的事务一般都是短小精悍,在多媒体数据库
管理系统中也应尽可能采用短事务。为保证播放
不致中断,MDBMS应增加这种处理长事务的能
力。
(5)多媒体数据库管理还有考虑版本控制的问题。
6.2.2 MDBMS的功能要求
(1) MDBMS必须能表示和处理各种媒体数据,重
点是不规则数据如图形、图像、声音的表示方法。
(2) MDBMS必须能反映和管理各种媒体数据的特性,
或各种媒体数据之间的空间或时间的关联。
(3) MDBMS除必须满足物理数据独立性和逻辑数据
独立性外,还应满足媒体数据独立性。
物理数据独立性指当物理数据组织改变时,不影响概念数
据组织。
逻辑数据独立性指概念数据组织改变时,不影响用户程序
使用的视图。
媒体数据独立性指在 MDBMS的设计和实现时,要求系统能保
持各种媒体独立性和透明性。
(4) MDBMS的数据操作功能。
(5) MDBMS的网络功能。应解决分布在网络上的多
媒体数据库中数据的定义、存储、操作问题,并
对数据一致性、安全性、并发性进行管理。
(6)MDBMS应具有开放功能, 提供 MDB的应用程序
接口 API,并提供独立于外设和格式的接口 。
(7) MDBMS还应提供事务和版本管理功能。
6.2.3 MDBMS的组织结构
MDBMS的组织结构一般可分为 3种,
? 集中型。
? 主从型。
? 协作型 。
1,集中型 MDBMS
? 由单独一个 MDBMS来管理和建立不同媒体的
数据库,并由这个 MDBMS来管理对象空间及
目的数据的集成。
MDBMS
… 图像
数据库
图形
数据库
音频
数据库
文本
数据库
视频
数据库
图 6.4 集中型 MDBMS的组织结构
2,主从型 MDBMS
? 每个数据库都有自己的管理系统,称为从数
据库管理系统,它们各自管理自己的数据库。
? 这些从数据库管理系统又受一个称为主数据
库管理系统的控制和管理 。
从 MDBMS 从 MDBMS 从 MDBMS 从 MDBMS
MDBMS MDBMS
某种 MDB 某种 MDB 某种 MDB 某种 MDB
多媒体数据库
图 6.5 主从型 MDBMS的组织结构
3,协作型 MDBMS
? 协作型 MDBMS也是由多个数据库管理系统来组
成,每个数据库管理系统之间没有主从之分。
? 要求系统中每个数据库管理系统 (称为成员
MDBMS)能协调地工作,但因每一成员 MDBMS
彼此有差异,所以在通信中必须首先解决这个问
题。
成员
MDBMS
成员
MDBMS
成员
MDBMS
MDBMS
某种 MDB
某种 MDB 某种 MDB
附加软件
附加软件
附加软件
多媒体数据库
图 6.6 协作型 MDBMS的组织结构
6.2.4 MDBMS的数据模型
? 数据模型的概念
? 扩充的关系数据模型
? 应用实例
1,数据模型的概念
? 数据模型通常由数据结构, 数据操作和完整性
约束三部分组成, 也称数据模型三要素 。
? 数据结构 是对数据库系统静态特性的描述,是
所研究的对象类型的集合。这些对象是数据库
的组成成分。
? 数据库系统通常按数据结构的类型来命名数据
类型,如层次模型、网状模型、关系模型和面
向对象模型。
? 数据操作 是对数据库系统动态特性的描述,如数
据库中各种对象的实例、允许执行的操作集合。
? 数据的 约束条件 是实现数据库完整性规则的集合,
所谓完整性规则是指给定的数据模型中数据及它
们之间关联所具有的制约和依存规则,用以限定
符合数据模型的数据库状态以及状态的变化,以
保证数据库数据的正确、有效、相容和一致。
? 数据模型应该提供定义数据完整性约束条件的机
制,以反映数据必须遵守的特定的语义约束条件。
2.常用的数据模型
? 早期 DBMS采用层次模型,它利用树型结构来表示
实体及实体之间联系。模型中节点为记录型,表示
某种类型的实体;节点之间的连线表示它们之间的
关系。
? 层次模型构造简单,易于实现。典型的应用如公司、
大学的行政架构表示。
? 基于层次模型的数据库称为层次数据库,它支持用
户以浏览方式完成对数据访问,对子节点记录的访
问需经过父节点。
? 层次模型的限制是:任何非根节点的节点有且仅有
一个父节点; 父子节点只能是 1,n关系,不能表
示两类实体间的 m,n关系。
? 利用网状结构来表示实体与实体之间联系的
数据模型称为网状模型,其节点为记录型,
用于表示某类实体。
? 允许节点有多个父节点,比层次模型更通用。
基于网状模型的网状数据库管理系统也主要
支持用户以浏览的方式完成对数据记录的访
问,但由于节点可有多个父节点,对网状数
据库中某节点的访问路径可以有多条。
? 层次和网状数据库管理系统均不支持数据独立性。
数据库结构的调整将使应用随之变化,这就限制
了数据库系统及其应用的可扩展性、可重用性及
可移植性。
? 关系模型克服了上述两种模型的缺陷,利用二
维的表来表示实体及实体之间的关系,每张二
维表又称为一个关系。
? 二维表每一列代表实体以及实体之间关系的某种
属性。属性名的集合如 {C1,C2,…,Cn}表示
某种记录类型。每一列除了具有属性名外,还
具有类型特征,该特征决定了属性的取值范围,
称为域。这种表可直接描述两个实体类型间的 m,
n关系 。
? 关系模型可通过关系代数严格定义。一张二维表可
定义为一组域的笛卡儿积的子积。域 D1,D2,…,
Dn的笛卡儿积定义为,
D1?D2?…?Dn={(C1,C2,…,Cn)|Ci?Di,i=1,
2,…,n}
? 关系 R可表示为,R? D1?D2?…?Dn,n为关系的度。
一个关系的结构可表示为
R,{(C1,D1,C2,D2,…,Cn,Dn)}
其中 Ci(i=1,2,…,n)为属性名 。
? RDBMS对数据的各种操作归结为各种集合运算。
? 除了支持传统的集合运算之外,还定义了专门的
关系运算,如投影、选择、连接等。
? 它还利用一阶谓词逻辑来判断表中元组是否满足
用户定义的条件。用户定义的条件由逻辑运算符
?(and),?(or),?(not)连接各算术表达式组成。
? 关系代数和一阶谓词演算构成了 RDBMS支持的数
据库接口语言 SQL的基础
? 扩充的原因,
传统的关系模型结构简单,是单一的二维表,
数据类型和长度也被局限在一个较小的子集中,
又不支持新的数据类型和数据结构,很难实现
空间数据和时态数据,缺乏演绎和推理操作,
因此表达数据特性的能力受到限制。
? 在 MDBMS中使用关系模型,必须对现有的关
系模型进行扩充,使它不但能支持格式化数据,
也能处理非格式化数据。
? 模型扩充主要有 3种策略,
(1)使关系数据库管理技术和操作系统中文件系统功能相结
合,实现对非格式化数据的管理。其主要方法是以存放
非格式化数据的文件名代替。
(2)将关系元组中格式化数据和非格式化数据装在一起形成
一个完整的元组,存放在数据页面或数据页面组中,统一
管理 (大系统采用 )。
(3)将元组中非格式化数据分成两部分,一部分是格式化数
据本身,另一部分是对非格式化数据的引用 (小系统采用 )。
? 3种策略的关键是要扩充数据类型,解决非格式化
数据的语义解释。
? Paradox是由 Borland公司开发的, Paradox增加了
4种数据类型,动态注释, 格式注释, 图形和大
二进制对象 (Blob)。 OLE类型是 Blob的一种特殊
格式, 可使 Paradox用作一个 OLE主机 。
? FoxPro是 Microsoft公司的产品, 它是在 DBase基
础 上发 展起 来的 。 为了 处理 多媒体 数据,
FoxPro2.5引入一个新的属性类型 General,它可
以容纳任何一种多媒体数据, 包括文本, 图形,
图像或声音数据 。 在 Windows中, FoxPro相当于
一个 OLE客户, 通过在表中定义一个类型为
General的字段, 可以为链接或嵌入任何对象预留
空间 。
6.2.5 关系型多媒体数据库的应用
? 某公司需要用 Oracle8.1.6数据库管理雇员资料,
雇员信息包括工号、年龄、性别、月工资、所在
部门、该部门经理、雇员的免冠照片等属性。
? 对这样比较复杂结构的实体 (雇员 ),关系数据库
需要把它分解成最简单实用的关系 (雇员和部门 )
表示,实体的结构语义隐性地包含在两个关系的
相同属性中,只有通过联结、投影等操作才能
体现出结构语义 。
? 此例中雇员照片属性的存储可利用 Oracle数据库
提供的 LOB属性类型实现的。 LOB (Large Object)
就是存储大对象的属性类型,当数据量过大不
能直接存入数据库中时,可以使用 LOB属性类
型。
图 6.9 关系实例
工号 姓名 年龄 性别 月工资 部门编号 雇员照片
001 张三 28 男 1500 001 ZHANG
… … … … … … …
部门编号 部门名称 部门经理
001 销售科 004
… … …
关系 {雇员 }
关系 {部门 }
6.3 面向对象技术与 MDBMS
? 面向对象的基本概念
? 面向对象的数据库模型
? 面向对象数据库系统的实现方法
6.3.1 面向对象 的基本概念
(1)对象 是问题领域中的事物的表示或描述,世界
上任何事物都是对象。对象具有名字标识,并具
有自身的状态和功能。
(2)属性 组成对象的数据称为对象的属性。对象的
属性可以是系统或用户定义的数据类型,也可以
是抽象数据类型。状态由属性描述。
(3)方法 定义在对象属性上的一组操作称为对象的
方法,方法体现了对象的行为功能。
(4)对象类 类描述的是具有相似性质 (属性 )的一组对
象,这组对象具有一般行为 (操作 ),一般关系
(对象之间的 )及一般语义,
(5)子类和超类 类可以分成若干子类, 这个被分成
若干子类的类称为超类, 子类和超类在层次上
可理解为, 被概括, 与, 概括, 的关系 。
(6)消息 在面向对象系统中, 对象间的通讯和请求
对象完成某种处理工作是通过消息传递实现的,
消息传递相当于一个间接的过程调用 。
(7)继承性 子类不仅可以继承超类对象的部分或全
部属性和方法,还可以拥有自己的属性和方法。
继承性具有双重作用,一是可以减少代码冗余;
二是可以通过协调性来减少相互之间的接口。
6.3.2 面向对象的数据库模型
(1)面向对象模型支持“聚合”与“概括”的概念,
从而更好地处理多媒体数据等复杂对象的结构语
义。
(2)而向对象模型支持抽象数据类型和用户定义的方
法, 便于系统支持定义新的数据类型和操作 。
(3)面向对象系统的数据抽象, 功能抽象与消息传递
的特点使对象在系统中是独立的, 具有良好的封
闭性, 封闭了多媒体数据之间的类型及其他方面
的巨大差异, 并且容易实现并行处理, 也便于
系统模式的扩充和修改 。
(4)面向对象系统的对象类、类层次和继承性的特
点,不仅减少了冗余和由此引起的一系列问题,
还非常有利于版本控制。
(5)面向对象系统中实体是独立于值存在的,因而
避免了关系数据库中讨论的各种异常。
(6)面向对象系统的查询语言通常是沿着系统提供
的内部固有联系进行的, 避免了大量的查询优
化工作 。
6.3.3 面向对象数据库系统的实现方法
面向对象数据库和扩展关系数据库系统不
同, 它倾向于以数据模型入手, 重新考虑
不同于传统 DBMS的系统整体结构, 对象
类层次的存储结构, 存取方法和继承性的
实现方法, 用户定义的数据类型和方法的
处理策略, 必要的版本控制和友好的用户
界面, 建立一个全新的 DBMS。
1,对象类型的建立
图 6.10 多媒体类型系统
2,面向对象数据库系统结构
? 根据系统模型的功能,设计适当的系统结构是面
向对象的 DBMS实现的重要环节。
? 由 MCC公司研制的 ORION系统由 4个子系统构成,
(1)消息处理子系统 ;
(2)对象子系统 ;
(3)存储子系统 ;
(4)事务管理子系统。
面向对象数据库系统结构
图 6.11 ORION系统结构图
消息处理子系统 对象子系统
事务子系统 存储子系统
ORION
? ORION-1SX是一个客户机 /服务器数据库系统, 它有一个
专用的服务器管理整个数据库系统, 而应用系统运行的
所有其他节点 (客户 )同这个服务器进行通信来存取数据库。
? 对象子系统和消息子系统完全放置在客户机上。另一方
面, 通讯子系统以及部分事务和存储子系统既放置于客
户机又放置于服务器中, 通讯子系统负责打开、关闭和
控制连接, 接收和传递客户机和服务器之间的消息。
? ORION-2是一个基于网络的分布式数据库系统, 它由一
个以上的节点进行管理,使得数据库的物理布局对用户
来说是透明的。
图 6.12 ORION系统 的功能单元
消息处理子系统 对象子系统
事务子系统 存储子系统
通信子系统
服务器事务子系统 服务器存储子系统
服务器
客户机
面向对象系统 Iris
? 除了一般的数据永久性、控制共享、后缓和恢
复的需求之外,新需求的功能包括:丰富的数
据建模结构、对推理的直接数据库支持、新的
数据类型、长事务处理以及数据的多版本。
? 数据共享必须在对象级别上以并行共享和串行
共享两者的意义上实现,允许一个给定的对象
能够由用不同的面向对象的编程语言编写的应
用来操作。 Iris正是面向上述需要进行设计。
图 6.13 Iris系统结构
对象
SQL
图形
编辑器
C对象
C- iris
Lisp对象
Lisp- Iris
对象管理器
存储管理器
结构化数据 非结构化数据
3.面向对象的数据库系统的存储结构
和存取方法
(1) 基于关系系统的方法。
(2) 更适合多媒体数据特点的存储结构和
存取方法 。比较适合多媒体数据特点的
存储结构和存取方法有 EXODUS系统的
B+树索引结构、适合多维空间对象的 R+
树索引结构等。
6.4 基于内容的检索技术
6.4.1 相关概念
? 数据库系统中,数据检索是一种频繁使用的任
务。多媒体数据库数据量大,数据种类多,给
数据检索带来了新的问题。
? 多媒体 数据库包含大量的图像、声音、视频等
非格式化数据,对它们的查询或检索比较复杂,
往往要根据媒体中表达的情节内容进行检索。
? 基于内容的检索 (CBR)就是针对多媒体信息检
索使用的一种重要技术 。
1.基于内容的检索技术的特点
(1) 从媒体内容中提取信息线索, 直接对媒体进行
分析, 抽取特征 (如基于表达式 )。
(2) 提取特征方法多种多样。如图像特征有形状、颜
色、纹理、轮廓等特征。
(3) 人机交互。人能迅速分辨要查找的信息,但难
以记住信息,人工大量查询费时、重复,而这正
是计算机的长处,人机交互检索可大大提高多媒
体数据检索的效率。
(4) 基于内容的检索采用一种近似的匹配技术。
提取媒体对象内容属性的方式一般有手工方式、自
动方式和混合方式。
2,媒体特征
? 音频 常利用的音频特征包括基音,共振峰,线性预
测倒谱系数,Mel倒谱系数 (基于高斯混合模型的语
音识别 )等音频低层特征,和声纹、关键词等高层特
征。
? 静态图像 其底层特征包括颜色,纹理,几何形状,
灰度统计特征; 高层特征包括人脸部特征,表情特
征,物体和景物特征。
? 视频 包含的信息最丰富复杂,其底层特征包括镜头
切换类型,特技效果,摄像机运动,物体运动轨迹,
代表帧,全景图 等;高层特征包括描述镜头内容的
事件等。
? 文本 关键词常被选为文本对象的内容属性 。
? 图形 几何体各种形状特征、周长、面积、位置、几
6.4.2 基于内容的检索实现方法
? 一是基于传统的数据库检索方法,即采用人工
方法将多媒体信息 内容并表达为属性 (关键词 )
集合,再在传统的数据库管理系统框架内处理。
这种方法对信息采用了高度抽象,留给用户选
择余地小,查询方式和范围有所限制。
? 二是基于信号处理理论,即采用特征抽取和模
式识别的方法来克服基于数据库方法的局限性,
但全自动地抽取特征和识别时间开销太大,并
且过分依赖于领域 知识,识别难度大。
系统实现
? 在 CRB系统中采用的有效方法包括相似性、模
糊值、分段化等技术, 下面以视觉信息管理系
统 (VIMS)为例介绍 CRB系统的实现 。
图 6.14 基于内容的检索系统结构
交互查询
模块
查询
格式化
新的图像
插入模块
数据(图像)
处理模块
知识模块
图像 DB
特征 DB
用户
图 6.15 检索方法
视觉例程
图像插入 查询图像
被存储的特征值 查询特征
计算
相似性
图 6.16 基于内容的检索过程
6.4.3 图像内容分析及其检索
? 基于颜色直方图检索
? 基于轮廓的检索
? 基于纹理的检索
? 视频检索
6.4.4 MPEG-7标准
? MPEG-1,2,4解决在多媒体高效存储, 传输和处理
声音图像信息问题 。 但还没有能解决多媒体信息检
索问题的工具 。
? MPEG-7标准即, 多媒体内容描述接口,。 其 目标就
是产生一种描述多媒体信息的标准, 满足实时, 非
实时以及推 -拉应用的需求 。 并将该描述与所描述的
内容相联系, 以实现快速有效的检索 。
? MPEG-7 标准可独立于其他 MPEG标准使用, 但
MPEG-4所定义的音频, 视频对象的描述适用于
MPEG-7。 MPEG-7适用范围广泛, 既可应用于存储,
也可用于流式应用 。 可在实时或非实时环境应用 。
1,MPEG-7的相关概念
? 数据 (Data) MPEG-7描述的多媒体信息, 包含图形, 静止图
像, 视频, 音乐, 语音, 文本和其他相关的媒体 。
? 特征 (Feature) 指数据的特性 。 特征本身不能比较, 而要用
有意义的特征表示 (描述子 )和它的实例 (描述值 )。 如图像的
颜色, 语音的声调, 音频的旋律等 。
? 描述子 (Descriptor,D) 是特征的表示 。 它定义特征表示的
句法和语义, 可以赋予描述值 。 一个特征可能有多个描述子,
如颜色特征可能的描述子有:颜色直方图, 频率分量的平均
值, 运动的场描述, 标题文本等 。
? 描述值 (Descriptor Value) 是描述子的实例 。 描述值与描述模
式结合, 形成描述 。
? 描述模式 (Description Scheme,DS) 说明其成员之间的关系
结构和语义 。 成员可以是 描述子和描述模式 。 DS和 D的区
别是,D仅仅包含基本的数据类型, 不引用其他 D或 DS。 如
影片从时间上结构化为场景和镜头, 在场景级包括一些文
本描述子, 在镜头级包含颜色, 运动和一些音频描述子 。
? 描述 (Description) 由一个描述模式和一组描述值组成 。
? 编码的描述 (Coded Description) 是对已完成编码的描述, 满
足诸如压缩效率, 差错恢复和随机存取的相关要求 。
? 描述定义语言 (DDL) 一种允许产生新的描述模式和描述子
的语言, 允许扩展和修改现有的描述机制 。
2,MPEG-7的工作原理
图 6.17 描述定义语言、描述模式和描述子的关系
? 图中解释 MPEG-7在实际系统中的位置 。
DDL提供建立描述模式的机制, 然后将描述
模式作为基础, 产生一个描述 。
图 6.18 MPEG-7应用 的一种抽象表示
? MPEG-7描述可附在多媒体素材之后,具有此种附加信息的
存储素材就可以被方便地索引和搜索。
? 尽管 MPEG-7描述与被描述内容的表达方式无关, 但在一定
程度上还是依赖于 MPEG-4标准 。
? 标准化描述可以在若干个不同的语义层上进行 。
针对不同类型、不同应用的多媒体信息。
以视频内容为例, 低抽象的语义层 可以是对场景中物体的
形状、大小、纹理、色彩和位置的描述。而 最高抽象的语义
层 则以高效编码的形式给出语义信息,如,,这是一个位于
左侧的棕色狗和一个在右侧并下落着的篮色球的场景, 。也
可以有 中间层 存在 。
? 根据 MPEG一贯坚持的, 制定最少的、最有用的, 原则,
MPEG-7主要集中在对信息分类的表达方法进行标准化。而
特征提取算法、声音图像内容识别工具不属于 MPEG-7标准
的界定范围。同样搜索机制、音频或视频回放技术也不包括
在 MPEG-7标准中。
? 开发声音图像内容识别、特征抽取、搜索和音频视频回放工
具是工业界的任务,他们会生产销售符合 MPEG-7的产品。
图 6.19 MPEG-7的处理链
3,MPEG-7应用领域
? 数字图书馆 (图像目录,音乐字典 … )。
? 多媒体目录 服务 (例如黄页号薄 …) 。
? 广播媒体选择 (无线电频道,TV频道 …) 。
? 多媒体编辑 (个人电子新闻服务,媒体写作 )。
? 在教育,娱乐,医疗应用,地理信息系统等领
域。
本章小结
? 首先讨论了多媒体数据库系统的特点、结构和实
现技术 ;
? 介绍了能够对多媒体信息进行有效管理的面向对
象数据库的概念、特点和实现系统;
? 最后介绍了基于内容 检索技术和 MPEG-7标准。
本章中的面向对象数据库系统和基于内容检索技术
还处于完善阶段,但它们无疑代表了多媒体数据
库系统的发展方向。