数字图像处理北京大学计算机研究所 陈晓鸥第五章 数字图像与互联网
5.1 基于互联网的图像系统
5.2 面向图像检索的内容匹配
5.3 面向版权保护的数字水印
5.1 基于互联网的图像系统
互联网图像系统的结构
互联网图像系统的研究方向
– 解决图像数据大与网络带宽窄的问题
– 与信息安全、版权保护相关的图像问题
– 静止、活动图像的存储与检索的问题图像创建 图像管理( Server) 图像访问(浏览器)
5.2 面向图像检索的内容匹配
5.2.1 内容检索与内容匹配
5.2.2 内容匹配的主要策略
5.2.3 内容描述标准 MPEG7
5.2.1 内容检索与内容匹配
问题的提出
传统的图像检索方法
基于内容的图像检索方法
基于内容的图像 检索系统
5.2.1 内容检索与内容匹配
问题的提出
– 当我们的数字图像数量很多时(达到上千张、
甚至上百万张),如何快速有效地找到需要的数字图像是一项有挑战性的工作
– 那么,如何利用计算机辅助检索图像呢?
(与文本检索不同,图像与图像之间的比较是一个复杂的问题)
5.2.1 内容检索与内容匹配
传统的图像检索方法
– 通过图片的元数据或标引文字进行检索例:图像元数据宽度,210
高度,172
主题:玻璃瓶与草背景:淡灰内容,6个有草的玻璃瓶
3个瓶有红色液体
3个瓶有透明液体
5.2.1 内容检索与内容匹配
传统的图像检索方法
– 标引文字的检索的局限性是:
图片的标引文字主要靠人工输入。 对大数据量的场合(如 Web资源、数字图书馆等)应用困难
标引文字无法精确完整的刻画图片内容
– 文字描述一维线性的媒体,而图片是二维非线性的媒体
– 生成或利用元数据的过程实质是在两种差异很大的媒体间的翻译过程,有很大的随意性和信息损失
5.2.1 内容检索与内容匹配
基于内容的图像检索方法
– 一图胜千言,考虑绕过这些转换(翻译)过程直接利用图片去检索图片,这就是基于内容的检索的出发点
– 基于内容的图像检索的英文缩写,CBIR
Content-Based Image Retrieval
– 90年代初,国际上就开始了对基于内容的多媒体信息检索方面的研究。
5.2.1 内容检索与内容匹配
基于内容的图像检索 方法
– 大量原型系统已经推出,技术正在逐步走向成熟,已经出现一些商用系统。
商用系统如,IBM的 QBIC、
Virage的 VIR Image Engine。
原型系统如,UCB的 BlobWorld( 形状)、
Stanford的系统(颜色)。
– 检索效果仍需改进。
5.2.1 内容检索与内容匹配图片输入模块 …
查询处理模块特征匹配模块数字图像库 特征索引库
基于内容的图像 检索系统
– 基于内容的图像 检索系统结构特征提取模块
5.2.1 内容检索与内容匹配
基于内容的图像 检索系统
– 基于内容的图像 检索流程
基于内容的检索通过与用户交互的方式,对查询结果逐步求精,检索经历了一个特征调整,重新匹配的循环过程 。
逐步筛选
、求精特征调整生成查询要求输入图像 返回结果图像相似性匹配返回初步结果
5.2.1 内容检索与内容匹配
基于内容的图像 检索系统
– 基于内容的图像 检索系统的 4种检索方式:
1)利用图片样本检索( Query By Example)
可以由用户准备图片样本
可以在图片库中浏览
– 系统给出各类代表图像
– 从系统中随机抽取(检索是一个逐步求精的过程)
5.2.1 内容检索与内容匹配
基于内容的图像 检索系统
– 基于内容的图像 检索系统的检索方式
2)利用草图检索
3)利用图像特征模板检索如颜色特征模板,指定各种颜色的比率等。
4)以上方式结合先用草图或指定特征获取图片样本,再用图片样本检索左侧的就是一个颜色模板举例:用颜色特征模板进行检索
5.2.2 内容匹配的主要策略
颜色特征匹配
纹理特征匹配
形状特征匹配
5.2.2 内容匹配的主要策略
颜色特征匹配
– 基本原理:
颜色具有一定的稳定性 。 在许多情况下,
颜色是描述一幅图像最简便而有效的特征 。
用图像的颜色信息作为图像之间进行匹配的特征依据 。
– 颜色匹配基础,计算直方图距离的方法
直方图相交法
直方图距离法
互补颜色空间直方图法
二次型距离法
中心矩法
5.2.2 内容匹配的主要策略
– 颜色匹配基础,计算直方图距离的方法
直方图相交法令,HQ(k)为查询图像 Q的直方图
HD(k)为图片库图像 D的直方图则两图之间的匹配值为:
L-1 L-1
P(Q,D) =?min[HQ(k),HD(k)] /?HQ(k)
k=0 k=0
5.2.2 内容匹配的主要策略
– 三种主要颜色匹配策略
颜色比率匹配
颜色布局匹配
色彩空间匹配
1)颜色比率匹配两幅相似的图像各自所包含的各种颜色的比率是相似的,因此可以利用描述颜色构成比率的特征进行检索。如 彩色直方图,累积直方图,
主色调 等。
5.2.2 内容匹配的主要策略颜色比率匹配举例 2:从 1万张图片中检索的结果颜色比率匹配举例 2:从 1万张图片中检索的结果
– 三种主要匹配策略
2)颜色布局匹配
颜色比率匹配法的缺陷:
只能描述颜色的全局统计信息,不能描述颜色的空间分布
颜色布局匹配通过比较图像与样本的颜色分布位置的相似程度进行匹配。这类匹配选取的特征如 图像的分块直方图,颜色对距离直方图 等。
5.2.2 内容匹配的主要策略彩色布局匹配举例 1:从 1万张图片中检索的结果彩色布局匹配举例 2:从 901张图片中检索的结果
– 三种主要匹配策略
3)色彩空间匹配色彩空间对特征有重要影响,如在 HSV空间中可以忽略亮度信息的影响。
一般来讲,在 HSV空间中 利用分块累积直方图的检索效果较好
5.2.2 内容匹配的主要策略
5.2.2 内容匹配的主要策略
纹理特征匹配
– 基本原理:
虽然图像的纹理特征在局部区域内可能没有规则,但在 整体上却往往呈现出一定的规律性 。
纹理特征主要由纹理的
均匀度
对比度
方向的特征量表示
5.2.2 内容匹配的主要策略
纹理特征匹配
– 基本原理:
均匀度反映纹理的 尺寸
5.2.2 内容匹配的主要策略
纹理特征匹配
– 基本原理:
对比度反映纹理的 清晰度
5.2.2 内容匹配的主要策略
纹理特征匹配
– 基本原理:
方向反映实体 是否有规则的方向性 。
5.2.2 内容匹配的主要策略
纹理特征匹配
– 常用的匹配方法有:
基于传统数学模型的共生矩阵法
基于视觉模型的多分辨率分析法
纹理谱分析法
K-L变换法
小波方法纹理特征匹配举例 1:从 1万张图片中检索的结果纹理特征匹配举例 2:从 1万张图片中检索的结果
5.2.2 内容匹配的主要策略
形状特征匹配
– 基本原理
形状是刻划物体的本质特征之一,可以针对 面积 (可用象素点的个数计算 ),环形性 (即周长 *周长 /面积,周长也用象素点的个数表示 ),主轴方向,偏心率,圆形率,连通性,
正切角 等形状特征进行匹配 。
形状检索主要有两种方法
1) 针对 图像边缘轮廓线 进行的检索
2) 针对 图形矢量特征 进行的检索
5.2.3 内容描述标准 MPEG7
MPEG-7的基本思想
– MPEG-7是正在制定的多媒体内容描述标准,其目标就是制定一组标准的 描述子 及其 描述模式 (定义描述子的结构和相互关系 ),内容描述与媒体内容结合,使用户能够快速准确地进行检索
– MPEG-7的范围不包括 特征提取 和 检索引擎,目的是留有 竞争的余地
– MPEG-7不是基于像素的压缩标准,不是要取代已有标准
5.2.3 内容描述标准 MPEG7
MPEG-7所描述的内容
– 创作、生产相关信息:标题、导演、关键片段
– 检索特征描述信息,颜色、纹理、形状、音色、旋律
– 与使用相关的信息,版权、广播节目单
– 与存储相关的信息,存储格式、编码方式
– 时域、空域结构信息:场景剪接、区域分割、运动跟踪
5.2.3 内容描述标准 MPEG7
MPEG-7的内容描述机制
– 描述符,用来对检索特征进行描述
– 描述方案:用来描述描述符、描述方案之间的语义关系
– 描述定义语言:用来创建新的描述符、描述方案
– 系统工具:支持描述、同步、传输、编码描述之间的多路复用,以便进行有效的存储、传输、管理和版权保护
5.3 面向版权保护的数字水印
5.3.1 数字水印的基本概述
5.3.2 数字水印技术的特性
5.3.3 数字水印的典型算法
5.3.1 数字水印的基本概述
问题的提出
– 随着因特网在各个应用领域的蔓延,多媒体数字作品 ( 图像,视频,音频等 ) 纷纷以网络形式发表
– 这些作品的版权保护就成为一个迫切而又比较困难的问题
– 数字水印 ( digital watermarking)是解决这一问题的有效办法
5.3.1 数字水印的基本概述
如何通过数字水印实现版权保护
– 定义,通过在原始数据中嵌入秘密信息 —— 水印
(watermark)来证实该数据的所有权 。
– 形式,这种被嵌入的水印可以是一段文字,标识,
序列号,其他图像等,而且水印通常是不可见或不可察的,它与原始数据紧密结合,并隐藏其中,成为源数据不可分离的一部分 。
– 特性,水印信息应该能够在经历了某些不破坏原始数据的操作 ( 如压缩等 ) 后仍然保存下来 。
5.3.1 数字水印的基本概述密钥载体数据
数字水印系统模型
– 水印信号嵌入水印载体数据水印信息水印嵌入算法
5.3.1 数字水印的基本概述密钥载体数据
数字水印系统模型
– 水印信号嵌入水印载体数据水印信息水印嵌入算法
5.3.1 数字水印的基本概述
数字水印系统模型
– 水印信号的恢复密钥原始载体数据水印信息水印提取算法水印载体数据
5.3.1 数字水印的基本概述原始水印信息
数字水印系统模型
– 水印信号的检测密钥原始载体数据水印信息水印提取算法水印载体数据水印检测
5.3.1 数字水印的基本概述
水印技术与信息隐藏技术
– 水印技术是信息隐藏技术的一个分支
– 水印技术是信息隐藏技术的差异:
如果隐藏的信息被破坏,对于信息隐藏技术而言,
因为秘密信息并未泄漏,系统可以认为是安全的;
但对于数字水印系统来说,隐藏信息的丢失,意味着版权信息的丢失,从而失去了版权保护的功能,
因此,这样的系统是失败的。
5.3.2 数字水印技术的技术特性
鲁棒性 (robustness)
– 指不会因为图像文件的某些改动而导致隐藏信息丢失的能力。其中的,改动,包括传输过程中的信道噪声、
滤波采样、重采样、有损压缩编码,D/A或 A/D转换
不可检测性 (undetectability)
– 指隐藏载体与原始数据具有一致的特性。如具有一致的统计噪声分布等,以便使非法拦截者无法判断是否有隐蔽信息
5.3.2 数字水印技术的技术特性
透明性 (invisibility)
– 利用人类视觉系统属性,经过一系列隐藏处理,使目标数据没有明显的质量下降的同时,
隐藏的数据不会被发现
安全性 (security)
– 指隐藏算法有较强的抗攻击能力,即它能够承受一定程度的 人为攻击,而使隐藏信息不会被破坏。
5.3.2 数字水印技术的技术特性
自恢复性
– 由于经过一些操作或变换后,可能会使原图产生较大的破坏,如果只从留下的片段数据,仍能恢复隐藏信号,而且恢复过程不需要宿主信号,我们就说这样的算法具有自恢复性。
高 通 滤波 直方 图 均衡 化锐化处理
5.3.2 数字水印技术的技术特性
自恢复性平 滑 处理 JPEG压缩
JPEG2000压缩
5.3.2 数字水印技术的技术特性
裁剪对水印的影响
5.3.3 数字水印的典型算法
空域算法
– 早期的数字水印算法以空域算法为主 。
– 空域算法通常比较简单,运算量小 。 缺点是抵抗攻击的能力往往会比较弱 。
– Schyndel算法是空域算法 ( Schyndel算法是
Schyndel等人在 1994年提出,就数字水印技术领域而言,它可以说是具有一定程度的始祖意义 )
5.3.3 数字水印的典型算法
Schyndel算法:
– 首先把一个密钥输入到一个 m-序列发生器来产生水印信号,然后此 m-序列被重新排列成 2
维水印信号,并按象素点逐一插入到原始图像象素值的最低位 。
– 由于水印信号被安排在最低位,因此可以满足不可见性 。

5.3.3 数字水印的典型算法
频域算法:
– 把源数据经过某种变换 ( 例如 DCT变换 ) 之后,对频域数据嵌入水印信息 。
– 频域算法通常比较复杂,运算量大 。 但抵抗攻击的能力往往会强一些 。
– 目前比较主流的频域算法包括 DCT域数字水印算法,小波域数字水印算法等 。
5.3.3 数字水印的典型算法
DCT域数字水印算法
添加水印的算法
– 首先把图像分成 8× 8的不重叠象素块
– 对每块数据做 DCT变换,得到 DCT系数组
– 由密码控制选择一些 DCT系数,对这些系数进行微小变换以满足特定的关系 。
5.3.3 数字水印的典型算法
DCT域数字水印算法
提取水印的算法
– 在水印提取时,选取相同的 DCT系数
– 并根据系数之间的关系抽取特定信息 。
算法分析
– 数据改变的幅度比较小,透明性好 。
– 抵抗几何变换攻击的能力会比较弱 。
5.3.3 数字水印的典型算法
压缩域算法:
– 基于 JPEG,MPEG标准 。
– 水印信号的嵌入,提取,检测直接在压缩域数据中进行 。
– 节省了解码和重新编码的过程 。
请提问