人机交互技术编写组 1
第 3章 交互设备
人机交互技术编写组 2
主要内容
输入设备,
? 文本输入设备;图像输入设备;指点输入设
备等;
输出设备,
? 显示器 ;声音的输出 ;数字纸 等
虚拟现实系统中的交互设备
人机交互技术编写组 3
3.1文本输入设备
文本输入是人与计算机交互的一个重要
组成部分,同时也是一项繁重的工作。
键盘输入是最常见、最主要的文本输入
方式。
手写以及语音等一些更自然的交互方式
也可为文本输入提供辅助手段。
人机交互技术编写组 4
3.1.1键盘
键盘是文本输入的最重要手段,而键盘
布局对于文本输入的速度和准确性至关
重要。
为了提高键盘在某些场合下的使用舒适
度,许多键盘在设计的过程中还加入了
更多人性化的考虑。
人机交互技术编写组 5
1.键盘的布局
QWERTY键盘布局
? 19世纪 70年代,Sholes发明了 QWERTY键盘布局,其名称来源于
该布局方式最上行前 6个英文字母,最常用的几个字母安置在相反
方向,最大限度放慢敲键速度以避免卡键。 这种布局方式依然是
今天最为常见的排列方式,成为一种事实上的标准。
DUORAK键盘布局
? 20世纪 20年代的 DUORAK键盘布局,据推测可以大大减少手指移
动距离,从而大大提高输入速度,但由于受到传统 QWERTY布局
的影响,没有成为主流的键盘布局。
人机交互技术编写组 6
2,人性化设计的键盘
(1)人体工程学键盘
?是在标准键盘基础上将指法规定的左手键区和右
手键区这两大板块左右分开,并形成一定角度,
这样可使操作者不必有意识的夹紧双臂,从而保
持一种比较自然的形态,这种设计的键盘被微软
公司命名为自然键盘( Natural Keyboard)。
人机交互技术编写组 7
(1)人体工程学键盘 (图例 1)
图 3-1 人体工程学键盘:固定于椅子上的键盘
人机交互技术编写组 8
图 3-1 人体工程学键盘:固定于桌面上的键盘
(1)人体工程学键盘 (图例 2)
人机交互技术编写组 9
2.人性化设计的键盘
( 2)多功能集成键盘
? 这类键盘集成了鼠标、无线等功能,在键盘
布局以及外观设计方面,针对游戏、上网浏
览等常用娱乐功能做了改进。
? 键盘正上方设计的快捷键,包括, IE主页,,
,打开文件夹,,, 查找文件, 和, 进入信
箱, 等 12个,许多操作可以一键完成。键盘
的无线接收器采用 USB接口,安装使用也非
常方便。
人机交互技术编写组 10
图 3-2 BTC 9019URF 无线游戏键盘
2.人性化设计的键盘
人机交互技术编写组 11
图 3-2 BTC 9019URF 无线游戏键盘
2.人性化设计的键盘
人机交互技术编写组 12
3.1.2 手写设备
手写笔板 +手写笔,
? 是手写系统中一个很重要的部分。
?有线笔,手写笔尾部均有一根电缆与手写板相连,
从手写板上输入电源 。
?无线笔,借助于一些特殊技术而不需要任何电源。
无线笔的优点是携带和使用起来非常方便,同时
也较少出现故障。
?手写笔一般还带有两个或三个按键,其功能相当
于鼠标按键,这样在操作时不需要在手写笔和鼠
标之间来回切换。
人机交互技术编写组 13
3.1.2 手写设备
图 3-3 汉王笔手写系统
人机交互技术编写组 14
3.1.2 手写设备
手写板主要分类,
? 电阻式压力手写板:几乎已经被淘汰
? 电磁式感应手写板:目前市场主流产品
? 电容式触控手写板:市场的新生力量, 具有
耐磨损, 使用简便, 敏感度高等优点, 是今
后手写板的发展趋势 。
人机交互技术编写组 15
3.1.2 手写设备
手写板的一些通用的评测指标
压感级数,
? 手写板可以感应到笔在手写板上的力度的级别, 最高为 512级 。
精度,
? 精度又称分辨率, 指的是单位长度上所分布的感应点数, 精
度越高对手写的反映越灵敏, 对手写板的要求也越高
书写面积,
? 是手写板一个很直观的指标, 手写板区域越大, 书写的回旋
余地就越大, 运笔也就更加灵活方便, 输入速度往往会更快,
当然其价格也相应更高 。 书写面板的尺寸大体有以下几种:
76mm× 51mm, 76mm× 114mm, 10mm× 13mm 和
11mm× 15mm
人机交互技术编写组 16
3.1.2 手写设备
手写汉字识别软件
? 除了硬件外,手写笔和手写板的另一项核心
技术是手写汉字识别软件,目前各类手写笔
的识别技术都已相当成熟,识别率和识别速
度也能够满足实际应用的要求。
人机交互技术编写组 17
3.1.3 语音输入设备
语音输入为文本输入提供了更加自然的
交互手段,也许在将来,我们能够真正
抛弃键盘,实现和计算机的, 对话, 。
在语音录入过程中所涉及的设备主要麦
克风和声卡(见 3.5节)
人机交互技术编写组 18
3.2 图像输入设备
图像输入是人与计算机交互的另外一个
重要组成部分。
扫描仪可以快速地实现图像输入,且经
过对图像的分析与识别,可以得到文字、
图形等内容;
而摄像头则是捕捉动态场景最常用的工
具。
人机交互技术编写组 19
3.2.1 扫描仪
扫描仪作为光电、机械一体化的高科技
产品,自问世以来凭借其独特的数字化
,图像, 采集能力,低廉的价格以及优
良的性能,得到了迅速的发展和广泛的
应用,目前已成为计算机不可缺少的图
文输入工具之一,被广泛地应用于图形、
图像处理的各个领域。
人机交互技术编写组 20
1.扫描仪的简单工作原理
扫描仪对图像画面进行扫描时,光源将光线照射到待
扫描的图像原稿上,产生反射光或透射光,然后经反光镜组
反射到线性 光电转换的电荷耦合器件( Charge Coupled
Device,CCD) 。 中。 CCD图像传感器根据反射光线强弱的
不同转换成不同大小的电流,经模拟/数字转换处理,将电
信号转换成数字信号,即产生一行图像数据。
同时,在控制电路的控制下,步进电机旋转带动驱动
皮带,从而驱动光学系统和 CCD扫描装置在传动导轨上与待
扫原稿做相对平行移动,将待扫图像原稿逐条线扫入,最终
完成全部原稿图像的扫描。对于彩色图像,扫描仪在扫描时,
首先生成分别对应于红 (R)、绿 (G)、蓝 (B)三基色的三幅图
像,然后将这三幅图像合成。
人机交互技术编写组 21
图 3-4 扫描仪扫描过程简图
人机交互技术编写组 22
2.扫描仪的性能指标
(1) 分辨率,
? 扫描仪的分辨率决定了最高扫描精度 ;在扫描图像
时,扫描分辨率设得越高,生成的图像的效果就越
精细,生成的图像文件也越大。
? DPI是指用扫描仪输入图像时,在每英寸上得到的
像素点个数。
? 扫描仪的分辨率等于其光学部件的分辨率加上其自
身通过硬件及软件进行处理分析所得到的分辨率 ;
? 分辨率为 1200DPI的扫描仪,往往其光学部分的分
辨率只占 400~ 600DPI。扩充部分的分辨率由硬件
和软件联合生成,这个过程是通过计算机对图像进
行分析,对空白部分进行插值处理所产生的 ;
人机交互技术编写组 23
2.扫描仪的性能指标
(2)扫描速度,
? 扫描速度决定了扫描仪的工作效率,
? 一般而言,以 300DPI的分辨率扫描一幅 A4
幅面的黑白二值图像,时间少于 10秒钟,相
同情况下,扫描灰度图,约需 10秒左右,而
如果使用三次扫描成像的彩色扫描仪,则要
2~3分钟。
人机交互技术编写组 24
3.平板式扫描仪的结构
目前大部分的扫描仪都属于 平板式扫描
仪,主要由上盖、原稿台、光学成像部
分、光电转换部分、机械传动部分组成
(如图 3-5)。
机盖
导轨
滑杆
稿台
齿轮链条
步进电机
图 3-5 平板式扫描仪结构
人机交互技术编写组 25
3.2.2 数码摄像头
1.数码摄像头的用途
? 数码摄像头可以直接捕捉影像,然后通过计算机的
串口、并口或者 USB接口传送到计算机里。
? 数码摄像头没有存储装置和其他附加控制装置,只
有一个感光部件、简单的镜头和不太复杂的数据传
输线路,造价低廉。
人机交互技术编写组 26
3.2.2 数码摄像头
2.衡量数码摄像头的关键因素
? 感光元器件
?大多为 CCD,CCD的成像往往通透性、明锐度都
很好,色彩还原、曝光可以保证基本准确 ;应用
在摄像、图像扫描等对于图像质量要求较高的应
用中,价格高
?附加金属氧化物半导体组件( Complementary
Metal-Oxide Semiconductor,CMOS)大多应用
在一些低端视频应用中,价格低
? 像素数,
?像素数是影响图像质量的重要指标,也是判断摄
像头性能优劣的重要条件。早期产品以 10万像素
的居多,目前则以 35万像素为主
人机交互技术编写组 27
3.2.2 数码摄像头
2.衡量数码摄像头的关键因素
? 解析度,
? 分为照像解析度和视频解析度,有 352× 288,320× 240、
176× 144,160× 120 等规格
? 一般产品的最高解析度可以达到 640× 480
? 视频速度,
? 视频速度和视频解析度是直接相关的,基本成反比关系如
640× 480 解析度可达 12.5帧/秒( Frames Per Second,
FPS),352× 288 的 解析度可得到 30 FPS,真正获取流
畅的视频
? 镜头,
? 镜头性能的重要条件是它的调焦范围以及灵敏性等因素,
好的摄像头,应该有较为宽广的调焦范围和较高的灵敏性
人机交互技术编写组 28
数码摄像头产品
如图 3-6所示的摄像头(创新 Video
Blaster WebCam),可以用 16.7兆颜色
进行实时视频捕捉;分辨率为 352× 288
时速度最快达 30 帧每秒,分辨率为
640× 480 时达 15 帧每秒;支持
160× 120,176× 144,320× 240、
352× 288、和 640× 480 分辨率的静态
图像捕捉;镜头免调焦距。
人机交互技术编写组 29
图 3-6创新 Video Blaster WebCam 及其控制界面
人机交互技术编写组 30
3.3指点输入设备
指点设备常用于完成一些定位和选择物体的交
互任务。物体可能处于一维、二维、三维或更
高维的空间中,而选择与定位的方式可以是直
接选择,或通过操作屏幕上的光标来完成 。
人机交互技术编写组 31
3.3.1鼠标
1963年,美国科学家 Douglas Englebart发明了鼠标器
(如图 3-7左)。他最初的想法是为了让计算机输入操
作变得更简单、容易。第一只鼠标器的外壳是用木头
精心雕刻而成的,整个鼠标器只有一个按键,在底部
安装有金属滚轮,用以控制光标的移动。 1984年,苹
果公司把经过改进的鼠标器安装在 Lisa微电脑上,从而
使鼠标器声名显赫,它与键盘一道成为电脑系统中必
备的输入装置。
人机交互技术编写组 32
1.最初的鼠标和现在常用的鼠标
人机交互技术编写组 33
2.鼠标的分类
1)机械式鼠标 (半光学鼠标 )
?工作原理:在机械式鼠标底部有一个可以自由滚
动的球,在球的前方及右方装置两个支成 90度角
的编码器滚轴,移动鼠标时小球随之滚动,便会
带动旁边的滚轴,前方的滚轴记录前后滑动,右
方的滚轴记录左右滑动,两轴一起移动则代表非
垂直及水平方向的滑动。编码器由此识别鼠标移
动的距离和方位,产生相应的电信号传给电脑,
以确定光标在屏幕上的正确位置。
人机交互技术编写组 34
2.鼠标的分类
2)光电式鼠标
?工作原理,利用一块特制的光栅板作为位移检测
元件,光栅板上方格之间的距离为 0.5mm。鼠标
器内部有一个发光元件和两个聚焦透镜,发射光
经过透镜聚焦后从底部的小孔向下射出,照在鼠
标器下面的光栅板上,再反射回鼠标器内。当在
光栅板上移动鼠标器时,由于光栅板上明暗相间
的条纹反射光有强弱变化,鼠标器内部将强弱变
化的反射光变成电脉冲,对电脉冲进行计数即可
测出鼠标器移动的距离。
人机交互技术编写组 35
3.鼠标与计算机的接口
串行接口设计 (梯形 9针接口 );
随着 PC机器上串口设备的逐渐增多, 串口鼠标
逐渐被采用新技术的 PS/2接口鼠标所取代 (小
圆形接口 );
随着即插即用概念的提出, 使得采用 USB接口
的鼠标成为主流;
而对于一些有专业要求的用户而言, 采用红外
线信号来与电脑传递信息的无线鼠标也成为一
种专业时尚 。
人机交互技术编写组 36
4.鼠标的按键
从按键而言,依次经历了两键、三键时
代。随着 INTERNET的普及,人们发现,
在鼠标上加上一个小小的轮轴更便于浏
览网页,这样,又出现了滚轮鼠标,目
前的鼠标以三键滚轮鼠标为主(如图 3-7
右)。虽然鼠标的发展速度和其他输入
设备相比似乎慢了许多,但是鼠标对计
算机操作带来的巨大便利,决定了其在
短时间内是难以被完全替代的。
人机交互技术编写组 37
3.3.2触摸板( Touchpad)
触摸板能够在一定的区域内(通常是 50~75毫
米长度)感应接触,将这种接触信号转发给计
算机处理。目前,触摸板已应用到笔记本电脑
上,可以替代鼠标。触摸板通过电容感应来获
知用户的手指移动情况,对手指热量并不敏感。
同鼠标相比,触摸板的使用更加灵活,在使用
过程中,通过更多的配置,可以得到更强的功
能。
人机交互技术编写组 38
触摸板以及触摸板的配置
图 3-8 触摸板以及触摸板的配置
人机交互技术编写组 39
3.3.3 控制杆
控制杆很适宜于跟踪目的(即追随屏幕上一个
移动的目标)的原因是移动对应的光标所需的
位移相对较小,同时易于变换方向。
控制杆的移动导致屏幕上光标的移动。根据两
者移动的关系,可以将其分为两大类:位移定
位和压力定位。对于位移定位的游戏杆,屏幕
上的光标依据游戏杆的位移而移动,
人机交互技术编写组 40
人机交互技术编写组 41
3.3.4光笔
光笔是一种较早用于绘图系统的交互输入设备,
它能使用户在屏幕上指点某个点以执行选择、
定位或其他任务。光笔和图形软件相配合,可
以在显示器上完成绘图,修改图形和变换图形
等复杂功能(如图 3-10)。
光笔的形状和普通钢笔相似, 它由透镜, 光导
纤维, 光电元件, 放大整形电路和接触开关组
成 ( 如图 3-11) 。
人机交互技术编写组 42
图 3-10 光笔的使用
人机交互技术编写组 43
光笔的 的原理图
光电
转换
放大
整形
开关电路
光孔
触钮开关
导线
透镜组 光导纤维
笔体
输出
信号
人机交互技术编写组 44
光笔的优缺点
光笔的优点
? 不需要特殊的显示屏幕,与触摸屏的设备相比较,
价格便宜许多;
? 在一些不适宜使用鼠标的地方,可以起到替代作用。
光笔的缺点
? 手和笔迹可能将遮挡屏幕图像的一部分;
? 会造成手腕的疲劳;
? 光笔不能检测黑暗区域内的位置;
? 会因房间背景光的影响, 光笔产生误读现象 。
人机交互技术编写组 45
3.3.5 触摸屏
触摸屏作为一种特殊的计算机外设, 提供了一
种简单, 方便, 自然的人机交互方式, 在某些
应用中, 可以代替鼠标或键盘 。
触摸屏目前主要应用于公共信息的查询, 如电
信, 税务, 银行, 电力等部门的业务查询, 城
市街头的信息查询 。
此外还可以应用于工业控制, 军事指挥, 电子
游戏, 点歌点菜, 多媒体教学等方面 。
人机交互技术编写组 46
触摸屏的分类
可以把触摸屏分为四种,
? 电阻式
? 电容感应式
? 红外线式(图 3-12)
? 表面声波式。每一类触摸屏都有其各自的优
缺点。
人机交互技术编写组 47
红外线式触摸屏及相关技术参数
原理:红外线
屏幕类型:平面
分辨率 ( dpi), 1600× 1200
尺寸 ( 英寸 ), 19
透光率,>92%
感应力度:可感知 100g触摸力
图 3-12 触摸屏及相关技术参数
人机交互技术编写组 48
3.3.6 手写液晶屏
手写液晶屏是液晶矩阵显示技术和高灵敏度电
磁压感技术的完美结合,可以在屏幕上直接用
压感笔实现高精度的选取、绘图、设计制作。
液晶屏幕上除了具备一般的液晶显示屏的特征
以外,在最上面还附有一层特制保护层,确保
在书写过程中,屏幕保持平整不变形,液晶原
来的画质毫不受损,同时具有高耐久性。
人机交互技术编写组 49
手写液晶屏
人机交互技术编写组 50
3.3.7 眼动跟踪系统
眼动跟踪系统允许用户仅仅通过凝视的
手段来控制计算机选择物体。目前来看,
眼动跟踪系统需要利用较为复杂的硬件
设备以及软件算法。
人机交互技术编写组 51
一个眼动跟踪系统示例
图 3-14 眼动跟踪系统
人机交互技术编写组 52
眼动跟踪系统 工作原理
首先, 用四个 L形的红外线发光器, 在眼
睛里产生一些亮点;然后利用一个广角
摄像头获取脸部图像, 快速确定眼睛的
位置, 再利用一个视野较小, 分辨率较
高的摄像头拍摄眼睛的高分辨率图像;
最后, 分析眼睛的图像,计算瞳孔中心和
亮点的位置, 通过计算瞳孔中心和亮点
确定的矢量, 确定视线方向 。
人机交互技术编写组 53
3.3.8 光标键 --非连续定位装置
选择菜单或者编辑文本过程中光标移动时,
只需要上、下、左、右几个方向的控制,
这时候仅需要简单的光标键就可以了 。
键盘上都有光标键,在 windows等图形用
户界面和鼠标出现之前,光标键是一般字
符界面最重要的定位方式。目前,在一些
应用中,特别是一些简单交互界面或一些
文本编辑系统中,光标键作为一种简单、
自然的方式,仍然发挥着重要的作用。
人机交互技术编写组 54
3.4显示设备
显示器是计算机的重要输出设备,是人
机对话的重要工具。它的主要功能是接
收主机发出的信息,经过一系列的变换,
最后以光的形式将文字和图形显示出来。
在交互的计算机系统中,没有显示器的
情况是非常少见的,只出现在某些非传
统的应用中。
人机交互技术编写组 55
3.4.1 位图显示
光栅扫描型( Raster scan)显示器,以
点阵形式表示图形,采用专门的帧缓冲
区存放点阵,缓冲区按照矩形网格排列,
每个网格点对应显示器上的一个象素。
由视频控制器负责刷新扫描,当扫描到
显像管表面时,根据对应的缓冲区中的
值,显示不同的灰度和颜色(如图 3-
15),此类显示技术称为位图( Bitmap)
显示。
人机交互技术编写组 56
1.位图与光栅显示
帧缓冲存储器
C R T 光 栅
电子枪
寄存器
1 DAC
人机交互技术编写组 57
屏幕坐标系
光栅显示器的图形表现能力,是通过光
栅图形元素来实现的。为此建立了以屏
幕分辨率为基础的二维图形整数坐标系,
称为屏幕坐标系。它的垂直方向为 Y轴,
水平方向为 X轴,原点在屏幕的左上角,
单位为象素的直径(即点距)。
人机交互技术编写组 58
3.4.2 显示技术
1.阴极射线管( CRT)显示器
? 结构
偏转的电子束
荧光屏
水平偏转板 垂直偏转板灯丝 阴极
聚焦系统 加速系统电平控制器
人机交互技术编写组 59
3.4.2 显示技术
? 工作方式
?电子束从左向右,从上向下扫描荧光屏,产生一
幅幅光栅,每一条从左向右的直线称为扫描线,
每一幅光栅称为一帧。扫描方式分逐行和隔行扫
描方式。隔行扫描方式把一帧光栅分为两次扫描:
先扫偶数行扫描线,再扫奇数行扫描线。逐行扫
描比隔行扫描拥有更稳定显示效果。
人机交互技术编写组 60
液晶显示器
2.液晶 -等离子显示器
? 在充电条件下,液晶能改变分子排列,继而
造成光线的扭曲或折射
? 液晶显示器工作原理是通过能阻塞或传递光
的液晶材料,传递来自周围的或内部光源的
偏振光。
? LCD比 CRT显示器具有更好的图像清晰度,画
面稳定性和更低的功率消耗,但液晶材质粘
滞性比较大,图像更新需要较长响应时间,
因此不适合显示动态图象
人机交互技术编写组 61
等离子显示器
等离子显示器诞生于二十世纪 60年代,
它采用等离子管作为发光材料,1个等离
子管负责一个像素的显示:等离子管内
的氖氙混合气体在高压电极的刺激下产
生紫外线,紫外线照射涂有三色荧光粉
的玻璃板,荧光粉受激发出可见光 。
人机交互技术编写组 62
3.4.3 数字纸
数字纸是一种仍处于试验阶段的显示技术。数字纸是
一种薄的,柔软的介质,如同一般的计算机屏幕一样,
可以利用电子仪器在上面书写,不同的是,即使没有
了能量,它也能保存已经书写的内容。
有若干技术应用于数字纸的研究。其中之一是将介质
的表面布满小的球体,一面是黑色的,另一面是白色
的。电子进入介质后,会使得小球旋转,呈现出黑色
或白色。当电子信号消失后,小球保持其最后的朝向。
目前的数字纸的分辨率可以到达 100dpi,并可以显示
不同的灰度和颜色。
人机交互技术编写组 63
3.5语音交互设备
语音作为一种重要的交互手段,日益受到人们
的重视。
人们可以使用固定电话或移动电话以及 PC、
PDA和其它智能设备通过语音识别、语音合成
等交互技术,以及语音浏览、智能信息处理技
术等实现访问互联网,实现个人服务和商业服
务的语音应用。
在美国、日本,语音互联已成为简易终端接入
互联网的主要方式之一。对于语音的交互,耳
机、麦克风以及声卡是最基本的设备。
人机交互技术编写组 64
3.5.1 耳麦
1.耳机及指标
? 耳机结构,
? 耳机结构可以分为封闭式, 开放式, 半开放式三种
? 频响范围,
? 耳机能够放送出的频带的宽度, 国际电工委员会 IEC581-
10标准中高保真耳机的频响范围应当能够包括 50Hz到
12500Hz之间
? 灵敏度
? 指在同样响度的情况下, 需要输入功率的大小, 灵敏度越
高所需要的输入功率越小
人机交互技术编写组 65
3.5.1 耳麦
1.耳机及指标
? 阻抗
?是耳机交流阻抗的简称, 台式机或功放, VCD、
DVD,电视等器械上, 常用到的是高阻抗耳机,
各种便携式随身听, 例如 CD,MD或 MP3,一般
会使用低阻抗耳机
? 谐波失真
?是一种波形失真, 在耳机指标中有标示, 失真越
小, 音质也就越好 。 一般的耳机应当小于或略等
于 0.5%。
人机交互技术编写组 66
3.5.1 耳麦
2.麦克风及指标
? 耳机佩戴有麦克风。为了过滤背景杂音,达到更好的
识别效果,许多麦克风采用了 NCAT( Noise Canceling
Amplification Technology)专利技术。
? NCAT技术结合特殊机构及电子回路设计以达到消除
背景噪音,强化单一方向声音(只从配戴者嘴部方向)
的收录效果,是专为各种语音识别和语音交互软件设
计的,提供精确音频输入的技术,采用 NCAT/NCAT2
技术的麦克风会着重采集处于正常语音频段(介于
350Hz---7000Hz)的音频信号,从而降低环境噪音的
干扰。
人机交互技术编写组 67
3.5.1 耳麦
微软设计的 Game Voice可以方便地实现 同时与多
个人对话,与不同的个人对话,以及通过语音命
令控制游戏的功能 。
图 3-17 Game Voice
人机交互技术编写组 68
3.5.2 声音合成设备 -声卡
1.声卡的功能
? 是一种安装在计算机中的最基本的声音合成设备,是
实现声波/数字信号相互转换的硬件,可把来自话筒、
磁带、光盘的原始声音信号加以转换,输出到耳机、
扬声器、扩音机、录音机等声响设备,完成对声音信
息进行录制与回放 。
2.声卡的结构
? 声卡可分为模数、数模转换电路两部分,
? 模数转换电路负责将麦克风等声音输入设备采集到的
模拟声音信号转换为计算机能处理的数字信号;
? 而数模转换电路负责将计算机使用的数字声音信号转
换为耳机、音箱等设备能使用的模拟信号。
人机交互技术编写组 69
3.5.2 声音合成设备 -声卡
3.声卡拥有的接口,
? LINE OUT(或者 SPK OUT)
?用于连接音箱耳机等外部扬声设备,实现声音回
放;
? MIC IN
?OUTMIC IN用于连接麦克风,实现录音功能;
? LINE IN
?LINE IN则是把外部设备的声音输入到声卡中
? 游戏杆(外部 MIDI设备接口)
人机交互技术编写组 70
3.5.2 声音合成设备 -声卡
4.与声卡相关的重要概念
? 声音的采样
? 采样的位数
? 决定了声音采集的质量。采样位数可以理解为声卡处理声音
的解析度,这个数值越大,解析度就越高,录制和回放的声
音也越真实。
? 16位声卡能将声音分为 64K个精度单位进行处理,而 8位声
卡只能处理 256个精度单位,造成较大的信号损失
? 采样的频率
? 采样频率是指录音设备在一秒钟内对声音信号的采样次数,
采样频率越高则声音的还原就越真实越自然。在当今的主流
声卡上,采样频率一般分为 22.05KHz,44.1KHz,48KHz三
个等级
人机交互技术编写组 71
3.5.2 声音合成设备 -声卡
? 声道数
? 声音在录制过程中被分配到两个独立的声道,从而达到了
很好的声音定位效果,用户可以清晰地分辨出各种乐器来
自的方向,从而使音乐更富想象力,更加接近于临场感受。
? 四声道环绕音频技术较好实现了三维音效,四声道环绕规
定了 4个发音点:前左、前右,后左、后右,听众则被包
围在这中间。
? MIDI( Musical Instrument Digital Interface )文件
? MIDI文件是一种描述性的“音乐语言”,非常小巧,它将
所要演奏的乐曲信息用字节描述,例如“在某一时刻,使
用什么乐器,以什么音符开始,以什么音调结束,加以什
么伴奏”等等。
? MIDI文件只是一种对乐曲的描述,本身不包含任何可供回
放的声音信息。
人机交互技术编写组 72
3.5.2 声音合成设备 -声卡
? 波表合成
? 波表( WAVE TABLE)将各种真实乐器所能发出的所有声
音(包括各个音域、声调)录制下来,存贮为一个波表文
件。
? 播放时,根据 MIDI文件记录的乐曲信息向波表发出指令,
从“表格,中逐一找出对应的声音信息,经过合成、加工
后回放出来。
? 采用真实乐器的采样,所以效果较好。
? 一般波表的乐器声音信息都以 44.1KHz,16Bit的精度录制,
以达到最真实回放效果。
? 理论上,波表容量越大合成效果越好。
人机交互技术编写组 73
3.6虚拟现实系统中的交互设备
虚拟现实系统要求计算机可以实时显示
一个三维场景,用户可以在其中自由的
漫游,并能操纵虚拟世界中一些虚拟物
体。因此,除了一些传统的控制和显示
设备,虚拟现实系统还需要一些特殊的
设备和交互手段,来满足虚拟系统中的
显示、漫游以及物体操纵等任务。
人机交互技术编写组 74
3.6.1 三维空间定位设备
三维交互设备最基本的特点是具有六个
自由度。常见的三维输入设备主要有以
下几种,
? 1.空间跟踪定位器
? 2,数据手套( Data Glove)
? 3.三维鼠标
? 4.触觉和力反馈器
人机交互技术编写组 75
3.6.1 三维空间定位设备
1.空间跟踪定位器
?空间跟踪定位器或称三维空间传感器 ( 如图 3-18)
是一种能实时地检测物体空间运动的装置, 可以
得到物体在六个自由度上相对于某个固定物体的
位移, 包括,X,Y,Z坐标上的位置值, 以及
围绕 X,Y,Z轴的旋转值 ( 转动, 俯仰, 摇
摆 ) 。
?这种三维空间传感器对被检测的物体必须是无干
扰的, 也就是说, 不论这种传感器是基于何种原
理或使用何种技术, 它都不应当影响被测物体的
运动, 因而称为, 非接触式传感器, 。
人机交互技术编写组 76
图 3-18 空间跟踪定位器
人机交互技术编写组 77
空间跟踪定位器的主要的性能指标,
? 定位精度:指传感器所测出的位置与实际位置的差异
? 位置修改速率:指传感器在一秒钟内所能完成的测量次数
? 延时:指被检测物体的某个动作与传感器测出该动作时间
的间隔
需要解决的关键问题
? 如何减少颤抖, 漂移, 噪音
? 在虚拟现实技术中广泛使用的传感器类型,
? 低频磁场式:在虚拟现实环境中, 这种传感器常被用来安
装在数据手套和头盔显示器上 。
? 超声式,
人机交互技术编写组 78
3.6.1 三维空间定位设备
2,数据手套( Data Glove)
? 数据手套一般由很轻的弹性材料构成,紧贴在手上。整个系
统包括位置、方向传感器和沿每个手指背部安装的一组有保
护套的光纤导线,它们检测手指和手的运动。数据手套将人
手的各种姿势、动作通过手套上所带的光导纤维传感器,输
入计算机中进行分析。这种手势可以是一些符号表示或命令,
也可以是动作。手势所表示的含义可由用户加以定义。
? 在虚拟环境中,操作者通过数据手套可以用手去抓或推动虚
拟物体,以及做出各种手势命令。
人机交互技术编写组 79
图 3-19 数据手套
人机交互技术编写组 80
3.6.1 三维空间定位设备
3.三维鼠标
? 三维鼠标能够感受用户在六个自由度的运动,
包括三个平移参数和三个旋转参数 。
? 其装置比较简单:一个盖帽放在带有一系列
开关的底座上 。
? 转动这个小球或侧方向推动这个小球时, 如
向上拉它, 向下压它, 使它向前或向后等 。
? 三维鼠标将用户的这些动作传送给计算机,
从而进一步控制虚拟环境中的物体的运动 。
人机交互技术编写组 81
3.6.1 三维空间定位设备
图 3-20 三维鼠标
?Logitech 公司的
Magellan 3D
Controller,它可提
供 x,y,z,a,b,c 六个自
由度,并附有九个
按钮。
?Magellan 的外观设计充分考虑了功效学的原
则,用户长时间操作不容易感到疲劳,用户只
要轻轻搓动其上的盖帽便可在屏幕上平移和旋
转三维物体,松手后盖帽会自动恢复到初始位
置。
人机交互技术编写组 82
3.6.1 三维空间定位设备
4.触觉和力反馈器 (振动触感式反馈器 )
图 3-21 Virtual Technology公司的触觉反馈手套
人机交互技术编写组 83
3.6.1 三维空间定位设备
虚拟现实系统必须提供触觉反馈,以便使用户
感觉到仿佛真的摸到了物体。但是由于人的触
觉非常敏感,精度一般的装置根本无法满足要
求。
另外,对于 触觉和力反馈器,还要考虑到模拟
力的真实性、施加到人手上是否安全以及装置
是否便于携带并让用户感到舒适等问题。目前
已经有一些关于力学反馈手套、力学反馈操纵
杆、力学反馈笔、力学反馈表面等装置的研究
人机交互技术编写组 84
3.6.1 三维空间定位设备
手指触觉反馈器的实现主要通过视觉、
气压感、振动触觉、电子触觉和神经肌
肉模拟等方法。
其中电子触觉反馈器是向皮肤反馈宽度
和频率可变的电脉冲,而神经肌肉模拟
反馈是直接刺激皮层,这些方法都很不
安全,较安全的方法是气压式和振动触
感式的反馈器。
人机交互技术编写组 85
3.6.2 沉浸感显示设备
1.立体视觉
? 由于人类从客观世界获得的信息 80%( 60%视觉,
听觉 20%,其它 20%)以上来自视觉,因而视觉沟
通就成为多感知虚拟现实系统中最重要的环节,立
体视觉技术也就成为虚拟现实的一种极重要的支撑
技术。
? 人是通过右眼和左眼所看到物体的细微差异来感知
物体的深度,从而识别出立体图像的。立体影像生
成技术主要有两种:主动式立体模式和被动式立体
模式。
人机交互技术编写组 86
3.6.2 沉浸感显示设备
显示模式
? 主动式模式,
?用户的左右眼影像将按照顺序交替显示,用户使
用 LCD立体眼镜保持与立体影像的同步,这种模
式可以产生高质量的立体效果。
? 被动式系统
?需要使用两套显示设备以及投影设备分别生成左
右眼影像并进行投影,不同的投影分别使用不同
角度的偏振光来区别左右眼影像,用户使用偏振
光眼镜保持立体影像的同步 。
人机交互技术编写组 87
3.6.2 沉浸感显示设备
2.立体显示系统
? 头盔式显示器( Head Mounted Display,HMD,)
是一种立体图形显示设备,可单独与主机相连以接
受来自主机的三维虚拟现实场景信息。
? 目前最常用的头盔显示器是基于液晶显示原理的,
最早如美国 VPL公司于 1992年推出的 Eyephone,它
在头上装有一个分辨率为 360× 240象素的液晶显示
器,其视野为水平 100度。
人机交互技术编写组 88
图 3-22 头盔式显示器
人机交互技术编写组 89
3.6.2 沉浸感显示设备
头盔分单通道和双通道两种,
? 单通道的头盔显示器上装有一个液晶显示器并显示
同一幅图像;
? 双通道的头盔显示器上装有两个液晶显示器,左边
的液晶屏显示来自主控计算机生成的左眼图像,右
边的液晶显示屏显示来自主控计算机生成的右眼图
像,每一幅的图像的显示刷新速度都在 60Hz以上,
两幅图像在两个液晶屏之间快速切换显示,根据立
体成像原理,观察者就可以看到立体图像
人机交互技术编写组 90
3.6.2 沉浸感显示设备
? 头盔式显示器使用方式为头戴式, 辅以空间
跟踪定位器可进行虚拟场景输出效果的观察,
同时观察者可做空间上的移动, 如自由行走,
旋转等 。
? 两个显示屏幕处于用户佩戴的头盔中, 分别
覆盖用户双眼的视野, 使得用户只能够感知
来自计算机所生成的图像, 沉浸感极强 。
人机交互技术编写组 91
3.6.2 沉浸感显示设备
改进的沉浸式虚拟现实环境,
? 吊杆式双筒全方位监视器( Binocular Omni-
Orientation Monitor,BOOM)
? BOOM把两个独立的 CRT 显示器捆绑在一起,
用户可以用手操纵显示器的位置,以观察一个
可移动、宽视角的虚拟空间。
? BOOM的显著优点是分辨率较高,高端产品的
分辨率是 1280× 1024 像素。
? BOOM 的另外优点包括:没有延迟和噪声,
对用户无佩戴重量方面的负担。
人机交互技术编写组 92
图 3-23 BOOM显示系统
人机交互技术编写组 93
洞穴式显示环境 ( Cave Automatic Virtual
Environment,CAVE)
? 这是一种四面的沉浸式虚拟现实环境。
? 系统在支持多用户的同时,给用户提供了前所未有的,
带有震撼性的沉浸感
? 对于处在系统内的用户来说,投影屏幕将分别覆盖用
户的正面、左右以及底面视野,构成一个边长为 10英
尺的立方体。
? 可以允许多人走进 CAVE中,用户戴上立体眼镜便能
从空间中任何方向看到立体的图像。
? CAVE 实现了大视角、全景、立体、且支持 5~ 10 人
共享的一个虚拟环境。
人机交互技术编写组 94
图 3-24 CAVE显示环境
人机交互技术编写组 95
图 3-24 CAVE显示原理
人机交互技术编写组 96
洞穴式显示环境
l 它可提供 180o的宽视域和 2000× 2000
以上的高分辨率;
l 它允许用户在虚拟空间中走动,而不用
佩戴笨重的设备;
l 它允许在同一个环境中存在多个用户,
而且用户间可以自然地交互;
l 一次能显示大型模型,如汽车、房屋等,
而 HMD则需要头部运动才能看到完整的模型。
人机交互技术编写组 97
Cave系统示例
Workbench是一种单投影面的系统,立
体影像通过镜子的折射投影到一个水平
的投影平面,用户在此工作平面上与虚
拟物体进行交互
人机交互技术编写组 98
多投影面系统
? 相对于单投影面系统来说,多投影面系统能
够涵盖更多的用户视野范围,提供更好的沉
浸感,所以多投影面系统也成为沉浸式虚拟
环境的主要发展方向。对原来单投影面的
Workbench进行双投影面的改进,在水平
投影面的基础上增加额外的垂直投影面,可
以进一步增加用户的虚拟视野范围。
人机交互技术编写组 99
PowerWall系统
? Minnesota大学在 1994年提出的 PowerWall
系统是由多个投影面层叠或并排形成单个面
积较大的投影平面,它能提供高解析度大面
积范围的影像,主要被应用于科学数据可视
化,或面向多用户展示工作(图 3-25左)。
人机交互技术编写组 100
图 3-25 PowerWall
人机交互技术编写组 101
图 3-25 WORKBENCH
人机交互技术编写组 102
6个投影面的 CAVE系统
? 能够完全覆盖用户的视野范围,使用户能够
完全沉浸于所生成的虚拟环境。另外,也有
投影到圆柱状或环绕投影面的系统,主要应
用于虚拟剧场,提供对多用户的支持。
人机交互技术编写组 103
3.6.3 虚拟现实系统
山东大学考古数字博物馆
? 综合利用前面介绍的各种虚拟设备,可以在
此基础上完成一些较为复杂的应用。山东大
学构建了一套基于桌面的虚拟现实平台,并
用于山东大学考古数字博物馆(图 3-26)
人机交互技术编写组 104
图 3-26 山东大学考古数字博物馆的场景与交互
人机交互技术编写组 105






跟踪器
立体眼镜 /头盔
音箱
手 势
位 置
语音命令
传统命令
通道
理解
整合
立体图像
三维音效
麦克风
鼠标 /键盘
数据手套
图 3-27 数字博物馆的系统架构
人机交互技术编写组 106
图 3-27展示了该系统的整体结构 。 两个跟踪器
分别固定在用户的手套和身体上 ---固定在身体
上的跟踪器跟踪用户的转动, 控制用户在场景
中漫游的方向;附着在手套上的跟踪器跟踪手
相对于身体的相对位置 。 如果手与虚拟空间中
的物体发生碰撞, 则利用数据手套检测用户的
手势命令, 判断用户是否要抓取物体 。 语音命
令可以辅助用户在虚拟场景中进行漫游 。
人机交互技术编写组 107
协同工作的虚拟现实场景
Michigan大学的支持异地用户协同工作的虚拟
现实场景
? 利用多种显示环境,构建了如图 3-28所示,三个网
络用户分别使用 BOOM(左上),CAVE(右上),
以及 HMD(右下)系统在同一个场景中进行交互,
每个用户看到的虚拟场景都是根据自己的视点计算
得到的,用户通过自己在虚拟环境中的替身 (avatar)
同其他用户交互。每个用户同时可以使用不同的交
互设备同其他用户自由的交流与协作。
人机交互技术编写组 108
图 3-28 支持异地协同工作的虚拟现实环境