多媒体技术基础第九章 多模态人机交互技术从最早的手工操作到命令语言，再到广泛使用的图形用户界面，操作的直观性有了明显的改善通过本章学习，可以了解（或掌握）
多模态人机交互技术的概念
科学计算可视化
信息可视化
虚拟现实技术
9.1人机交互技术概述
9.1基本概念人机交互式研究人、计算机以及它们相互影响的技术。
人机界面是计算机与人之间通信和对话的接口，是计算机系统的重要组成部分。
9.1.人机界面的发展历史
1.手工操作
2.命令行界面
3.图形用户界面
WIMP界面，即以窗口、图表、菜单和指点装置为基础的人机界面技术
9.1.3人机交互的发展趋势目前，人机交互技术正朝着以人为中心，
减少人机隔阂，建立和谐的人机环境这一目标发展。
9.2多模态人机交互
9.2.1多模态人机交互概述模态是心理学领域中的一个标准术语，
指感知信息的感觉，也就是感觉模态。
所谓多模态人机交互，就是基于智能接口技术，充分利用人的多种感知通道，
以并行的、非精确的方式与计算机系统进行交互，旨在提高人机交互的自然性和高效性。
多模态人机交互技术所涉及的研究范围包括感知模型，语音识别，手写识别，姿势识别，表情识别，眼动跟踪，自然语言理解，触觉感知与表示，多模态通道信息融合，高性能视觉和听觉处理平台等。
1.采用多模态交互可以充分利用各种模态的特性，完成其在功能上的划分和互补。
2.使用多模态可以提高交互方式的灵活性。
3.多模态并非多个模态的集合，而是它们之间的整合。也就是说，将手势、语音与其他模态结合起来，采用具体的整合模型或算法，得到高一级的语义特性并且实现特定的应用。
多模态人机交互的研究主要包括以下五个部分：
1） 语音识别、理解及合成
2）手势识别技术
3）人脸的研究
4）唇读的研究
5）人体动作的研究
9.2.2多模态人机交互的特点
1） 使用多个感觉和动作模态
2）三维的和直接操纵的要求
3）允许模糊交互
4）交互双向性
5）交互的隐含性它所要达到的目标自然性、高效性和兼容性
9.2.3多模态整合
1.多模态整合实例
1）手的运动轨迹跟踪与语音识别的整合
（ 1）手势
（ 2）直接操纵
（ 3）用声音辅助的手势表达形状
2）语音识别与唇读的整合
3）其他
2.多模态整合考虑因素
1）操作部位
2） 带宽
3）误差
4）桌面空间
5）成本
9.3可视化可视化是指充分利用人们对可是模式快速识别的自然能力，将数据信息和知识转化为一种视觉形成的过程。
有效的可是画界面使得人们能够观察、
操纵、浏览、探索、过滤、发现、理解大规模数据能够方便的与之进行交互，从而可以有效地发现隐藏在内部的特征和规律。
9.3.1科学计算可视化科学计算可视化是指运用计算机图形学和图像处理技术，将科学计算过程中及计算结果的数据转换为图像及图像在屏幕上显示出来，进行交互处理的理论、方法和技术。
科学计算可视化技术的主要特点归纳为如下三点。
交互性、多维性和可视性。
科学计算可视化可按其功能分为三个层次。
1）科学计算结果数据的后处理
2）科学计算结果数据的实时处理及显示
3）科学计算结果数据的实时绘制及交互处理
9.3.2信息可视化目前可视化在以下四个方面发挥着重要作用：
1）层次信息的可视化
2）多位信息可视化
3）文档（文本）信息可视化
4） Web可视化
9.4虚拟现实虚拟现实（ VR,Virtual Reality） 是一计算机技术为核心构造的一个虚拟的世界，但在人们的感觉中，他却好像真实的世界一样。
9.4.1虚拟现实技术的基本概念通常是指用头盔显示器和传感手套等一系列新型交互设备构造的一种计算机软硬件环境。人们通过这些设施以自然的技能向计算机传送各种命令，得到计算机对用户的视觉、听觉及触觉等多种感官的反馈。随着人们动作的变化，这些感官也随之改变。
9.4.2虚拟现实的特性三个,I” 这就是沉浸 Immersion,交互 Interaction和想象 Imagination。
首先，要是参与者有真实的体验。
第二，系统要能提供方便的，丰富的，
主要是基于自然技能的人机交互手段。
第三，因为虚拟现实不仅仅是一种媒体或用户的高端接口，而且还是针对某个特定领域、解决某些问题的应用。
9.4.3虚拟现实系统的分类
1.非沉浸类虚拟现实系统
1）全景视频系统
2）基于座舱的系统
3）桌面虚拟现实 CAD系统
4） 基于剧情的虚拟现实系统
2.沉浸类虚拟现实系统
1）基于头盔显示器的系统
2）投影虚拟现实系统
3）遥在系统
3,分布式虚拟现实系统
4,增强现实系统
9.4.4关键技术
1.环境建模技术
2.三维交互技术
1）三维跟踪技术
2）立体声合成和立体显示技术
3）触觉反馈和力学反馈
4）自然交互技术
3.高性能计算处理技术
4.分布式虚拟现实
多模态人机交互技术的概念
科学计算可视化
信息可视化
虚拟现实技术
9.1人机交互技术概述
9.1基本概念人机交互式研究人、计算机以及它们相互影响的技术。
人机界面是计算机与人之间通信和对话的接口，是计算机系统的重要组成部分。
9.1.人机界面的发展历史
1.手工操作
2.命令行界面
3.图形用户界面
WIMP界面，即以窗口、图表、菜单和指点装置为基础的人机界面技术
9.1.3人机交互的发展趋势目前，人机交互技术正朝着以人为中心，
减少人机隔阂，建立和谐的人机环境这一目标发展。
9.2多模态人机交互
9.2.1多模态人机交互概述模态是心理学领域中的一个标准术语，
指感知信息的感觉，也就是感觉模态。
所谓多模态人机交互，就是基于智能接口技术，充分利用人的多种感知通道，
以并行的、非精确的方式与计算机系统进行交互，旨在提高人机交互的自然性和高效性。
多模态人机交互技术所涉及的研究范围包括感知模型，语音识别，手写识别，姿势识别，表情识别，眼动跟踪，自然语言理解，触觉感知与表示，多模态通道信息融合，高性能视觉和听觉处理平台等。
1.采用多模态交互可以充分利用各种模态的特性，完成其在功能上的划分和互补。
2.使用多模态可以提高交互方式的灵活性。
3.多模态并非多个模态的集合，而是它们之间的整合。也就是说，将手势、语音与其他模态结合起来，采用具体的整合模型或算法，得到高一级的语义特性并且实现特定的应用。
多模态人机交互的研究主要包括以下五个部分：
1） 语音识别、理解及合成
2）手势识别技术
3）人脸的研究
4）唇读的研究
5）人体动作的研究
9.2.2多模态人机交互的特点
1） 使用多个感觉和动作模态
2）三维的和直接操纵的要求
3）允许模糊交互
4）交互双向性
5）交互的隐含性它所要达到的目标自然性、高效性和兼容性
9.2.3多模态整合
1.多模态整合实例
1）手的运动轨迹跟踪与语音识别的整合
（ 1）手势
（ 2）直接操纵
（ 3）用声音辅助的手势表达形状
2）语音识别与唇读的整合
3）其他
2.多模态整合考虑因素
1）操作部位
2） 带宽
3）误差
4）桌面空间
5）成本
9.3可视化可视化是指充分利用人们对可是模式快速识别的自然能力，将数据信息和知识转化为一种视觉形成的过程。
有效的可是画界面使得人们能够观察、
操纵、浏览、探索、过滤、发现、理解大规模数据能够方便的与之进行交互，从而可以有效地发现隐藏在内部的特征和规律。
9.3.1科学计算可视化科学计算可视化是指运用计算机图形学和图像处理技术，将科学计算过程中及计算结果的数据转换为图像及图像在屏幕上显示出来，进行交互处理的理论、方法和技术。
科学计算可视化技术的主要特点归纳为如下三点。
交互性、多维性和可视性。
科学计算可视化可按其功能分为三个层次。
1）科学计算结果数据的后处理
2）科学计算结果数据的实时处理及显示
3）科学计算结果数据的实时绘制及交互处理
9.3.2信息可视化目前可视化在以下四个方面发挥着重要作用：
1）层次信息的可视化
2）多位信息可视化
3）文档（文本）信息可视化
4） Web可视化
9.4虚拟现实虚拟现实（ VR,Virtual Reality） 是一计算机技术为核心构造的一个虚拟的世界，但在人们的感觉中，他却好像真实的世界一样。
9.4.1虚拟现实技术的基本概念通常是指用头盔显示器和传感手套等一系列新型交互设备构造的一种计算机软硬件环境。人们通过这些设施以自然的技能向计算机传送各种命令，得到计算机对用户的视觉、听觉及触觉等多种感官的反馈。随着人们动作的变化，这些感官也随之改变。
9.4.2虚拟现实的特性三个,I” 这就是沉浸 Immersion,交互 Interaction和想象 Imagination。
首先，要是参与者有真实的体验。
第二，系统要能提供方便的，丰富的，
主要是基于自然技能的人机交互手段。
第三，因为虚拟现实不仅仅是一种媒体或用户的高端接口，而且还是针对某个特定领域、解决某些问题的应用。
9.4.3虚拟现实系统的分类
1.非沉浸类虚拟现实系统
1）全景视频系统
2）基于座舱的系统
3）桌面虚拟现实 CAD系统
4） 基于剧情的虚拟现实系统
2.沉浸类虚拟现实系统
1）基于头盔显示器的系统
2）投影虚拟现实系统
3）遥在系统
3,分布式虚拟现实系统
4,增强现实系统
9.4.4关键技术
1.环境建模技术
2.三维交互技术
1）三维跟踪技术
2）立体声合成和立体显示技术
3）触觉反馈和力学反馈
4）自然交互技术
3.高性能计算处理技术
4.分布式虚拟现实
