人机交互技术编写组 1
主要介绍以下几个方面的内容,
l 人机交互的概念
l 人机交互与其他相关学科的关系
l 人机交互的研究内容
l 人机交互的发展历史及趋势
第 1章 绪论
人机交互技术编写组 2
1.1 什么是人机交互
信息技术的高速发展对人类生产、生活带来了广泛而深刻的影响。, 上网冲浪,,, 数码相机,, PDA,,优盘,,, 彩屏手
机,,, 蓝牙技术, 等新产品、新概念层出不穷，不断冲击着人们
的视听。这些高科技成果为人们带来便捷、快乐的同时，也促进着
人机交互技术的发展。作为信息技术的重要内容，人机交互技术比
计算机硬件和软件技术的发展要滞后许多，已成为人类运用信息技
术深入探索和认识客观世界的瓶颈。因此，人机交互技术已成为 21
世纪信息领域亟需解决的重大课题，引起了世界许多国家的高度重
视。
人机交互技术编写组 3
在美国 21世纪信息技术计划中，将软件、人机交互、网络、高性
能计算列为基础研究内容。美国国防关键技术计划也把人机交互列
为软件技术发展的重要内容之一。
我国, 973”计划项目, 虚拟现实的基础理论、算法及其实现,
中，将虚拟环境的真实感知与自然交互理论与方法作为信息技术中
需要解决的关键科学问题。
人机交互技术编写组 4
人机交互（ Human-Computer Interaction,HCI）是关于设计、
评价和实现供人们使用的交互式计算机系统，且围绕这些方面主要
现象进行研究的科学（ ACM SIGCHI,1992，第 6页）。
狭义的讲，人机交互技术主要是研究人与计算机之间的信
息交换，它主要包括人到计算机和计算机到人的信息交换两部分 。
对于前者，人们可以借助键盘、鼠标、操纵杆、数据服装、
眼动跟踪器、位置跟踪器、数据手套、压力笔等设备，用手、脚、
声音、姿势或身体的动作、眼睛甚至脑电波等向计算机传递信息；
对于后者，计算机通过打印机、绘图仪、显示器、头盔式显示器
（ HMD）、音箱等输出或显示设备给人提供信息。
人机交互技术编写组 5
它涉及到计算机科学、心理学、认知科学和社会学以及人类学
等诸多学科，是信息技术的一个重要组成部分，并将继续对信息技
术的发展产生巨大的影响。
人机界面（ Human-Machine Interface,HMI）作为计算机系统
的重要组成部分，主要是指人类与计算机系统之间的通信方式，它
是人机双向信息交换的支持软件和硬件。
交互设计 （ Interaction Design） 指的是, 设计支持人们日常
工作与生活的交互产品,, 具体的讲就是关于创建新的用户体验的
问题, 其目的是增强和扩充人们工作, 通讯及交互的方式 。
人机交互技术编写组 6
1.2人机交互与其他学科的关系
人机交互技术与认知心理学、人机工程学、多媒体技术和虚拟
现实技术密切相关。其中，认知心理学与人机工程学是人机交互技
术的理论基础，而多媒体技术和虚拟现实技术与人机交互技术相互
交叉和渗透，其关系如图 1-1所示。
人机交互技术编写组 7
多媒体技术 虚拟现实技术
认知心理学
人机工程学
图 1-1 人机交互与其他相关学科的关系
人机交互技术
人机交互技术编写组 8
1.2.1认知心理学
认知心理学 （ Cognitive Psychology） 是 20世纪 50年代中期在
西方兴起的一种心理学思潮, 在 20世纪 70年代成为西方心理学的一
个主要研究方向 。 它研究人的高级心理过程, 主要是认识过程, 如
注意, 知觉, 表象, 记忆, 思维和语言等, 从心理学的观点研究人
机交互的原理 。 该领域研究包括如何通过视觉, 听觉等接受和理解
来自周围环境的信息的感知过程, 以及通过人脑进行记忆, 思维,
推理, 学习和解决问题等人的心理活动的认识过程 。 其中人脑的认
知模型 —— 神经元网络及其模型, 已经成为新一代计算机, 人工智
能等领域中最热门的研究课题之一 。 认知心理学在人机界面设计方
面具有非常重要作用, 是人机交互技术的重要理论基础 。
人机交互技术编写组 9
1.2.2人机工程学
人机工程学是运用生理学, 心理学和医学等有关知识, 研究人
,机器, 环境相互间的合理关系, 以保证人们安全, 健康, 舒适地
工作, 从而提高整个系统工效的新兴边缘科学 。 在人机界面学处于
初创和奠基阶段的时候, 人机工程学是最活跃, 最主要的分支, 曾
经对人机界面学的发展做出过很大的贡献 。 经典的人机工程学称为
硬件人机工程学, 主要集中在对人体能力, 人体限制及其他与设计
相关的人体特性信息的应用, 以满足设计, 分析, 测试与评价, 标
准化, 以 及 系 统 控 制 的 要 求 。 软 件 人 机 工 程 学 （ Software
Ergonomics） 研究软件和软件界面, 侧重于运用和扩充软件工程的
理论和原理, 对软件人机界面进行分析, 描述, 设计和评估等 。
人机交互技术编写组 10
主要解决有关人类思维与信息处理的有关问题，包括设计理论
、标准化、增强软件的可用性的方法等，使软件（计算机）与人的
对话能够满足人的思维模式与数据处理的要求，实现软件的高可用
性。同认知心理学一样，人机工程学也是人机交互技术的重要理论
基础。
人机交互技术编写组 11
1.2.3多媒体技术
一般的, 多媒体技术是指将正文, 声音, 图形, 静止图像, 动
态图像等与计算集成在一起的技术 。 多媒体技术通过引入动画, 音
频, 视频等动态媒体, 大大丰富了计算机表现信息的形式, 拓宽了
计算机输出的带宽, 提高了用户接受信息的效率, 使人们可以得到
更直观的信息, 从而简化了用户的操作, 扩展了应用范围 。
多媒体信息在人机交互中的巨大潜力主要在于它能提高人对信息
表现形式的选择和控制能力, 同时也能提高信息表现形式与人的逻
辑和创造能力的结合程度, 在串行, 符号信息以及并行, 联想信息
方面扩展人的信息处理能力 。 多媒体信息比单一媒体信息对人具有
更大的吸引力, 有利于人对信息的主动探索而不是被动接受 。
人机交互技术编写组 12
另外，由于多媒体所带来的信息冗余性，重复使用别的媒体或
并行使用多种媒体可消除人机通信过程中的多义性及噪声。多媒体
技术丰富了信息的表现形式，不过目前多媒体技术的研究基本上限
于信息的存储和传输方面，而对于媒体信息理解的研究并不充分。
与人工智能技术结合，开展媒体理解和推理研究将改变这种现状。
另一方面，多通道人机交互研究的兴起，将进一步提高计算机的信
息识别、理解能力，提高人机交互的效率和用户友好性，将人机交
互技术和用户界面设计引向更高境界。
多通道和多媒体都蕴含了多种通信通道的使用，区别在于系统
内部信息所处的抽象层次的不同。多通道系统力求对语义的理解。
人机交互技术编写组 13
它对用户的原始输入在较高的层次上进行解释、分析和综合，
提取语义内容，达到对用户的某种理解。然后，从较高的表现层次
上传达给用户最恰当的反馈，它侧重于信息的理解和解释。而多媒
体系统则侧重于信息的表现，表现为在计算机的控制下产生、操纵
、表现、存储和传送 — 些独立的信息，这些信息至少是通过一种连
续或离散媒体进行编码的。
人机交互技术编写组 14
1.2.4虚拟现实技术
虚拟现实 （ Virtual Reality,VR） 就是借助于计算机技术及硬
件设备, 建立高度真实感的虚拟环境, 使人们通过视觉, 听觉, 触
觉, 味觉, 嗅觉等感官在其中看, 听, 触, 闻起来像真实的, 以产
生身临其境的感觉的一种技术 。 虚拟现实技术有别于其他计算机应
用技术的三个鲜明特征：真实感, 沉浸感和交互性 。 其中, 自然和
谐的交互方式是虚拟现实技术的一个重要研究内容, 其目的是使人
能以声音, 动作, 表情等自然方式与虚拟世界中的对象进行交互 。
人机交互技术编写组 15
目前，人们除了致力于研究开发友好的用户界面，还发明了大
量的三维交互设备，如立体眼镜,WorkBench、头盔式显示器、洞
穴式立体显示器（ CAVE）、墙式大屏幕立体显示器、数据服装、
位置跟踪器、眼动跟踪器、触觉和力反馈装置、三维扫描设备、三
维鼠标、三维跟踪球、三维游戏杆、数据手套等。
虚拟现实中的交互是虚拟现实核心研究内容之一, 但人机交互并
不是虚拟现实的全部, 复杂场景的建模, 绘制等技术, 也是虚拟现
实非常重要的研究内容 。 虚拟现实为人机交互的研究提供了很好的
契机和媒介, 但并不是唯一的媒介, 手机, PDA,笔记本电脑等移
动设备, 也需要更方便, 快捷, 人性化的交互手段 。
人机交互技术编写组 16
1.3人机交互的研究内容
人机交互的研究内容十分广泛, 涵盖了建模, 设计, 评估等理
论和方法以及在 Web,移动计算, 虚拟现实等方面的应用研究与开
发, 主要包括,
1,人机交互界面表示模型与设计方法 （ Model and Methodology）
一个交互界面的好坏, 直接影响到软件开发的成败 。 友好人
机交互界面的开发离不开好的交互模型与设计方法 。 因此, 研究人
机交互界面的表示模型与设计方法, 是人机交互的重要研究内容之
一 。
人机交互技术编写组 17
图 1-2 人机交互三元素
人机交互技术编写组 18
2.可用性分析与评估（ Usability and Evaluation）
可用性是人机交互系统的重要内容, 它关系到人机交互能否达到
用户期待的目标, 以及实现这一目标的效率与便捷性 。 人机交互系
统的可用性分析与评估的研究主要涉及到支持可用性的设计原则和
可用性的评估方法等 。
3,多通道交互技术（ Multi-Modal）
在多通道交互中, 用户可以使用语音, 手势, 眼神, 表情等自然
的交互方式与计算机系统进行通信 。 多通道交互主要研究多通道交
互界面的表示模型, 多通道交互界面的评估方法以及多通道信息的
融合等 。 其中, 多通道整合是多通道用户界面研究的重点和难点 。
人机交互技术编写组 19
4,认知与智能用户界面（ Recognition and Intelligent
User Interface）
智能用户界面 （ Intelligent User Interface,IUI） 的最终目
标是使人机交互和人－人交互一样自然, 方便 。 上下文感知, 眼动
跟踪, 手势识别, 三维输入, 语音识别, 表情识别, 手写识别, 自
然语言理解等都是认知与智能用户界面需要解决的重要问题 。
5,虚拟环境 （ Virtual Environment） 中的人机交互
,以人为本, 的, 自然和谐的人机交互理论和方法是虚拟现实的
主要研究内容之一 。 通过研究视觉, 听觉, 触觉等多通道信息融合
的理论和方法, 协同交互技术以及三维交互技术等, 建立具有高度
真实感的虚拟环境, 使人产生, 身临其境, 的感觉 。
人机交互技术编写组 20
6,Web设计（ Web-Interaction）
重点研究 Web界面的信息交互模型和结构, Web界面设计的基本
思想和原则, Web界面设计的工具和技术, 以及 Web界面设计的可用
性分析与评估方法等内容 。
7,移动界面设计 （ Mobile and Ubicomp）
移动计算 （ Mobile Computing）, 普适计算 （ Ubiquitous
Computing） 等对人机交互技术提出了更高的要求, 面向移动应用
的界面设计问题已成为人机交互技术研究的一个重要应用领域 。 针
对移动设备的便携性, 位置不固定性和计算能力有限性以及无线网
络的低带宽高延迟等诸多的限制, 研究移动界面的设计方法, 移动
界面可用性与评估原则, 移动界面导航技术, 以及移动界面的实现
技术和开发工具, 是当前的人机交互技术的研究热点之一 。
人机交互技术编写组 21
8,群件（ Groupware）
群件是指帮助群组协同工作的计算机支持的协作环境, 主要涉
及个人或群组间的信息传递, 群组中的信息共享, 业务过程自动化
与协调, 以及人和过程之间的交互活动等 。 目前与人机交互技术相
关的研究主要包括：群件系统的体系结构, 计算机支持交流与共享
信息的方式, 交流中的决策支持工具, 应用程序共享以及同步实现
方法等内容 。
人机交互技术编写组 22
1.4人机交互的发展历史及趋势
1.4.1发展历史
作为计算机系统的一个重要组成部分，人机交互一直伴随着计算
机的发展而发展。人机交互的发展过程，也是人适应计算机到计算
机不断地适应人的发展过程。它经历了几个阶段,
1,语言命令交互阶段
计算机语言经历了由最初的机器语言, 而后是汇编语言, 直至高
级语言的发展过程 。 这个过程也可以看作早期的人机交互的一个发
展过程 。
人机交互技术编写组 23
早期的人机交互是通过命令语言进行的，人机之间通过语言中
的输入输出功能完成交互。最初，人机交互的方式是采用手工操作
输入机器语言指令（二进制机器代码）来控制计算机。这种形式很
不符合人的习惯，既耗费时间，又容易出错，只有非常专业的专家
才能做到。后来，出现了 FORTRAN,PASCAL,COBOL等语言，
使人们可以用比较习惯的符号形式描述计算过程，交互操作由受过
一定训练的程序员即可完成。这一时期，程序员可采用批处理作业
语言或交互命令语言的方式和计算机打交道，虽然要记忆许多命令
和熟练地敲键盘，但已可用较方便的手段来调试程序、了解计算机
执行情况。
人机交互技术编写组 24
60年代中期，命令行界面（ Command Line Interface,CLI）开
始出现，通过这种人机界面，人们可以通过问答式对话、文本菜单
或命令语言等方式来进行人机交互。命令行界面可以看作第一代人
机界面。在这种界面中，人被看成操作员，机器只做出被动的反应，
人只能用手操作键盘的方式输入数据和命令信息，界面输出只能为
静态字符。因此，这种人机界面交互的自然性较差。
图 1-3 命令行界面概念模型
人机交互技术编写组 25
2,图形用户界面（ GUI）交互阶段
图形用户界面 （ Graphical User Interface,GUI） 的出现, 使人机
交互方式发生了巨大变化 。 GUI 的主要特点是桌面隐喻,
WIMP(Windows,Icon,Menu,Pointing Device)技术, 直接操纵和
,所见即所得 （ What You See Is What You Get,WYSIWYG）, 。
由于 GUI简单易学, 减少了键盘操作, 因而使不懂计算机的普通用
户也可以熟练地使用, 开拓了用户人群, 使计算机技术得到了广泛
普及 。
GUI技术的起源可以追溯到 60年代美国麻省理工学院的
Sutherland(计算机图形学的奠基人 )的工作 。 其发明的 Sketchpad首次
引入了菜单, 不可重叠的瓦片式窗口, 图标, 并采用光笔进行绘图
操作 。
人机交互技术编写组 26
W I M P 界面
用
户
手
眼
击 键 / 指点
窗口、图标
菜单、文本
应用例程
图 1-4 WIMP界面概念模型
人机交互技术编写组 27
1964年美国科学家道格拉斯 ·恩格尔巴特（ Douglas Englebart）
在加利福尼亚制作了第一只鼠标器 —— 只有一个按键，外壳用木头
精心雕刻而成，底部有金属滚轮，当时并不被重视。直到 1979年 12
月，施乐 PRAC研究中心的科学家拉瑞 ·泰斯勒（ L.Tesler）演示了窗
口、图标、菜单，还有随着”鼠标器“移动的光标，鼠标的重大历
史意义在这一刻才真正得到显示。
70年代施乐公司在 Alto计算机上首次开发了位映像图形显示
技术，为开发可重叠窗口、弹出式菜单、菜单条等提供了可能。这
些工作奠定了目前图形用户界面的基础，形成了以窗口
（ Windows）、图标（ Icon）、菜单（ Menu）和指点装置
（ Pointing Device）为基础的第二代人机界面，即 WIMP界面。
人机交互技术编写组 28
1984年 Apple 公司仿照 施乐 PRAC研究中心 的技术开发出了新型
Macintosh个人计算机，将 WIMP技术引入到微机领域，这种全部基
于鼠标及下拉式菜单的操作方式和直观的图形界面引发了微机人机
界面的历史性变革。
与命令行界面相比, 图形用户界面的人机交互自然性和效率都有
较大的提高 。 图形用户界面很大程度上依赖于菜单选择和交互小组
件 （ Widget） 。 经常使用的命令大都通过鼠标来实现 。 鼠标驱动的
人机界面使得初学者易于使用, 但重复性的菜单选择会给有经验的
用户造成不方便, 他们有时倾向使用命令键而不是选择菜单, 且在
输入信息时用户只能使用手这一种输入通道 。 另外, 图形用户界面
需要占用较多的屏幕空间, 并且难以表达和支持非空间性的抽象信
息的交互 。
人机交互技术编写组 29
3,自然和谐的人机交互阶段
当前, 虚拟现实, 移动计算, 普适计算等技术的飞速发展, 对
人机交互技术提出了新的挑战和更高的要求, 同时也提供了许多新
的机遇 。 在这一阶段, 自然和谐的人机交互方式得到了一定的发展 。
基于 语音, 手写体, 姿势, 视线跟踪, 表情 等输入手段的多通道交
互是其主要特点, 其目的是使人能以声音, 动作, 表情等自然方式
进行交互操作 。
在自然和谐的人机交互的发展过程中, 人们除了致力于研究开
发友好的逼真的三维用户界面, 基于声音, 动作, 表情等多种通道
的自然交互方式, 还发明了大量的新交互设备, 如计算机图形学的
先驱, 美国麻省理工学院的 Sutherland早在 1968年开发了头盔式立体
显示器, 成为现代虚拟现实技术的重要基础 。
人机交互技术编写组 30
MMI
用
户
手
嘴
?
眼
手
?
2 D / 3 D
多 媒体信息
应用例程
击键 / 指点 通
语音 道
眼神 整
? 合
图 1-5 多通道人机界面概念模型
人机交互技术编写组 31
1982美国加州 VPL公司开发出了第一副数据手套，用于指示等
简单手势的输入；该公司在 1992年还推出了 Eyephone液晶显示器；
同样在 1992年,Defanti等提出了一种四面的沉浸式虚拟现实环境 —
— CAVE系统等。
目前，对于人类重要的自然交互方式 —— 语音和笔的交互技
术，包括手写识别、笔式交互、语音识别、语音合成、数字墨水
（ Digital Ink）等，其发展已经有了很大的成效，如中国科学院自动
化研究所开发了“汉王笔”手写汉字识别系统；微软亚洲研究院发
明了数字墨水技术；中国科学院人机交互技术与智能信息处理实验
室研制的笔式交互软件开发平台等工作； IBM公司的 Via Voice，把
语音技术应用到 PDA、智能汽车上。
人机交互技术编写组 32
微软也把语音识别技术集成到了多个领军产品中，包括
Office和 Windows XP，其最新的语音识别服务器软件 Speech
Server准备在 2004年上半年发布。其中不少已经商品化，市场前
景广阔。另外,20世纪 90年代，美国麻省理工学院 Negroponte(尼
葛洛庞蒂 )领导的媒体实验室在新一代多通道用户界面方面做了大
量开创性的工作。
人机交互技术编写组 33
1.4.2发展趋势
在未来的计算机系统中, 将更加强调, 以人为本,,, 自然, 和
谐, 的交互方式, 以实现人机高效合作 。 概括的讲, 新一代的人机
交互技术的发展将主要围绕以下几个方面,
1,集成化
人机交互将呈现出多样化, 多通道交互的特点 。 桌面和非桌面界
面, 可见和不可见界面, 二维与三维输入, 直接与间接操纵, 语音
,手势, 表情, 眼动, 唇动, 头动, 肢体姿势, 触觉, 嗅觉, 味觉
以及键盘, 鼠标等交互手段将集成在一起, 是新一代自然, 高效的
交互技术的一个发展方向 。
人机交互技术编写组 34
2002年 2月,W3C（ World Wide Web Consortium）国际组织成立
了“多通道交互”工作小组（ Multimodal Interaction Working
Group），开发 W3C新的一类支持移动设备 MMI的协议标准。目前
已有 42家大型 IT企业或单位参加该小组，参与制定“多通道交互”
的相关协议标准。该小组成员覆盖了几乎所有计算机软硬件、移动
通信、家电的大型厂商。
人机交互技术编写组 35
卡耐基 -梅隆大学
INTERACTIVE SYSTEM
LABS
INTERACT项目包括如下子课题
人机交互技术编写组 36
2,网络化
无线互联网, 移动通信网的快速发展, 对人机交互技术提出了
更高的要求 。 新一代的人机交互技术需要考虑在不同设备, 不同网
络, 不同平台之间的无缝过渡和扩展, 支持人们通过跨地域的网络
（ 有线与无线, 电信网与互联网等 ） 在世界上任何地方用多种简单
的自然方式进行人机交互, 而且包括支持多个用户之间以协作的方
式进行交互 。 另外, 网格技术的发展也为人机交互技术的发展提供
了很好的机遇 。
人机交互技术编写组 37
3.智能化
目前, 用户使用键盘和鼠标等设备进行的交互输入都是精确的
输入, 但人们的动作或思想等往往并不很精确, 人类语言本身也具
有高度模糊性, 人们在生活中常常习惯于使用大量的非精确的信息
交流 。 因此, 在人机交互中, 使计算机更好地自动捕捉人的姿态,
手势, 语音和上下文等信息, 了解人的意图, 并做出合适的反馈或
动作, 提高交互活动的自然性和高效性, 使人－机之间的交互像人
－人交互一样自然, 方便, 是计算机科学家正在积极探索的新一代
交互技术的一个重要内容 。
人机交互技术编写组 38
4,标准化
目前，在人机交互领域,ISO已正式发布了许多的国际标准，
以指导产品设计、测试和可用性评估等。但人机交互标准的设定是
一项长期而艰巨的任务，并随着社会需求的变化而不断变化。
人机交互技术编写组 39
习 题
,1.1 什么是人机交互技术？
1,1.2 简单介绍人机交互技术的发展历史 。
1,1.3 简单介绍人机交互技术与其它相关学科的关系 。
1.4 简单介绍人机交互技术的研究内容 。
主要介绍以下几个方面的内容,
l 人机交互的概念
l 人机交互与其他相关学科的关系
l 人机交互的研究内容
l 人机交互的发展历史及趋势
第 1章 绪论
人机交互技术编写组 2
1.1 什么是人机交互
信息技术的高速发展对人类生产、生活带来了广泛而深刻的影响。, 上网冲浪,,, 数码相机,, PDA,,优盘,,, 彩屏手
机,,, 蓝牙技术, 等新产品、新概念层出不穷，不断冲击着人们
的视听。这些高科技成果为人们带来便捷、快乐的同时，也促进着
人机交互技术的发展。作为信息技术的重要内容，人机交互技术比
计算机硬件和软件技术的发展要滞后许多，已成为人类运用信息技
术深入探索和认识客观世界的瓶颈。因此，人机交互技术已成为 21
世纪信息领域亟需解决的重大课题，引起了世界许多国家的高度重
视。
人机交互技术编写组 3
在美国 21世纪信息技术计划中，将软件、人机交互、网络、高性
能计算列为基础研究内容。美国国防关键技术计划也把人机交互列
为软件技术发展的重要内容之一。
我国, 973”计划项目, 虚拟现实的基础理论、算法及其实现,
中，将虚拟环境的真实感知与自然交互理论与方法作为信息技术中
需要解决的关键科学问题。
人机交互技术编写组 4
人机交互（ Human-Computer Interaction,HCI）是关于设计、
评价和实现供人们使用的交互式计算机系统，且围绕这些方面主要
现象进行研究的科学（ ACM SIGCHI,1992，第 6页）。
狭义的讲，人机交互技术主要是研究人与计算机之间的信
息交换，它主要包括人到计算机和计算机到人的信息交换两部分 。
对于前者，人们可以借助键盘、鼠标、操纵杆、数据服装、
眼动跟踪器、位置跟踪器、数据手套、压力笔等设备，用手、脚、
声音、姿势或身体的动作、眼睛甚至脑电波等向计算机传递信息；
对于后者，计算机通过打印机、绘图仪、显示器、头盔式显示器
（ HMD）、音箱等输出或显示设备给人提供信息。
人机交互技术编写组 5
它涉及到计算机科学、心理学、认知科学和社会学以及人类学
等诸多学科，是信息技术的一个重要组成部分，并将继续对信息技
术的发展产生巨大的影响。
人机界面（ Human-Machine Interface,HMI）作为计算机系统
的重要组成部分，主要是指人类与计算机系统之间的通信方式，它
是人机双向信息交换的支持软件和硬件。
交互设计 （ Interaction Design） 指的是, 设计支持人们日常
工作与生活的交互产品,, 具体的讲就是关于创建新的用户体验的
问题, 其目的是增强和扩充人们工作, 通讯及交互的方式 。
人机交互技术编写组 6
1.2人机交互与其他学科的关系
人机交互技术与认知心理学、人机工程学、多媒体技术和虚拟
现实技术密切相关。其中，认知心理学与人机工程学是人机交互技
术的理论基础，而多媒体技术和虚拟现实技术与人机交互技术相互
交叉和渗透，其关系如图 1-1所示。
人机交互技术编写组 7
多媒体技术 虚拟现实技术
认知心理学
人机工程学
图 1-1 人机交互与其他相关学科的关系
人机交互技术
人机交互技术编写组 8
1.2.1认知心理学
认知心理学 （ Cognitive Psychology） 是 20世纪 50年代中期在
西方兴起的一种心理学思潮, 在 20世纪 70年代成为西方心理学的一
个主要研究方向 。 它研究人的高级心理过程, 主要是认识过程, 如
注意, 知觉, 表象, 记忆, 思维和语言等, 从心理学的观点研究人
机交互的原理 。 该领域研究包括如何通过视觉, 听觉等接受和理解
来自周围环境的信息的感知过程, 以及通过人脑进行记忆, 思维,
推理, 学习和解决问题等人的心理活动的认识过程 。 其中人脑的认
知模型 —— 神经元网络及其模型, 已经成为新一代计算机, 人工智
能等领域中最热门的研究课题之一 。 认知心理学在人机界面设计方
面具有非常重要作用, 是人机交互技术的重要理论基础 。
人机交互技术编写组 9
1.2.2人机工程学
人机工程学是运用生理学, 心理学和医学等有关知识, 研究人
,机器, 环境相互间的合理关系, 以保证人们安全, 健康, 舒适地
工作, 从而提高整个系统工效的新兴边缘科学 。 在人机界面学处于
初创和奠基阶段的时候, 人机工程学是最活跃, 最主要的分支, 曾
经对人机界面学的发展做出过很大的贡献 。 经典的人机工程学称为
硬件人机工程学, 主要集中在对人体能力, 人体限制及其他与设计
相关的人体特性信息的应用, 以满足设计, 分析, 测试与评价, 标
准化, 以 及 系 统 控 制 的 要 求 。 软 件 人 机 工 程 学 （ Software
Ergonomics） 研究软件和软件界面, 侧重于运用和扩充软件工程的
理论和原理, 对软件人机界面进行分析, 描述, 设计和评估等 。
人机交互技术编写组 10
主要解决有关人类思维与信息处理的有关问题，包括设计理论
、标准化、增强软件的可用性的方法等，使软件（计算机）与人的
对话能够满足人的思维模式与数据处理的要求，实现软件的高可用
性。同认知心理学一样，人机工程学也是人机交互技术的重要理论
基础。
人机交互技术编写组 11
1.2.3多媒体技术
一般的, 多媒体技术是指将正文, 声音, 图形, 静止图像, 动
态图像等与计算集成在一起的技术 。 多媒体技术通过引入动画, 音
频, 视频等动态媒体, 大大丰富了计算机表现信息的形式, 拓宽了
计算机输出的带宽, 提高了用户接受信息的效率, 使人们可以得到
更直观的信息, 从而简化了用户的操作, 扩展了应用范围 。
多媒体信息在人机交互中的巨大潜力主要在于它能提高人对信息
表现形式的选择和控制能力, 同时也能提高信息表现形式与人的逻
辑和创造能力的结合程度, 在串行, 符号信息以及并行, 联想信息
方面扩展人的信息处理能力 。 多媒体信息比单一媒体信息对人具有
更大的吸引力, 有利于人对信息的主动探索而不是被动接受 。
人机交互技术编写组 12
另外，由于多媒体所带来的信息冗余性，重复使用别的媒体或
并行使用多种媒体可消除人机通信过程中的多义性及噪声。多媒体
技术丰富了信息的表现形式，不过目前多媒体技术的研究基本上限
于信息的存储和传输方面，而对于媒体信息理解的研究并不充分。
与人工智能技术结合，开展媒体理解和推理研究将改变这种现状。
另一方面，多通道人机交互研究的兴起，将进一步提高计算机的信
息识别、理解能力，提高人机交互的效率和用户友好性，将人机交
互技术和用户界面设计引向更高境界。
多通道和多媒体都蕴含了多种通信通道的使用，区别在于系统
内部信息所处的抽象层次的不同。多通道系统力求对语义的理解。
人机交互技术编写组 13
它对用户的原始输入在较高的层次上进行解释、分析和综合，
提取语义内容，达到对用户的某种理解。然后，从较高的表现层次
上传达给用户最恰当的反馈，它侧重于信息的理解和解释。而多媒
体系统则侧重于信息的表现，表现为在计算机的控制下产生、操纵
、表现、存储和传送 — 些独立的信息，这些信息至少是通过一种连
续或离散媒体进行编码的。
人机交互技术编写组 14
1.2.4虚拟现实技术
虚拟现实 （ Virtual Reality,VR） 就是借助于计算机技术及硬
件设备, 建立高度真实感的虚拟环境, 使人们通过视觉, 听觉, 触
觉, 味觉, 嗅觉等感官在其中看, 听, 触, 闻起来像真实的, 以产
生身临其境的感觉的一种技术 。 虚拟现实技术有别于其他计算机应
用技术的三个鲜明特征：真实感, 沉浸感和交互性 。 其中, 自然和
谐的交互方式是虚拟现实技术的一个重要研究内容, 其目的是使人
能以声音, 动作, 表情等自然方式与虚拟世界中的对象进行交互 。
人机交互技术编写组 15
目前，人们除了致力于研究开发友好的用户界面，还发明了大
量的三维交互设备，如立体眼镜,WorkBench、头盔式显示器、洞
穴式立体显示器（ CAVE）、墙式大屏幕立体显示器、数据服装、
位置跟踪器、眼动跟踪器、触觉和力反馈装置、三维扫描设备、三
维鼠标、三维跟踪球、三维游戏杆、数据手套等。
虚拟现实中的交互是虚拟现实核心研究内容之一, 但人机交互并
不是虚拟现实的全部, 复杂场景的建模, 绘制等技术, 也是虚拟现
实非常重要的研究内容 。 虚拟现实为人机交互的研究提供了很好的
契机和媒介, 但并不是唯一的媒介, 手机, PDA,笔记本电脑等移
动设备, 也需要更方便, 快捷, 人性化的交互手段 。
人机交互技术编写组 16
1.3人机交互的研究内容
人机交互的研究内容十分广泛, 涵盖了建模, 设计, 评估等理
论和方法以及在 Web,移动计算, 虚拟现实等方面的应用研究与开
发, 主要包括,
1,人机交互界面表示模型与设计方法 （ Model and Methodology）
一个交互界面的好坏, 直接影响到软件开发的成败 。 友好人
机交互界面的开发离不开好的交互模型与设计方法 。 因此, 研究人
机交互界面的表示模型与设计方法, 是人机交互的重要研究内容之
一 。
人机交互技术编写组 17
图 1-2 人机交互三元素
人机交互技术编写组 18
2.可用性分析与评估（ Usability and Evaluation）
可用性是人机交互系统的重要内容, 它关系到人机交互能否达到
用户期待的目标, 以及实现这一目标的效率与便捷性 。 人机交互系
统的可用性分析与评估的研究主要涉及到支持可用性的设计原则和
可用性的评估方法等 。
3,多通道交互技术（ Multi-Modal）
在多通道交互中, 用户可以使用语音, 手势, 眼神, 表情等自然
的交互方式与计算机系统进行通信 。 多通道交互主要研究多通道交
互界面的表示模型, 多通道交互界面的评估方法以及多通道信息的
融合等 。 其中, 多通道整合是多通道用户界面研究的重点和难点 。
人机交互技术编写组 19
4,认知与智能用户界面（ Recognition and Intelligent
User Interface）
智能用户界面 （ Intelligent User Interface,IUI） 的最终目
标是使人机交互和人－人交互一样自然, 方便 。 上下文感知, 眼动
跟踪, 手势识别, 三维输入, 语音识别, 表情识别, 手写识别, 自
然语言理解等都是认知与智能用户界面需要解决的重要问题 。
5,虚拟环境 （ Virtual Environment） 中的人机交互
,以人为本, 的, 自然和谐的人机交互理论和方法是虚拟现实的
主要研究内容之一 。 通过研究视觉, 听觉, 触觉等多通道信息融合
的理论和方法, 协同交互技术以及三维交互技术等, 建立具有高度
真实感的虚拟环境, 使人产生, 身临其境, 的感觉 。
人机交互技术编写组 20
6,Web设计（ Web-Interaction）
重点研究 Web界面的信息交互模型和结构, Web界面设计的基本
思想和原则, Web界面设计的工具和技术, 以及 Web界面设计的可用
性分析与评估方法等内容 。
7,移动界面设计 （ Mobile and Ubicomp）
移动计算 （ Mobile Computing）, 普适计算 （ Ubiquitous
Computing） 等对人机交互技术提出了更高的要求, 面向移动应用
的界面设计问题已成为人机交互技术研究的一个重要应用领域 。 针
对移动设备的便携性, 位置不固定性和计算能力有限性以及无线网
络的低带宽高延迟等诸多的限制, 研究移动界面的设计方法, 移动
界面可用性与评估原则, 移动界面导航技术, 以及移动界面的实现
技术和开发工具, 是当前的人机交互技术的研究热点之一 。
人机交互技术编写组 21
8,群件（ Groupware）
群件是指帮助群组协同工作的计算机支持的协作环境, 主要涉
及个人或群组间的信息传递, 群组中的信息共享, 业务过程自动化
与协调, 以及人和过程之间的交互活动等 。 目前与人机交互技术相
关的研究主要包括：群件系统的体系结构, 计算机支持交流与共享
信息的方式, 交流中的决策支持工具, 应用程序共享以及同步实现
方法等内容 。
人机交互技术编写组 22
1.4人机交互的发展历史及趋势
1.4.1发展历史
作为计算机系统的一个重要组成部分，人机交互一直伴随着计算
机的发展而发展。人机交互的发展过程，也是人适应计算机到计算
机不断地适应人的发展过程。它经历了几个阶段,
1,语言命令交互阶段
计算机语言经历了由最初的机器语言, 而后是汇编语言, 直至高
级语言的发展过程 。 这个过程也可以看作早期的人机交互的一个发
展过程 。
人机交互技术编写组 23
早期的人机交互是通过命令语言进行的，人机之间通过语言中
的输入输出功能完成交互。最初，人机交互的方式是采用手工操作
输入机器语言指令（二进制机器代码）来控制计算机。这种形式很
不符合人的习惯，既耗费时间，又容易出错，只有非常专业的专家
才能做到。后来，出现了 FORTRAN,PASCAL,COBOL等语言，
使人们可以用比较习惯的符号形式描述计算过程，交互操作由受过
一定训练的程序员即可完成。这一时期，程序员可采用批处理作业
语言或交互命令语言的方式和计算机打交道，虽然要记忆许多命令
和熟练地敲键盘，但已可用较方便的手段来调试程序、了解计算机
执行情况。
人机交互技术编写组 24
60年代中期，命令行界面（ Command Line Interface,CLI）开
始出现，通过这种人机界面，人们可以通过问答式对话、文本菜单
或命令语言等方式来进行人机交互。命令行界面可以看作第一代人
机界面。在这种界面中，人被看成操作员，机器只做出被动的反应，
人只能用手操作键盘的方式输入数据和命令信息，界面输出只能为
静态字符。因此，这种人机界面交互的自然性较差。
图 1-3 命令行界面概念模型
人机交互技术编写组 25
2,图形用户界面（ GUI）交互阶段
图形用户界面 （ Graphical User Interface,GUI） 的出现, 使人机
交互方式发生了巨大变化 。 GUI 的主要特点是桌面隐喻,
WIMP(Windows,Icon,Menu,Pointing Device)技术, 直接操纵和
,所见即所得 （ What You See Is What You Get,WYSIWYG）, 。
由于 GUI简单易学, 减少了键盘操作, 因而使不懂计算机的普通用
户也可以熟练地使用, 开拓了用户人群, 使计算机技术得到了广泛
普及 。
GUI技术的起源可以追溯到 60年代美国麻省理工学院的
Sutherland(计算机图形学的奠基人 )的工作 。 其发明的 Sketchpad首次
引入了菜单, 不可重叠的瓦片式窗口, 图标, 并采用光笔进行绘图
操作 。
人机交互技术编写组 26
W I M P 界面
用
户
手
眼
击 键 / 指点
窗口、图标
菜单、文本
应用例程
图 1-4 WIMP界面概念模型
人机交互技术编写组 27
1964年美国科学家道格拉斯 ·恩格尔巴特（ Douglas Englebart）
在加利福尼亚制作了第一只鼠标器 —— 只有一个按键，外壳用木头
精心雕刻而成，底部有金属滚轮，当时并不被重视。直到 1979年 12
月，施乐 PRAC研究中心的科学家拉瑞 ·泰斯勒（ L.Tesler）演示了窗
口、图标、菜单，还有随着”鼠标器“移动的光标，鼠标的重大历
史意义在这一刻才真正得到显示。
70年代施乐公司在 Alto计算机上首次开发了位映像图形显示
技术，为开发可重叠窗口、弹出式菜单、菜单条等提供了可能。这
些工作奠定了目前图形用户界面的基础，形成了以窗口
（ Windows）、图标（ Icon）、菜单（ Menu）和指点装置
（ Pointing Device）为基础的第二代人机界面，即 WIMP界面。
人机交互技术编写组 28
1984年 Apple 公司仿照 施乐 PRAC研究中心 的技术开发出了新型
Macintosh个人计算机，将 WIMP技术引入到微机领域，这种全部基
于鼠标及下拉式菜单的操作方式和直观的图形界面引发了微机人机
界面的历史性变革。
与命令行界面相比, 图形用户界面的人机交互自然性和效率都有
较大的提高 。 图形用户界面很大程度上依赖于菜单选择和交互小组
件 （ Widget） 。 经常使用的命令大都通过鼠标来实现 。 鼠标驱动的
人机界面使得初学者易于使用, 但重复性的菜单选择会给有经验的
用户造成不方便, 他们有时倾向使用命令键而不是选择菜单, 且在
输入信息时用户只能使用手这一种输入通道 。 另外, 图形用户界面
需要占用较多的屏幕空间, 并且难以表达和支持非空间性的抽象信
息的交互 。
人机交互技术编写组 29
3,自然和谐的人机交互阶段
当前, 虚拟现实, 移动计算, 普适计算等技术的飞速发展, 对
人机交互技术提出了新的挑战和更高的要求, 同时也提供了许多新
的机遇 。 在这一阶段, 自然和谐的人机交互方式得到了一定的发展 。
基于 语音, 手写体, 姿势, 视线跟踪, 表情 等输入手段的多通道交
互是其主要特点, 其目的是使人能以声音, 动作, 表情等自然方式
进行交互操作 。
在自然和谐的人机交互的发展过程中, 人们除了致力于研究开
发友好的逼真的三维用户界面, 基于声音, 动作, 表情等多种通道
的自然交互方式, 还发明了大量的新交互设备, 如计算机图形学的
先驱, 美国麻省理工学院的 Sutherland早在 1968年开发了头盔式立体
显示器, 成为现代虚拟现实技术的重要基础 。
人机交互技术编写组 30
MMI
用
户
手
嘴
?
眼
手
?
2 D / 3 D
多 媒体信息
应用例程
击键 / 指点 通
语音 道
眼神 整
? 合
图 1-5 多通道人机界面概念模型
人机交互技术编写组 31
1982美国加州 VPL公司开发出了第一副数据手套，用于指示等
简单手势的输入；该公司在 1992年还推出了 Eyephone液晶显示器；
同样在 1992年,Defanti等提出了一种四面的沉浸式虚拟现实环境 —
— CAVE系统等。
目前，对于人类重要的自然交互方式 —— 语音和笔的交互技
术，包括手写识别、笔式交互、语音识别、语音合成、数字墨水
（ Digital Ink）等，其发展已经有了很大的成效，如中国科学院自动
化研究所开发了“汉王笔”手写汉字识别系统；微软亚洲研究院发
明了数字墨水技术；中国科学院人机交互技术与智能信息处理实验
室研制的笔式交互软件开发平台等工作； IBM公司的 Via Voice，把
语音技术应用到 PDA、智能汽车上。
人机交互技术编写组 32
微软也把语音识别技术集成到了多个领军产品中，包括
Office和 Windows XP，其最新的语音识别服务器软件 Speech
Server准备在 2004年上半年发布。其中不少已经商品化，市场前
景广阔。另外,20世纪 90年代，美国麻省理工学院 Negroponte(尼
葛洛庞蒂 )领导的媒体实验室在新一代多通道用户界面方面做了大
量开创性的工作。
人机交互技术编写组 33
1.4.2发展趋势
在未来的计算机系统中, 将更加强调, 以人为本,,, 自然, 和
谐, 的交互方式, 以实现人机高效合作 。 概括的讲, 新一代的人机
交互技术的发展将主要围绕以下几个方面,
1,集成化
人机交互将呈现出多样化, 多通道交互的特点 。 桌面和非桌面界
面, 可见和不可见界面, 二维与三维输入, 直接与间接操纵, 语音
,手势, 表情, 眼动, 唇动, 头动, 肢体姿势, 触觉, 嗅觉, 味觉
以及键盘, 鼠标等交互手段将集成在一起, 是新一代自然, 高效的
交互技术的一个发展方向 。
人机交互技术编写组 34
2002年 2月,W3C（ World Wide Web Consortium）国际组织成立
了“多通道交互”工作小组（ Multimodal Interaction Working
Group），开发 W3C新的一类支持移动设备 MMI的协议标准。目前
已有 42家大型 IT企业或单位参加该小组，参与制定“多通道交互”
的相关协议标准。该小组成员覆盖了几乎所有计算机软硬件、移动
通信、家电的大型厂商。
人机交互技术编写组 35
卡耐基 -梅隆大学
INTERACTIVE SYSTEM
LABS
INTERACT项目包括如下子课题
人机交互技术编写组 36
2,网络化
无线互联网, 移动通信网的快速发展, 对人机交互技术提出了
更高的要求 。 新一代的人机交互技术需要考虑在不同设备, 不同网
络, 不同平台之间的无缝过渡和扩展, 支持人们通过跨地域的网络
（ 有线与无线, 电信网与互联网等 ） 在世界上任何地方用多种简单
的自然方式进行人机交互, 而且包括支持多个用户之间以协作的方
式进行交互 。 另外, 网格技术的发展也为人机交互技术的发展提供
了很好的机遇 。
人机交互技术编写组 37
3.智能化
目前, 用户使用键盘和鼠标等设备进行的交互输入都是精确的
输入, 但人们的动作或思想等往往并不很精确, 人类语言本身也具
有高度模糊性, 人们在生活中常常习惯于使用大量的非精确的信息
交流 。 因此, 在人机交互中, 使计算机更好地自动捕捉人的姿态,
手势, 语音和上下文等信息, 了解人的意图, 并做出合适的反馈或
动作, 提高交互活动的自然性和高效性, 使人－机之间的交互像人
－人交互一样自然, 方便, 是计算机科学家正在积极探索的新一代
交互技术的一个重要内容 。
人机交互技术编写组 38
4,标准化
目前，在人机交互领域,ISO已正式发布了许多的国际标准，
以指导产品设计、测试和可用性评估等。但人机交互标准的设定是
一项长期而艰巨的任务，并随着社会需求的变化而不断变化。
人机交互技术编写组 39
习 题
,1.1 什么是人机交互技术？
1,1.2 简单介绍人机交互技术的发展历史 。
1,1.3 简单介绍人机交互技术与其它相关学科的关系 。
1.4 简单介绍人机交互技术的研究内容 。
