1.1 多媒体技术的概念及特征

任何系统理论的产生，都是为了满足人们的需求或需要。计算机科学技术与其所属的各个分支学科也是如此。当人们朝夕面对的计算机屏幕始终是呆板的文本时，人类的想象力和创造性又一次发挥得淋漓尽致。

首先，人们让计算机发出“动听的声音”。这种“数字”声音简单到经过键盘就可以编辑和改变的地步。接着，人们进行各种探索，使计算机的音频处理理论，以及相关的软件、硬件技术得到长足的进步。

随后，人们探索是否可以让计算机展示图片。经过对显示系统的改造，人们在计算机屏幕上呈现丰富多彩的画面，具有广泛发展前景的计算机图像处理技术由此诞生。

后来，人们利用计算机进行各种各样的探索和尝试，逐渐发展起来图形处理技术、CAD技术、动画技术、视频捕捉技术、视频编辑回放技术、虚拟现实技术和增强现实技术等。

这些具有巨大影响力的技术的发展和融合，只不过是最近30多年的事情。伴随着这些技术不断进步的脚步，计算机科学技术的一个非常具有活力的分支—多媒体技术诞生。在介绍多媒体技术的概念之前，我们首先介绍一下媒体与多媒体的概念。

1.1.1 媒体

“媒体”即媒介、媒质，是信息的载体，是一种传播、表达信息的方法和手段。国际电信联盟（ITU）根据信息被人们感觉、表示、实现存储或进行传输的载体不同，将媒体分为如下6类：一是感知媒体（Perception Medium），指人们的感觉器官所能感觉到的媒体，如人类的各种语言、音乐，自然界的各种声音、图形、图像，计算机系统内的数据、文本等均属于感知媒体。二是表达媒体（Representation Medium），是为了加工、处理和传输感知媒体而通过人工研究、构造出来的媒体，主要用以定义信息的特性。表达媒体以语音编码、图像编码和文本编码等形式来描述，在未来，人们也期望进一步编码和重现触觉、听觉和嗅觉，甚至脑波信号。三是呈现媒体（Presentation Medium），指感知媒体与电信号间相互转换用的媒体，即呈现信息或获取信息的物理设备。呈现媒体有显示器、扬声器、打印机、VR头盔等输出类设备，以及键盘、鼠标器、扫描器、话筒和摄像机等输入类设备。四是存储媒体（Storage edium），指存储表达媒体数据（感知媒体数字化后的代码）的物理设备，如光盘、磁盘、磁带、存储卡，以及应用越发广泛的云存储等。五是传输媒体（Transmission Medium），指媒体传输用的一类物理载体，如同轴电缆、光缆、双绞线、无线电链路等。六是交换媒体（Exchange edium），指在系统之间交换数据的媒体，它们可以是存储媒体、传输媒体，也可以是两者的结合。

这些不同层次的“媒体”为多媒体技术的诞生和发展提供了基本的空间和舞台。在这6类媒体中，感知媒体是在多媒体应用中呈现给用户的媒体元素，主要包括如下几个方面。

1. 文本

文本（Text）包含字母、数字、字、词语等基本元素。多媒体系统除具备一般的文本处理功能外，还可应用人工智能技术对文本进行识别、理解、摘编、翻译、发音等复杂处理。超文本是用超链接的方法，将各种不同空间的文字信息组织在一起的网状文本，是超媒体文档不可缺少的组成部分。超文本是对文本索引的一个应用范例，它能在一个或多个文档中快速地搜索和查询特定的文本内容。

2. 图形

图形（Graph）是多媒体中的静态可视元素之一，在计算机中一般是采用算法语言或某些应用软件生成的矢量图（Vector Drawn）的形式来表达的。矢量图具有体积小、线条圆滑变化的特点，是由一系列线条来描述的图形，适用于直线、方框、圆或多边形，以及其他可用角度、坐标、距离来表示的图形。它常常被用于框架结构的视觉处理，如计算机辅助设计（CAD）系统常用矢量图来描述十分复杂的几何图形。

3. 图像

图像（Image）也是多媒体的一种静态可视元素，其基本形式为位图（Bitmap）。位图由图像中的众多像素组成，每个存储位定义了各个像素单元的颜色和亮度。位图的描述与分辨率、颜色种数有关，分辨率与色彩位数越高，图像质量就越高，占用存储空间也就越大。

4. 视频

在多媒体技术中，视频（Video）是一类重要的媒体，属于动态可视元素。图像与视频是两个既有联系又有区别的概念。一般而言，静止的图片被称为图像（Image），动态的影视图像被称为视频（Video）。静态图像的输入要靠扫描仪、数码照相机等外部设备，而视频信号的输入需要用到摄像机、录像机、影碟机、电视接收机等可以输出连续图像信号的设备。

5. 音频

音频（Audio）是指在15～20000Hz频率范围内连续变化的波形。音频技术在多媒体中的应用极为广泛，多媒体涉及多个方面的音频处理技术，如：音频采集，即把模拟信号转换成数字信号；语音编/解码，即把语音数据进行压缩编码、解压缩；音乐合成，即利用音乐合成芯片，把乐谱转换成乐曲输出；文本/语音转换，即将计算机的文本转换成声音输出；语音识别，即让计算机能够听懂人类的语音，并进行交互。

6. 动画

动画（Animation）是采用计算机动画软件创作并生成的一系列可供实时演播的连续画面，属于一种动态可视媒体元素。动画和视频信号之所以具有动感的视觉效果，是因为人的眼睛具有一种“视觉暂留”的生物特点，在观察过物体之后，物体的映像会在人眼的视网膜上保留短暂的时间，这样，当一系列略微有差异的图像快速播放时，人们会产生一种物体在做连续运动的感觉。

1.1.2 多媒体

在内涵上，“多媒体”（Multimedia）本身并不应该是一个名词，而是一个形容词，它只能被用作定语。因而，单独说多媒体是没有意义的，只有将其与名词相联系（如多媒体终端、多媒体系统）才是正确的说法。在绝大多数场合，多媒体指的是多媒体技术，即指能够同时获取、处理、编辑、存储和回放两种或者两种以上不同类型信息媒体的技术。这些信息媒体包括文字、声音、图形、图像、动画、视频等，它一般不是指多种媒体本身，而主要是指处理和应用的一整套技术手段。

从技术角度来说，多媒体是计算机综合处理文本、图形、图像、音频、视频等多种媒体信息，使多种信息建立逻辑连接，集成为一个系统并具有交互性和实时性的崭新技术。它是一种迅速发展的综合性电子信息技术，已渗透到相关领域的方方面面，给人们的工作、生活和娱乐带来了深刻的变革。

1.1.3 多媒体技术的基本特征

1. 多样性

人类对信息的接收和产生主要在5个感知空间，即视觉、听觉、触觉、嗅觉和味觉，其中前3者占了95%以上的信息量。借助于这些多感知形式的信息交流，人类对信息的处理可以说是得心应手。但是，计算机以及与之相类似的一系列设备，都远远没有达到人类感知能力的水平。在许多方面，人类只能使用改造或变形后的信息，而且信息只能按照特定的形态才能被加工处理，才能被理解。可以说，在信息交互方面，计算机还处于初级阶段，这一方面在最近几年得到了一定的发展。

多媒体技术就是要把机器处理的信息多样化或多维化，使之在信息交互的过程中，具有更加广阔和更加自由的空间。多媒体信息多维化不仅仅是指捕获或输入，而且包括回放或输出，目前主要涉及视觉和听觉两个方面，触觉、味觉、嗅觉等信息有待于将来在虚拟现实系统中进一步研究。通过对多维化信息进行变换、组合和加工，可以大大丰富信息的表现力。

2. 集成性

早期多媒体中的各项技术都可以单一使用，但很难有很大的作为，因为它们是单一、零散的，如单一的图像、声音、交互技术等，表现为信息空间的不完整。例如，仅有静态图像而无动态视频，仅有语音而无图像等。这些都限制了信息空间的组织，也限制了信息被有效使用。同样，信息交互手段的单调性制约了多媒体应用的进一步需求。

因此，多媒体的集成性主要表现在两个方面，即多种信息媒体的集成及处理这些媒体的设备集成。对前者而言，各种信息媒体尽管可能是多通道的输入或输出，但应该成为一体。这种集成包括信息的多通道统一获取、多媒体信息的统一存储与组织、多媒体信息表现合成等各方个面。对于后者而言，集成指的是多媒体的各种设备应该成为一体。从硬件角度来说，多媒体应该具有能够处理多媒体信息的高速或并行的CPU+GPU系统、大容量的存储系统，以及外设、宽带的通信网络接口等。从软件角度来说，多媒体应该有集成一体化的多媒体操作系统，适于多媒体信息管理、使用的软件系统，以及高效的各类应用软件等。同时多媒体还要在网络的支持下，利用云技术，集成构造出支持广泛信息应用的信息系统等。

3. 交互性

交互性将向用户提供更加有效地控制和使用信息的方法和手段，同时也为多媒体应用开辟更加广阔的领域。交互可以增加人们对信息的注意力和理解力，延长信息保留的时间。但在单一的文本空间中，这种交互的效果和作用较差，人们只能“使用”信息，很难做到自由地控制和干预信息的处理。当引入交互性后，“活动”本身作为一种媒体，介入信息转变为知识的过程。借助于活动，人们可以获得更多的信息，改变使用信息的传统方法。

4. 实时性

实时性是指在多媒体系统中音频、动画和视频等对象是和时间密切相关的，多媒体技术必然要提供对这些实际媒体的实时处理能力。例如，在视频会议系统中传输的声音和图像都应尽量避免延时、断续或停顿，否则发言者要表达的内容就可能出现歧义或根本就没有意义。

5. 非线性

一般而言，使用者对非线性的信息存取需求比对线性存取大得多，这种现象在流媒体的编辑与合成时尤为突出。而在查询系统中，传统的查询系统都是按线性方式检索信息，不符合人类的联想记忆方式。多媒体信息系统克服了这个缺点，它用非线性的结构构成表达特定内容的信息网络，使人们可以有选择地查询自己感兴趣的多媒体信息。

总之，多媒体有许多特征，但其最显著的特征是具有媒体的多样性、集成性和交互性。