《多媒体技术与应用》知识点整理

第一章 多媒体技术概述

多媒体是指信息表示媒体的多样化，常见的多媒体有文字、图形、图像、声音、音乐、视频、动画 等多种形式。
多媒体技术是利用计算机技术把文本、声音、视频、动画、图形和图像等多种媒体进行综合处理，使多种信息之间建立逻辑连接，集成为一个完整的系统。
多媒体从本质上来说具有四个最重要的特征:
——多维化
——集成性
——交互性
——实时性

第二章多媒体计算机系统的组成

1、触摸屏分为几类?简述常见的触摸屏的工作原理。

答:触摸屏根据所用的介质以及工作原理可分为4种:电阻式、电容式、红外线式、表面声波式。
触摸屏的工作原理是:当用户手指或其他设备触摸安装在计算机显示器前面的触摸屏时，所摸到的位置（以坐标形式）被触摸屏控制器检测到，并通过串行口或其它接口送到CPU，从而确定用户所输入的信息。

2、什么是视频捕捉卡?它的主要作用是什么?

答:视频捕捉卡是把输入的模拟视频信号，通过内置芯片提供的捕捉功能转换成数字信号的设备。

3、简述USB设备的的软件、硬件结构。

硬件:USB结构简单，采用四条电缆，信号定义由2条电源线和2条信号线组成。
软件:USB 软件由USB总线接口和USB系统组成。USB总线接口由主控制器实现。USB系统有3个组件:
(1)主控制器驱动程序;
(2)USB驱动程序;
(3)USB客户软件。

4、简述CCD和CMOS影像感应器的主要特点。

答:CCD (charge coupled device,电荷耦合元件）传感器包含像点,通常以横竖线短阵型式排列，各像点包含一个光电二极管和控制相邻电荷的单元。这种结构可产生低噪音、高性能的成像。
CMOS传感器是用标准硅处理方法加工而成的。与CCD相比有以下优点:低电源消耗、芯片上符合有额外的电路、低系统成本。

第三章图形、图像处理技术及其应用

1、简述数据压缩的必要性和可能性。

必要性:对多媒体信息进行实时压缩和解压缩是十分必要的。如果没有数据压缩技术的进步，多媒体计算机就难以得到实际的应用;
可能性:能够对多媒体数据进行压缩的前提是因为数据存在大量的冗余，尤其是声音和图像。数据压缩的目的就是尽可能的消除这些冗余。

2、常用的数据压缩算法有哪些?

答:常用的数据压缩算法有信息嫡编码（主要有行程长度编码、哈弗曼编码和算术编码)、词典编码、通用编码、预测编码、模型编码、变换编码、矢量量化编码、子带编码和混合编码。

3、矢量图和位图有哪些不同?

答:矢量图，文件内容图形指令﹐文件大小与图的复杂度有关，显示速度图越复杂，需执行的指令越多，显示越慢，应用特点易于编辑，适于绘制和创建，便于网络传输。但表现力受限﹐位映像图，文件内容图像点阵数据，文件大小与图的尺寸、彩色深度有关，显示速度与图的大小有关，应用特点适于获取和复制，表现力较丰富，但编辑较复杂。图像文件大，不便于网络传输。

4、常用的几种图像文件格式BMP、GIF和 PNG各有什么特点?

BMP是Windows操作系统中的标准图像文件格式,能够被多种Windows应用程序所支持。这种格式的特点是包含的图像信息较丰富，几乎不进行压缩，但由此导致了它与生俱生来的缺点–占用磁盘空间过大。所以，目前BMP在单机上比较流行。
GIF格式是用来交换图片的。GIF格式的特点是压缩比高，磁盘空间占用较少，所以这种图像格式迅速得到了广泛的应用。
PNG格式是一种能存储32位信息的位图文件格式，它与gif和 jpeg格式相比有以下优点:
（1）兼有GIF和JPEG的色彩模式;
（2）PNG能把图像压缩到极限有利于网络的传输;
（3）更优化的传输显示;
（4）PNG可以在所有系统上显示完全一样;
缺点有:
（1）PNG不支持像GIF可以存储多张图片;
（2）压缩比例不及JPEG格式的压缩;
（3）不支持CMYK模式（青、品红、黄、黑)。

5、除了本章介绍的几种图像格式，还了解哪些图像文件格式?

TGA格式:TGA的结构比较简单，属于一种图形、图像数据的通用格式，在多媒体领域有着很大影响，在做影视编辑时经常使用,例如3DS MAX输出TGA图片序列导入到AE里面进行后期编辑。
EPS格式:苹果Mac机的用户则用得较多。它是用PostScript语言描述的一种ASCII码文件格式，主要用于排版、打印等输出工作。

6、简单描述JPEG压缩算法的基本流程。

答:JPEG压缩是有损压缩，它利用了人的视角系统的特性，使用量化和无损压缩编码相结合来去掉视角的冗余信息和数据本身的冗余信息。压缩编码大致分成三个步骤:
(1).使用正向离散余弦变换(forward discrete cosine transform，FDCT)把空间域表示的图变换成频率域表示的图。
(2).使用加权函数对DCT 系数进行量化，这个加权函数对于人的视觉系统是最佳的。
(3).使用哈夫曼可变字长编码器对量化系数进行编码。

7、与JPEG相比，JPEG2000有哪些优点?在压缩算法上主要的不同是什么?

答:与JPEG相比，JPEG2000的优势主要表现在以下四个方面:
(1）高压缩率;
(2）无损压缩;
(3）渐进传输;
(4）感兴趣区域压缩。
在压缩算法上放弃了JPEG所采用的以离散余弦变换算法为主的区块编码方式，而改用以离散小波变换算法为主的多解析编码方式。

8、MPEG-1标准中主要采用了什么技术来减少视频图像的时间和空间上的冗余?

答:MPEG-1标准中采用16×16块的运动补偿缩减时间冗余;混合使用变换编码、基于视觉加权的标准量化和行程编码技术减少空间冗余。

9、简述AVS标准的主要特点。

1、AVS的性能高，与H.264的编码效率相当;
2、AVS的复杂度低，编码复杂度比H.264明显低，软、硬件实现成本都低于H.264;
3、AVS编码技术为中国主导的知识产权，专利授权模式简单，费用较H.264低。

10、日前常用的视频压缩标准是什么﹖试通过几个具体的应用加以说明。

答:视频压缩标准是:H.264标准。H.264标准是CCITT的VCEG和ISO/IEC的MPEG的联合视频组开发的标准，也称MPEG-4 Part10------高级视频编码。 H.264标准的关键技术包括如下几部分:
(1)分层设计;
(2)高精度、多模式运动估计;
(3)4*4块整数变换;
(4)统一的VLC;
(5)帧内预测;
(6)切换帧;
(7)面向IP和无线环境。

11、简述H.263标准中QCIF (174×144)图像的帧结构。

答:H.263标准中QCIF (174×144)图像的帧结构如下:每帧图像被分为若干个宏块，每个宏块由4个8×8的亮度块、一个8×8Cb块和一个8×8Cr块组成。由若干个宏块行组成的块组称为一个GOD，行的数量取决于图像帧的分辨率，如QCIF格式的图像中，一个GOB由一行（11个）宏块组成，所以每帧图像由9个GOB组成。

第四章音频信号及其处理

1、列出所知道的语音编码标准。

标准	比特速率	编码技术	应用	制定日期
G.711	64kbps	PCB	公共电话网	1972年
G.722	64kbps	SBC+ADPCM	视听多媒和会议电话	1988.11
G.723.1	5.3kbps或6.3kbps	MP-MLQ	视频电话及IP电话	1996.3
G.728	16kbps	LD-CELP	公共电话网	1992.9
G.729	8kbps	CS-ACELP	无线移动网、计算机通信系统	1996.3

2、什么叫做均匀量化?什么叫做非均匀量化?

答:均匀量化是采用相等的量化间隔对采样得到的信号进行量化，那么这种量化称为均匀量化。
非均匀量化是根据信号的不同区间来确定量化间隔的。对于信号取值小的区间，其量化间隔也小;反之，量化间隔就大。

3、什么叫做u律压扩?什么叫做A律压扩?

答:律压扩是非均匀量化的一种，又称为对数PCM，其量化输出值与作为输入的采样样本值之间的关系由如下的关系式规定:$F_{\mu }(x)=sgn(x)[\ln (1+\mu |x|)/\ln (1+\mu )]$式中:x为输入信号幅度，规格化成-1 ≤x≤1 ; sgn(x)为x的极性;$\mu$为确定压缩量的参
数，它反映最大量化间隔和最小量化间隔之比，取$100\le \mu \le 500$。具体计算时，用$\mu =255$，把对数曲线变成8条折线以简化计算过程。
A律压扩也是非均匀量化的一种，其量化输出值与作为输入的采样样本值之间的关系由如下的关系式规定:
F A ( x ) = { s g n ( x ) [ ( 1 + ln ⁡ A ∣ x ∣ ) / ( 1 + ln ⁡ A ) , 1 / A < ∣ x ∣ ≤ 1 s g n ( x ) [ A ( x ) / ( 1 + ln ⁡ A ) ] , 0 ≤ ∣ x ∣ ≤ 1 } F_A(x) = \{ {sgn(x)[(1+\ln A|x|)/(1+\ln A),1/A <|x|\le 1}^{sgn(x)[A(x)/(1+\ln A)],0 \le |x| \le 1} \} FA​(x)={ sgn(x)[(1+lnA∣x∣)/(1+lnA),1/A<∣x∣≤1sgn(x)[A(x)/(1+lnA)],0≤∣x∣≤1}
$0\le |x|\le 1/A1/A\le |x|\le 1$式中: x为输入信号幅度，规格化成$-1\le x\le l$; $sgn(x)$为$x$的极性;$A$为确定压缩量的参数，它反映最大量化间隔和最小量化间隔之比。

3、在增量调制中为什么会产生粒状噪音?

答:出现噪音的原因是反馈回路输出信号的最大变化速率受到量化阶大小的限制，在输入信号缓慢变化部分，即输入信号与预测信号的差值接近零的区域，增量调制器的输出会出现随机交变的0和1。

4、自适应脉冲编码调制（APCM)的基本思想是什么?

答:基本思想是根据输入信号幅度的均方根值的变化来改变量化增量的一种编码技术。这种自适应可以是瞬时自适应，即量化增量每隔几个样本就改变，也可以是非瞬时自适应，即在较长的时间内保持不变。

5、差分脉冲编码调制（DPCM）的基本思想是什么?

答:基本思想根据过去的样本区评估下一个样本信号的幅度大小，这个值称为预测值，然后对实际信号值与预测值之差进行量化编码，从而减少了表示每个样本信号的位数。

6、自适应差分脉冲编码调制（ADPCM)的两个基本思想是什么?

答:两个核心思想是:①利用自适应的思想改变量化增量的大小，即使用小的量化增量去编码小的差值，使用大的量化增量去编码大的差值;②使用过去的样本值估算下一个输入样本的预测值，使实际样本值和预测样本值之间的差值总是最小。

7、声卡的7.1声道都包含那几个声道?其中的“.1”指的是什么?

答:6.1声道和7.1声道两者非常接近，它们都是建立在5.1声道基础上，将5.1声道的后左、后右声道放在听音者的两侧，在听音者后方加上1或者2个后环绕。其中“.1”仍然是指低音音箱，也叫低音炮,用来播放分离的低频声音，在Dolby环绕中用来播放LFE声道。

8、列出并比较所了解的声卡功能。

(1）录制、编辑和回放数字声音文件;
(2）控制各声源的音量,并混合在一起，以便数字化;
(3)在记录和回放数字文件时进行压缩和解压缩，以节省空间;
(4)采用语音合成技术，能让计算机朗读文件。

9、简单说明声卡的工作原理。

答:声卡的工作原理是:主机通过总线将数字化的声音信号以PCM的方式送到数模转换器(D/A),将数字信号转换成模拟的音频信号。同时又可以通过模数转换器(A/D)将麦克风或CD得输入信号转换成数字信号，送到计算机进行处理。

10、简述语音合成和语音识别技术的基本原理和应用领域。

答:语音合成技术的基本原理:人在发出声音前，进过一段大脑的高级神经活动，即先有一个说话的意向，然后围绕这个意向生成一些列相关的概念，最后将这些概念组织称语句发音输出。常用的语音合成技术主要有:共振峰合成、LPC合成、PSOLA拼接合成和LMA声道模型技术。语音合成技术的应用领域:
(1)人机对话;
(2)电话咨询;
(3)自动播音;
(4)助讲助读;
(5)语音教学;
(6)电话翻译。
语音识别技术的基本原理:他包括特征提取技术、模式匹配准则和模式训练技术三个方面，还涉及语音识别单元的选取。语音识别技术的应用领域:语音识别技术所涉及的领域包括:信号处理、模式识别、概率论和信息论、发声机理和听觉机理、人工智能。

第五章多媒体数据采集与编辑

多媒体数据采集是指用于采集多种多媒体数据的软件，如声音录制、编辑软件、图像扫描及预处理软件、全动态视频采集软件和动画生成编辑系统等。
多媒体数据库和创作工具为多媒体应用提供资源和信息加工，如声音录制、编辑，视频采集、剪接、动画生成、网页制作等。
多媒体应用软件的开发是指多媒体软件开发人员在多媒体核心软件的基础上,借助多媒体软件开发工具编制多媒体应用软件的过程。
多媒体播放器是指那些能够回放不同编码格式音频、视频文件的软件

第六章多媒体文档的组织与设计

1、什么是超文本?超文本系统由哪些要素组成?

答:超文本是由信息结点和表示信息结点间相关性的链构成的一个具有一定逻辑结构和语义的网络。超文本系统由结点(node）和链( link）两要素组成的。

2、什么是超文本系统?一个典型的超文本系统具备哪些主要的特征?

答:超文本系统是基于超文本信息管理技术的系统。只要的特征有:(1)图形用户接口;(2)向用户给出一个网络结构动态总貌图，是用户在每一时刻都可以得到当前结点的邻接环境。(3）在超文本系统中一般使用双向链，这种链支持跨越各种网络;(4）包含管理结点好链信息的引擎;(5)尽可能不依赖于它的具体特性、命令或信息结构，而更多的强调其用户界面的“视觉”和“感觉”。

3、Javascript语言与Java语言的主要区别是什么?简述JavaScript语言在网页设计中的作用。

答:
(1）开发的公司不同, javascript是netscape公司研发的，java是 sun公司研发的。
(2) Java是一种真正面向对象的语言。JavaScript是脚本语言，它是基本事件驱动和对象的语言。
(3) Java在运行前要编译，JavaScript其代码发生给客户端之前不用编译。
(4)Java使用强变量，也即是说在编译前，变量必须声明，JavaScript是弱变量，可以不声明直接使用。
(5）代码格式不同，java是一种与HTML无关的格式，需要媒体装载。而javascript是一种文本字符格式，可直接嵌入HTML中。

4、XML语言是HTML语言的替代语言吗?其主要优点优点有哪些?

答:是。主要有点有:
(1）可以广泛的运用于web的任何地方，可以满足网络应用的需求，具有强大的数据处理能力。
(2）基于文本格式，可以自由定义标志，具有很好的可扩展性。
(3）数据的存储格式不受限于数据的显示格式。
(4）XML将使编程更加的简单。
(5）便于学习和创建。
(6）代码清晰，便于阅读和理解。

5、什么是SMIL语言?其主要目的是什么?

答:SMIIL是同步多媒体集成语言的缩写，SMIL是由3W (world wide web consortium）组织规定的多媒体操纵语言。主要目的是:通过时序排列对声音、影像、文字及图形文件进行顺序安排，然后将这些媒体表现看起来是同步的，使得用户在web页中可以看到和电视节目一样表现形式的内容。

6、Web2.0 与Web3.0有什么区别?

答:Web2.0注重用户的交互作用，用户即是网站内容的浏览者，又是网站内容的提供者，主要的应用有:博客、微博、RSS、百科全书、社会网络、P2P、即时信息。与Web2.0时代使用互联网是为了把人与人联系起来不同，在Web3.0时代使用互联网是为了把信息与信息联系起来，并且能够利用这些信息结合你的个人偏好来回答你提出的各种问题。

第七章多媒体数据存储与管理

1、多媒体数据具有哪些主要的特点，这些特点对多媒体数据库提出了哪些要求?

答:多媒体数据具有的特点有:
(1）数据量:与常规相比较数据量巨大;
(2）数据长度:无法预先估计;
(3）数据模型:复杂，具有层次结构;
(4）数据定义及操作:传统的数据库不能满足多媒体数据的需要;
(5）数据传送:多媒体数据无论是声音还是视频媒体，都要求连续传送或输出，否则将导致严重的失真。

因此对多媒体数据库提出的要求有（功能):
(1）支持图形、图像、动画、声音、动态视频等做媒体字段类型及用户自定义类型。
(2）支持定长数据和非定长数据的集成管理;
(3）支持复杂实体的表示和处理;
(4）支持同一实体的多种表现形式;
(5）具有良好的用户界面;
(6）支持多媒体的特殊查询机良好的处理接口;
(7）支持分布式环境。

2、多媒体数据库有哪些查询方法?是分别对其特点进行分析.

答:多媒体数据库的查询方法有三种:关键字查询、可视化查询、语义查询。
关键字查询是最简单的查询方法，它要求每个对象都带有精确描述其内容的标签(或关键字)，然后通过该关键字进行快速查询。存在的缺点有:关键字的准确性问题和信息的丢失。可视化查询不仅包括数字字符表达式，还包括非数字字符表达式。可视化查询语言允许用户发出视图查询，并将其转化成低层的查询原语。实现这一功能有两点要求:(1)查询系统必须将模糊查询映射成内部查询表示;(2)必须对查询语言加以改动。语义查询是各种方法中最具挑战性的，它采用索引、模式匹配等多种技术，要求数据库中信息的表示必须包括隐含或明显的语义。

3、传统的数据库在进行多媒体数据存取时，采用了哪些数据类型?

答:采用的数据类型有:字符型、文本型、数值型、逻辑型和日期型。

4、什么是数据挖掘，多媒体数据挖掘的内容?

答:数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息知识的过程。多媒体数据挖掘的内容包括:文本数据挖掘，图像数据挖掘，视频数据挖掘，音频数据挖掘，

第八章多媒体计算机网络

1、简述多媒体计算机通信网络的特点。

答:多媒体计算机通信网络的特点有:
(1)多媒体计算机通信网络与人的交互界面只要是文字、图像、声音等人性化信息，主要体现了人类感觉器官对多媒体的自然需求;
(2）多媒体计算机通信网络可以通过各种属性信息直接与外界交互。
(3)在进入计算机通信网络进行处理、存储和传输时，都被转换成统一的数字编码信息。
(4)人对多媒体计算机通信网络具有特别重要的作用。

2、如果按辖域分类，通常的计算机网络可以分为几种?

答:局域网(LAN)，城域网(MAN)，广域网(WAN)，互联网

3、什么是5G网络?它的技术特点有哪些?

答:第五代移动通信（俗称“5G”)网络是一种带宽足够宽的网络,
带宽大于20 GHz，数据流
量无瓶颈，任何时候都不会被卡，每秒传信速率大于1 Gb/s，路径延迟小于1 ms
5G网络的主要技术特点:高频传输技术、新型多天线传输技术、同时同频全双工、终端直通技术、密集网络、新型网络架构、系统软件、自组织网络

4、为了适应多媒体通信，应对网络提出哪些要求?

答:高传输带宽的要求，不同类型的数据对传输要求也不同，对多媒体传输有连续性与实时性的要求，对多媒体的传输有同步的要求，具有多方参与通信的特点。

5、分布式多媒体计算机系统具备哪些基本特征?

答:(1）多媒体综合性;(2）资源分散性:(3）运行实时性:(4）操作交互性:(5）系统透明性。

6、试比较几种不同无线接入技术的特点，并以此分析未来无线接入的技术的发展趋势。

答:
(1)GPRS是一种用于GSM的标准化分组交换数据业务，使移动通信页数据通信相结合, GPRS将支持从低速短消息到高速企业局域网通信。
(2)WAP主要针对网元或M协议3蓝牙技术是一种无线信道可靠性低等特点而设计的独立于底层承载的移动英特网应用协议。
(3)蓝牙技术是一种短距离的通信标准，主要面向网络中各类数据及语音设备。(4)IEEE802,11协议主要解决办公室局域网和校园网中的用户与用户终端之间的无线按八，戈付几敛对微油和亭米波频段提出的一种名是微波存取全球互通，是一项无线城域网（WMAN）技术，是针对微波和毫米波频段提出的一种新的空中接口标准。优势有:传输距离远、高速的带宽接入、提供多媒体通信服务、提供优良的最后一千米网络接入服务。

7、分布式多媒体系统从功能上可以分为几层?每一层的功能是什么?

答:分布式多媒体系统从功能上可以分为五层。每一层的功能如下:
(1）多媒体接口层:①实现多媒体输入的模/数转换;②实现多媒体输入的数/模转换;③对输入的数据打上时钟标记。
(2）多媒体传输层:①采用各种协议提供多媒体数据;②可实现从远程发送来的数据与本地的数据具有相同的机制，并对高层提供支持。
(3）流管理层:①数据源通过下层传输层获取多媒体数据流;②向目的地和高层提交多媒体数据;③对单一媒体进行压缩编码处理等;④流输入的选择和分发。
(4)多媒体表示层:①流间和流内的同步:②综合同步多媒体数据;③对特定流进行处理。
(5）应用层:①支持网络环境下的各种多媒体的资源共享;②支持实时的多媒体输入和输出;③支持系统范围内透明的存取;④支持在网络环境交互式的操作和对对媒体信息的获取、加工处理、存取、通信和传输等。

8、什么是云计算?

答:云计算(Cloud Computing)是一种新兴的商业计算模型。它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和各种软件服务。这种资源池称为“云”。

9、什么是流媒体?

答:流媒体是指在网络中使用流式传输技术的连续时基媒体，如音频、视频、动画或其他多媒体文件。

10、支持流媒体传输的协议有哪些?彼此之间有哪些异同?

答:支持流媒体传输的协议有:
(1)RTP/RTCP协议:RTP是一个网络传输协议，特点有:①协议的灵活性;②数据流和控制流分离;③协议的课扩充性和实用性。RTCP是RTP的伴生协议，提供传输过程中所需的控制功能。
(2)RSVP协议:是一种可以提供音频、视频、数据等混合服务的互联网络综合服务。特性有:①可以在点对点传播和多点组播的网络通信应用中进行预留资源的申请，可以动态的调节资源的分配;②简单;③面向接收端;④在路由器和主机端维持“软”状态;⑤支持ipv4和 ipv6。
(3)RTSP 协议:RTSP协议时TCP/IP协议体系中的一个应用层协议。特性有:①可扩展性;②已解析;③安全;④独立于传输;⑤多服务器支持;⑥记录设备控制;⑦流控与会议开始分离

11、什么是物联网?

答:物联网是在互联网概念的基础上提出的，是将其用户端延伸和扩展到任何物品与物品之间，进行信息交换和通信的一种网络概念。

第九章多媒体数据安全

1、简述多媒体数据安全的主要内容。

答:
数据获取安全主要包括无线多媒体传感器网络、节点访问控制;
存储安全包括多媒体数据库安全、访问控制、入侵检测、数据完整性检测;
传输安全主要是指多媒体传播/分发系统控制，涉及到的主要是网络安全;
内容安全包括隐写及隐写分析、数字取证、加密技术、数字水印、数字签名等。

信息隐藏是把秘密信息隐藏在大量信息中不让对手发觉的一种方法。

第十章多媒体应用

可视化(Visualization)是利用计算机图形学和图像处理技术，将数据转换成图形或图像在屏幕上显示出来，并进行交互处理的理论、方法和技术。
数据可视化主要旨在借助于图形化手段，清晰有效地传达与沟通信息。常见的数据可视化图表有:柱状图、折线图、饼图、漏斗图、数据地图、雷达图。
图像识别是通过计算机这个媒介对经输入设备所采集的图像进行完整“解读”，以达到对目标辨识、分类的技术。
即时通信系统是指使用因特网技术，允许人们实时地传送文本、语音、视频和数据文件等信息软硬件系统。