国科大--多媒体分析与理解--2020考试试题

国科大–多媒体分析与理解–2020考试试题

我是2022年参加的考试，2020年考试试题来源于网络，但答案我又做了一些整理。2020试卷除了第三题语言模型，其他题目与18、19年的试题基本相同。

1. 论述什么是多媒体?多媒体分析与理解有哪些应用领域和挑战?

参考答案：
(1). 多媒体是使用不同内容形式组合的内容，如文本、音频、图像、动画、视频和交互式内容。或者回答，多媒体是指计算机处理的多种信息载体的统称，包括文本、音频、图形、视频和交互式内容等形式。

(2). 多媒体分析与理解广泛应用于安防、教育、通讯、娱乐等产业中。具体地，多媒体可以应用在图片检索、内容推荐、视觉监控、视频个性定制、社交媒体、视频网站等领域。

(3). 面对的挑战如下

如何对不同媒体、不同模态的数据进行表示；数据往往是海量的、高维的、非结构化的，具有本身复杂性。
如何理解多媒体数据，并解决语义鸿沟等问题。
如何挖掘多媒体数据之间的相互关联，即协同性与互补性。
如何满足用户多样化的信息需求，处理好用户偏好与个性化。

2. 多媒体内容描述有哪几类代表性的特征表示学习方法，对比说明其异同点，并每类列举2-3种典型算法。

参考答案：
(1). 特征降维：通过某种数学变换将样本表示由高维空间映射到低维子空间，合适的数据变换依据有：样本最大可分性、距离属性保持等；主要方法：主成分分析、线性判别分析、流形学习等。

PCA：通过主成分分析方法，将高维数据映射到低维空间，并期望在所投影维度上数据的方差最大，以此使用较少的数据维度，同时保留住较多的原数据点的特性。
LDA：主要针对两类问题，将数据有原始维度投影到一维空间，可直接用于分类。降维投影后的样本点，同类样本之间距离尽可能近，异类样本之间距离尽可能远。
流形学习（LLE、Isomap）：从高维采样数据中恢复低维流形结构，即找到高维空间中的低维流形，并求出相应的嵌入映射，以实现维数约简或者数据可视化。

(2). 特征选择：从给定特征集合中选择出最有效的特征子集，主要方法包括过滤法 Fliter，包裹法 Wrapper，嵌入法 Embedding。

过滤法：通过分析特征子集有效性来衡量其好坏，一般用作预处理，与模型学习无关。
包裹法：实质上是一个分类器，用选取的特征子集对样本集进行分类，模型性能作为衡量特征子集好坏的标准。
嵌入法：在模型学习的同时，学习出对提高模型性能最好的特征子集，如 L1/L2 正则化。

(3). 特征融合：数据对象的表征具有天然的多特征特性，实现对数据对象的分析理解需要融合多元化数据非常重要，包括特征层融合、决策层融合。

前向融合：特征层融合，形成融合特征表示，然后进行模型的学习。
后向融合：决策层融合，不同特征分别进行模型学习后融合，得到最后的融合分类结果。

3. 简述语言模型的基本概念与应用领域，并给出3种典型的语言模型的基本解决思路。

参考答案：
(1). 语言模型的基本概念
语言模型用于表示语言中词语序列出现的概率。它通常用来预测一个语言序列中下一个词语的可能性。自然语言中标记（词、字符、字节）序列的概率分布，记为，语言模型用于衡量词序列符合自然语言表达的程度。语言模型在自然语言处理领域中有广泛应用，包括语音识别、机器翻译、拼写检查和信息检索等领域。例如，在语音识别中，可以利用语言模型来评估识别出的文本序列是否合理，以提高识别准确率。

(2). 典型的语言模型

n-gram
Word2Vec
ELMO
GPT
BERT
原理抄PPT就可以。

4. 在NetFlix比赛中，单模型性能最好前两种算法是什么?分别阐述其基本原理及它们之间的优劣。

参考答案：
分别是基于 $S V D$ 的推荐方法和基于 $RBM$ 的推荐方法，其基本原理如下。
(1). SVD
对于所有用户和所有商品打分，可以表示为一个稀疏矩阵 $R$ ；基于SVD的推荐方法对矩阵 $R$ 进行分解，并且要求矩阵元素非负，如下
$R_{U\times I}=P_{U\times K}Q_{K\times I}$ 然后用 $R$ 中已知数据训练 $P$ 和 $Q$ ，使得 $P$ 和 $Q$ 相乘能最好地拟合已知评分。具体地，预测用户 $U$ 对商品 $I$ 的评分为。
$\hat{r}_{ui}=p_{u}^{T}q_i$ 则预测误差为 $e_{ui}=r_{ui}-\hat{r}_{ui}$ ，总平方误差为。
$\mathrm{SSE}=\sum{e_{ui}^{2}}$ 然后将 $\mathrm{SSE}$ 作为损失对模型进行训练即可。

(2). RBM
将某一用户对某一商品的评分视作一个 $so f t ma x$ 神经元， $so f t ma x$ 神经元是个长度为 $k$ 的向量，其只有一个分量为1，其余分量为0。而未评分的部分就可以用全0的 $so f t ma x$ 神经元表示。这样某个用户的评分可以用矩阵 $V$ 来表示，在给定可见单元的状态下其激活概率为：
$P\left( { {h_j} = 1\left| V \right.} \right) = \frac{1}{ {1 + \exp \left( { - b_j - \sum\nolimits_{i = 1}^M {\sum\nolimits_{k = 1}^K {V_i^KW_{ij}^K} } } \right)}}$ 同理，在给定隐单元状态下，可见单元的激活率为：
$P\left( {V_i^K = 1\left| h \right.} \right) = \frac{ {\exp \left( {a_i^K + \sum\nolimits_{j = 1}^F {w_{ij}^K{h_j}} } \right)}}{ {\sum\nolimits_{l = 1}^K {\exp \left( {a_i^l + \sum\nolimits_{j = 1}^F { {w_{ij}}{h_j}} } \right)} }}$ 在训练阶段，输入用户打分过分的物品，依次计算输入层和隐藏层的值，完成编码过程；然后，根据隐层值计算输入值，完成解码过程。最后根据两者差距对 RBM 的权重进行更新。
在预测阶段，将用户 $u$ 的所有评分作为 RBM 的 $so f t ma x$ 单元的输入，然后计算隐藏层单元的激活概率，再计算可见层单元的概率，取所有概率的期望作为预测值。
(3). 比较：SVD计算过程虽更简单，但由于训练目标单一，容易造成过拟合，而RBM则可以防止梯度爆炸和梯度消失，但求期望的过程会比较复杂，学习效率过慢。

5. 简单描述迭代量化哈希方法(Iterative Quantization, ITQ) 的基本思想，并比较ITQ方法与局部敏感哈希(LSH) 方法的优劣。

参考答案：
(1). 迭代量化哈希方法的基本思想为，先对数据集进行PCA降维，然后寻找量化误差最小的旋转矩阵即可得到对应该最优旋转矩阵下的特征向量的二进制编码。

(2). ITQ 方法与局部敏感哈希(LSH)方法的优劣

ITQ
优点：相比局部敏感哈希(LSH)方法多了一步操作，即数据降维后使用矩阵旋转优化，可以降低量化误差。
劣势：由于PCA不同维度的方差不平衡，旋转PCA投影数据以尽量减少量化误差时需不断控制旋转角度，即找出最优的旋转矩阵和与之对应的编码，相对麻烦。
LSH
优点：通过hash function映射变换操作，将原始数据集合分成了多个子集合，而每个子集合中的数据间是相邻的且该子集合中的元素个数较小，因此将一个在超大集合内查找相邻元素的问题转化为了在一个很小的集合内查找相邻元素的问题，计算量下降了很多，改善近似检索的计算表现。
劣势：局部敏感哈希(LSH)方法并不能保证一定能够查找到与query data point最相邻的数据。

6.阐述PageRank的基本原理，并试着阐述还可能有哪些改进的方式。

参考答案：
(1). Page Rank:
PageRank 基本思想：如果一个网页被很多其它网页所链接，说明它受到普遍的承认和信赖，那么它的 PagePank 值越高、排名也越高；如果一个网页的PageRank 值较高，则其所键接的网页也比较重要，PageRank 值也较高。
PageRank基本公式为
$r(p)=\alpha \sum_{q:\left( q,p \right) \in q}{\frac{r\left( q \right)}{w\left( q \right)}}+\left( 1-\alpha \right) \frac{1}{N}$

$r (p)$ : 网页 $q$ 的 PageRank值
$q$ : $p$ 的后向链接
$w (q)$ : $q$ 的前向链接数目
$N$ : 网络中网页的总数

(2). 可能的改进

主题敏感的 PageRank（Topic-Sedsitive PageRank）
在这个算法中，我们需要预先计算离线时页面的重要性的分数；然后，我们为每一个页面计算多种重要性分数，即关于不同的主题来计算这个页面的重要性分数。在查询的时候，把这些重要性分数与根据被查询的主题的重要性分数综合在一起，就形成一个复合PageRank 分数。采用这种方法能形成更加精确的排序值，而不是原始普通的排序值。
二次方程推断法（Quadratic Extra polation）
这是一个可以加快 PageRank 的运算速度的方法。它能通过周期性的削减当前的矩阵乘幂迭代的非主要特征向量的方法，大大加快其收敛速度。使用这种方法计算 PageRank 值时，当计算一个包含 8000 万个节点的网络图时，与采用原来的 PageRank 方法相比，计算速度可以提高 20%-300%。
分块矩阵排序算法（BlockRank Algorithm）
该算法是 PageRank 算法的另一个加速算法，它首先把网络根据领域划分成不同的区域，为每个区域计算它们的局部 PageRank 值；估计它们的相对的重要性（每个区域的BlockRank值）；用这个区域的Block-Rank.值来给每个区域的Block-Rank赋予一定的权重。然后再把这些加权的局部的 PageRank 值近似地看作全局的 PageRank 向量，把这个向量作为标准的 PageRank 算法的开始向量。这种方法可以减少计算的迭代次数，可以把更多的时间用于收敛速度慢的区域的计算，提高了局部 PageRank 计算的有效性。BlockRank 算法可以采取并行或分布的形式来进行计算，节约运算的时间。此外，局部的 PageRank 计算结果在以后的计算中可以被再利用。