02325 "Computer System Architecture" self-examination questions: Chapter 5

Review the general catalog

  02325 "Computer System Architecture" self-examination review key list

Chapter 5 Pipelining and Instruction-level Highly Parallel Supercomputers

1. Overlap

History exam questions : 2015.04

Title description : According to the overlapping method, calculate the time required to execute the instruction.
  

After-school exercises 5-1

  Assume that the interpretation of the instruction is divided into three steps: fetching, analyzing and executing, and the time of each step is corresponding to $tfetch$ ,tt_{_}$t$ _analysis,$tExecution$ _{(1) Calculate the general relational expression of the time}
required to execute 100 instructions in the following situations:
① Sequential mode;
② Only "execute_k" and "fetch_k+1" overlap;
③ Only "execute_k”, “analysis_k+1overlapwith “fetch_k+2

(2) respectively in $t$ _fetch $=t$ _analysis $=2$、$t$ _execute $=1$ and$t$ _fetch $=$ $t$ _execute $=5$、$t$ _analysis $=2$ In both cases, calculate the results above.

Solution:
(1) The general relational expression
① is executed sequentially
  $100\times ($ $tfetch$ ++_{_} $+$ $tanalysis$ ++_{_} $+$ $t$ _execute $)$
  Sequential execution As the name implies, one is processed in order and the next is processed

② Only "execute _k " and "fetch _k+1 " overlap;
  that is, the previous execution and the next fetch can be performed at the same time, draw a picture for easy calculation

Fetch k	analysis k	execute k
		Fetch k+1	Analyze k+1	execute k+1
				Fetch k+2	Analyze k+2	execute k+2

  $t$ _fetch $+100\times t$ _analysis + 99 × max { +99\times \mathrm{max}\{+99×max{ $t$ _fetches $,$ $t$ _execute$\}+$ $t$ _executes
  the first instruction fetch is the instruction fetch time, the next 99 instruction fetches will overlap with the previous execution to get the maximum value, the last execution is the execution time, and the analysis without overlap is 100 analysis times.

③ Only "execute _k ", "analyze _k+1 " and "fetch _k+2 " overlap;

Fetch k	analysis k	execute k
	Fetch k+1	Analyze k+1	execute k+1
		Fetch k+2	Analyze k+2	execute k+2

  $t$ _fetch$+max\{t$ _analysis $,$ $t$_取指$\}+98\times max\{t$ _fetch $,$ $t$ _analysis $,$ $t$ _executes$\}+max\{texecution$ _, $,$ $t$ _analysis$\}+t$ _execute

(2) Just substitute the formula and calculate it
$t$ _fetch $=t$ _analysis $=2$、$t$ _execute $=1$
① $100\times (2+2+1)=500$
② $2+100\times 2+99\times 2+1=401$
③ $2+2+98\times 2+2+1=203$

$t$_取指 $=$ $t$_执行 $=5$、$t$_分析 $=2$
① $100\times (5+5+2)=1200$
② $5+100\times 2+99\times 5+5=705$
③ $5+5+98\times 5+5+5=510$

---

2. 流水线

历史考题：2021.10、2021.04、2020.04、2017.04

题目描述：画 时空图，计算流水线 效率 和 吞吐率，瓶颈消除 方法。
  

课后习题 5-3 时空图

  有一个浮点乘流水线如图（a）所示，其乘积可直接返回输入端或暂存于相应缓冲寄存器中，画出实现 $\mathrm{A}\times \mathrm{B}\times \mathrm{C}\times \mathrm{D}$ 的时 — 空图以及输入端的变化，并求出流水线的吞吐率和效率；当流水线改为图（b）所示的形式实现同一计算时，求该流水线的效率及吞吐率。

解：
（a）吞吐率 $T_p=\frac{3}{13\Delta t}$，效率 $\eta =\frac{3\times 5}{3\times 13}=\frac{5}{13}$

解释：
  题目中给出的浮点乘流水线代表了要完成一次乘法，需要经过 3 个步骤，这三个步骤需要按顺序分别在不同的部件上执行，如图中红色标记的 AB。
  实现 $\mathrm{A}\times \mathrm{B}\times \mathrm{C}\times \mathrm{D}$，可以让 $\mathrm{A}\times \mathrm{B}$ 与 $\mathrm{C}\times \mathrm{D}$ 并行，最后将两项相乘。
  画图的时候建议在分析完式子的并行性和处理步骤后，先画一个计算步骤，如图中三个标红的 AB，可以发现第二个步骤尾乘需要的时间最长，就在后面直接画下个并行的运算的第二个 步骤，即 CD 的尾乘，然后再添上 CD 剩余的步骤。
  吞吐率 $=$ 流水线输出的个数 $/$ 消耗时间
  效率 $=$ 图像中方块的面积 $/($消耗时间 $\times$ 部件个数$)$

（b）吞吐率 $T_p=\frac{3}{11\Delta t}$，效率 $\eta =\frac{3\times 5}{5\times 11}=\frac{3}{11}$

  （b）图代表有三个部件可以并行处理尾乘

---

课后习题 5-5 瓶颈消除方法

  为提高流水线效率可采用哪两种主要途径来克服速度瓶颈？现有 3 段流水线，各段经过时间依次为 $\Delta t$、$3\Delta t$、$\Delta t$。
（1）分别计算在连续输入 3 条指令时和 30 条指令时的吞吐率和效率。
（2）按两种途径之一进行改进，画出流水线结构示意图，同时计算连续输入 3 条指令和 30 条指令时的吞吐率和效率。
（3）通过对 (1)、(2) 两小题的计算比较可得出什么结论？

解：
（1）此题中的 3 条和 30 条指令都是可以并行的，类似 5-3 中 AB 和 CD 的并行。

  答案中按照公式计算：$n$ 为指令条数，$m$ 为流水线段数，$\Delta t_i$ 为每一段对应的时间，$\Delta t_j=3\Delta t$

$T_p=\frac{n}{\sum _{i=1}^m\Delta t_i+(n-1)\Delta t_j}$   $\eta =\frac{n\sum _{i=1}^m\Delta t_i}{m\left[\sum _{i=1}^m\Delta t_i+(n-1)\Delta t_j\right]}$

当 $n=3$ 时，$T_p=\frac{3}{((1+3+1)+2\ast 3)\Delta t}=\frac{3}{11\Delta t}$，$\eta =\frac{3\ast 5}{3\ast 11}=\frac{5}{11}$

当 $n=30$ 时，$T_p=\frac{30}{((1+3+1)+29\ast 3)\Delta t}=\frac{15}{46\Delta t}$，$\eta =\frac{30\ast 5}{3\ast 92}=\frac{25}{46}$

公式记忆：这里的指令全是并行的，按照 5-3 中的画图技巧，把最长的时间 $\Delta t_j$ 衔接在一起，可以发现所需要的时间就是 $n\times \Delta t_j$ 再加上一次其他时间的和，相当于把公式中求和部分里面的 $\Delta t_j$ 和后面一项合并。忘了公式就画一画时空图，计算时间的方式和重叠的题是一样的。

（2）观察时空图就可以发现瓶颈在于时间较长的段，解决瓶颈有两种方式：
  a）瓶颈子过程再细分：把第二段再分为 3 段，每段 $\Delta t$ 且各自有部件来处理，这样就能让每个步骤紧凑了。
  b）瓶颈子过程并联：添加几个部件实现并行处理第二段，这样每条指令就不需要等上一条指令处理完把部件空出来再处理了。
  流水线结构如下：

  两种方法的吞吐率和效率是一样的：

当 $n=3$ 时，$T_p=\frac{3}{\sum _{i=1}^5\Delta t_i+(3-1)\Delta t_i}=\frac{3}{7\Delta t}$，$\eta =\frac{3\cdot \sum _{i=1}^5\Delta t_i}{5\times 7\Delta t}=\frac{3}{7}$

当 $n=30$ 时，$T_p=\frac{30}{\sum _{i=1}^5\Delta t_i+(30-1)\Delta t_i}=\frac{15}{17\Delta t}$，$\eta =\frac{30\cdot \sum _{i=1}^5\Delta t_i}{5\times 34\Delta t}=\frac{15}{17}$

（3）通过对不同的指令条数比较可以看出，指令越多流水线的实际吞吐率和效率才会提高。通过对前两问的结果比较，可以发现两种消除瓶颈的途径都是在指令越多的时候实际吞吐率和效率才会显著提高，如果指令太少虽然可以提高实际吞吐率，但效率反而会降低（因为虽然时间降低了，但是段数也增加了）。

---

3. 流水预约表

历史考题：2020.10、2019.04、2018.04、2016.10

题目描述：根据流水预约表，求延迟禁止表、冲突向量、状态转移图、平均延迟、吞吐率、调度方案。
  

课后习题 5-11

  在一个 5 段流水线处理机上需经 9 拍才能完成一个任务，其预约表如下表所示。分别写出延迟禁止表 $F$、冲突向量 $C$；画出流水线状态转移图；求出最小平均延迟及流水线的最大吞吐率及其调度方案。按此流水调度方案输入 6 个任务，求实际吞吐率。

	$t_0$	$t_1$	$t_2$	$t_3$	$t_4$	$t_5$	$t_6$	$t_7$	$t_8$
$S_1$	$\surd$								$\surd$
$S_2$		$\surd$	$\surd$
$S_3$				$\surd$			$\surd$	$\surd$
$S_4$				$\surd$	$\surd$
$S_5$						$\surd$	$\surd$

解：
（1）延迟禁止表： F = { 1 , 3 , 4 , 8 } F=\{1,3,4,8\} F={ 1,3,4,8}，冲突向量：$C=(10001101)$

解释：
  延迟禁止表是预约表中每一行打钩地方的时间相减，然后去重排序：
$S_1:8-0=8$
$S_2:2-1=1$
$S_3:7-6=1,7-3=4,6-3=3$
$S_4:4-3=1$
$S_5:6-5=1$

  冲突向量是延迟禁止表中的位置 1，其余位置 0；位数从 1 开始，从右往左数。
  记忆方法：延迟禁止表的计算方法依靠打钩的地方相减，这边得到的差值可能是 $1\sim 8$，因此冲突向量一共是 8 位，而且位数是从 1 开始数。一定要记住对应位是 1，其余是 0，别搞反了。

（2）流水线状态转移图

  说明：
  1）初始进来是冲突向量 10001101；
  2）从右向左，冲突向量的第 2 位是 0，将冲突向量右移 2 位得到 00100011；
  3）将这个新的向量和冲突向量做按位或，$10001101\&00100011=10101111$；
  4）得到了一个新的向量，就写在下面连上箭头，标注右移位数 2；
  5）冲突向量中一共有 4 位是 0，分别按照上述流程计算：5、7 得到自己本身，6 得到新的向量 1000111；
  6）新的向量中也有 0，也要按位右移并和冲突向量做按位或，注意 是和原始的冲突向量而不是和新的向量自己。以左下角的 10101111 为例，右移 5 位，$10001101\&00000101=10001101$，连到冲突向量标记 5。

（3）周期性调度方案

调度方案	平均延迟 / 拍
（2,5）	3.5
（2,7）	4.5
（5）	5
（6,5）	5.5
（6）	6
（6,7）	6.5
（7）	7

  状态转移图中以初始冲突向量为起点，按照箭头形成一个循环回到起点就是一个调度方案，平均延迟 $=$ 方案中箭头的数值和 $/$ 箭头个数。
  最小平均延迟：3.5 拍，最大吞吐率：$T_{p\mathrm{m}\mathrm{a}\mathrm{x}}=1/3.5(任务/拍)$

（4）按（2,5）调度方案输入 6 个任务的时空图如下，实际吞吐率：$T_p=6/25(任务/拍)$

  完成一项任务的和题目给出的预约表相对应，任务的输入间隔和调度方案对应；因此不画时空图也可以确定任务所花的时间 $2+5+2+5+2+9=25$。

---

4. CRAY-1 向量流水处理

历史考题：2019.04、2015.10

题目描述：串行、并行、链接工作拍数。
  

课后习题 5-12

  求向量 $D=A\times (B+C)$，各向量元素个数均为 $N$，参照 CRAY - 1 方式分解为 3 条向量指令：
① ${\mathrm{V}}_3\leftarrow$ 存储器 { 访存取 $A$ 送入 ${\mathrm{V}}_3$ 寄存器组}
② V 2 ← V 0 + V 1   { B + C → K } \mathrm{V_2\gets V_0+V_1}\ \{B+C\to K\} V2​←V0​+V1​ { B+C→K}
③ V 4 ← V 2 × V 3   { K × A → D } \mathrm{V_4\gets V_2\times V_3}\ \{K\times A\to D\} V4​←V2​×V3​ { K×A→D}

  当采用下列 3 种方式工作时，各需多少拍才能得到全部结果？
（1）①、②和③串行执行；
（2）①和②并行执行后，再执行③；
（3）采用链接技术。

解：
（1）①②③ 串行：
$(1+6+1+N-1)+(1+6+1+N-1)+(1+7+1+N-1)=7+N+7+N+8+N=22+3N(拍)$

（2）①② 并行与 ③ 串行：
$\left\{\begin{array}{l}1+6+1+N-1\\ 1+6+1+N-1\end{array}\right\}+1+7+1+N-1=15+2N(拍)$

（3）①② 并行与 ③ 链接：
$\left\{\begin{array}{l}1+6+1\\ 1+6+1\end{array}\right\}+1+7+1+N-1=16+N(拍)$

计算方法：
  下图为 P181 向量运算 $D=A\times (B+C)$ 的链接过程图，做题需要记一下 CRAY - 1 各种操作的时间：整数加 3 拍、逻辑运算 2 拍、移位 4 拍、浮点加 6 拍、浮点乘 7 拍、浮点迭代求倒数 14 拍、访存 6 拍、存取数据 1 拍。

  先按照本题 ①②③ 说明 3 个计算步骤的基础时间：
  ① 对应图中红色标注，一次计算需要取数据、访存、存数据 3 个步骤，共 $1+6+1$ 拍；
  ② 对应图中蓝色标注，一次计算需要取数据、浮点加、存数据 3 个步骤，共 $1+6+1$ 拍，这里 1 2 并行；
  ③ 对应图中紫色标注，一次计算需要取数据、浮点乘、存数据 3 个步骤，共 $1+7+1$ 拍，这里 1 2 并行；

  解释答案中的 $N-1$：
  上面的拍数是计算的一次运算需要的时间，也就是对向量中一个元素的运算，向量中有 $N$ 个元素，就需要额外 $N-1$ 拍。这里个人理解是内部的计算是不存在流水线瓶颈的，可以高度并行，想象一下没有瓶颈的时空图，当得到第一个输出后，只需要增加一个 $\Delta t$ 就能得到第二个输出。
（1）串行：对整个向量 ① 操作结束再进行 ②，因此每个步骤都要加上 $N-1$。
（2）①② 并行容易理解。
（3）链接
  相关概念：
  CRAY-1 的向量流水：向量寄存器组 $V_i$ 在同一时钟周期内可接收一个结果分量并为下次操作再提供一个源分量。不出现 $V_i$ 冲突（两条指令同时用到一个 $V_i$）和功能部件冲突（两条指令用了同一种运算），就能并行工作。
  CRAY-1 的向量处理的特点是不出现功能部件使用冲突和源向量寄存器使用冲突，通过链接机构可使有数据相关的向量指令仍能大部分时间并行执行。以此题为例，①② 没有任何冲突可以并行，本来 ③ 和 ①② 有 $V_i$ 冲突，但是把 ①② 的结果分量直接链接进 ③ 用的功能部件，③ 就能和 ①② 在大部分时间内并行。
  链接条件（理解条件见习题 5-13）：
  （1）中间不能有时间差，前一个的输出立马就作为下一个的输入；
  （2）没有功能部件使用冲突，也就是前后指令的运算操作不能相同。

  个人理解：
  把链接看作把 2 条流水线合并为 1 条，看作原本是要把整个向量的 ①② 步骤算完再算 ③，但是链接以后每个元素算完 ①② 可以直接算 ③，这样就实现了并行，节省了一个 $N-1$ 的时间。

---

课后习题 5-13

  设向量长度均为 64，在 CRAY - 1 机上所用浮点功能部件的执行时间分别为：相加 6 拍，相乘 7 拍，求倒数近似值 14 拍；从存储器读数 6 拍，打入寄存器及启动功能部件各 1 拍。问下列各指令组内的哪些指令可以链接？哪些指令不可链接？不能链接的原因是什么？分别计算出各指令组全部完成所需的拍数。
（1）${\mathrm{V}}_0\leftarrow$ 存储器
   ${\mathrm{V}}_1\leftarrow {\mathrm{V}}_2+{\mathrm{V}}_3$
   ${\mathrm{V}}_4\leftarrow {\mathrm{V}}_5\times {\mathrm{V}}_6$

（2）${\mathrm{V}}_2\leftarrow {\mathrm{V}}_0\times {\mathrm{V}}_1$
   ${\mathrm{V}}_3\leftarrow$ 存储器
   ${\mathrm{V}}_4\leftarrow {\mathrm{V}}_0+{\mathrm{V}}_3$

（3）${\mathrm{V}}_0\leftarrow$ 存储器
   ${\mathrm{V}}_2\leftarrow {\mathrm{V}}_0\times {\mathrm{V}}_1$
   ${\mathrm{V}}_3\leftarrow {\mathrm{V}}_2+{\mathrm{V}}_0$
   ${\mathrm{V}}_5\leftarrow {\mathrm{V}}_3+{\mathrm{V}}_4$

（4）${\mathrm{V}}_0\leftarrow$ 存储器
   ${\mathrm{V}}_1\leftarrow 1/{\mathrm{V}}_0$
   ${\mathrm{V}}_3\leftarrow {\mathrm{V}}_1\times {\mathrm{V}}_2$
   ${\mathrm{V}}_5\leftarrow {\mathrm{V}}_3+{\mathrm{V}}_4$

解：
（1）${\mathrm{V}}_0\leftarrow$ 存储器
   ${\mathrm{V}}_1\leftarrow {\mathrm{V}}_2+{\mathrm{V}}_3$
   ${\mathrm{V}}_4\leftarrow {\mathrm{V}}_5\times {\mathrm{V}}_6$

  没有冲突，3 条指令可以并行
  $\left\{\begin{array}{l}1+6+1\\ 1+6+1\\ 1+7+1\end{array}\right\}+N-1=9+63=72(拍)$

（2）${\mathrm{V}}_2\leftarrow {\mathrm{V}}_0\times {\mathrm{V}}_1$
   ${\mathrm{V}}_3\leftarrow$ 存储器
   ${\mathrm{V}}_4\leftarrow {\mathrm{V}}_0+{\mathrm{V}}_3$

  ①②没有冲突并行，③有冲突但可以链接
  $\left\{\begin{array}{l}1+7+1\\ 1+6+1\end{array}\right\}+1+6+1+N-1=9+8+63=80(拍)$

（3）${\mathrm{V}}_0\leftarrow$ 存储器
   ${\mathrm{V}}_2\leftarrow {\mathrm{V}}_0\times {\mathrm{V}}_1$
   ${\mathrm{V}}_3\leftarrow {\mathrm{V}}_2+{\mathrm{V}}_0$
   ${\mathrm{V}}_5\leftarrow {\mathrm{V}}_3+{\mathrm{V}}_4$

  ①②可以链接，③因为要等②算完，①的输出时间就过了（存在时间差），所以没法链接只能串行；④和③的运算都是加法只能串行（功能部件使用冲突）。
  $1+6+1+1+7+1+N-1+(1+6+1+N-1)\ast 2=222(拍)$

（4）${\mathrm{V}}_0\leftarrow$ 存储器
   ${\mathrm{V}}_1\leftarrow 1/{\mathrm{V}}_0$
   ${\mathrm{V}}_3\leftarrow {\mathrm{V}}_1\times {\mathrm{V}}_2$
   ${\mathrm{V}}_5\leftarrow {\mathrm{V}}_3+{\mathrm{V}}_4$

  ①②③④都链接
  $1+6+1+1+14+1+1+7+1+1+6+1+N-1=104(拍)$