结点（node）：
包含一个或多个CPU，这些CPU通过HUB或全互联交叉开关相互联接，并且共享内存，也可以直接与外部进行I/O操作。
互联网络（interconnect network）：
所有结点通过互联网络相互连接相互通信。（这里的互联网不是因特网而是并行计算机的互联网络）
内存（memory）：
内存由多个存储模块组成，这些模块可以与结点对称地分布在互联网络的两侧，或者位于各个结点的内部。
———————————————————————————————————————————————————————
结点是构成并行机的最基本单位。一个结点包含2 个或2 个以上微处理器（CPU），并行程序执行时，程序分派的各个进程将并行地运行在结点的各个微处理器上。
每个微处理器拥有局部的二级高速缓存（L2 cache）。L2 cache 是现代高性能微处理器用于弥补日益增长的CPU 执行速度和内存访问速度差距（访存墙）而采取的关键部件。它按cache 映射策略缓存内存访问的数据，同时为CPU 内部的一级cache 提供计算数据。CPU 内部的一级cache为寄存器提供数据，寄存器为逻辑运算部件提供数据。
随着处理器速度的日益增长，结点内配置的内存容量也在增长。传统地，1 个单位的浮点运算速度配1 个字节的内存单元，是比较合理的。但是，考虑到日益增长的内存墙的影响，这个比例可以适当缩小。
例如，1 个单位的浮点运算速度配0.4 个字节的内存单元。如果以单个微处理器速度为每秒60 亿次计算，包含4 个处理器的单结点的峰值运算速度可达240 亿次，内存空间需要8GB 以上。
于是，在当前并行机的结点内，一般需要采用64 位的微处理器，才能操作如此大的内存空间。
———————————————————————————————————————————————————————
互联网络是连接所有结点成并行机的高速网络。对于一般的并行机使用者，无须知道互联网络底层复杂的通信原理，而只需从拓扑结构的角度了解互联网络。
互联网络的拓扑结构可用无向图表示。其中，图中的结点唯一地代表并行机的各个结点，图中的边表示在两个端点代表的并行机结点之间，存在直接连接的物理通信通道。
拓扑结构的几个重要定义
并行机规模：并行机包含的结点总数，或者包含的CPU总数；
结点度：互联网络拓扑结构中联入或联出的一个结点的边的条数，称为该结点的度；
结点距离：两个结点之间跨越的图的边的条数；
网络直径：网络中任意两个结点之间的最长距离；
点对点带宽：图中边对应的物理联接的物理带宽；
点对点延迟：图中任意两个结点之间的一次零长度消息传递必须花费的时间。延迟与结点间距离相关，其中所有结点之间的最小延迟称为网络的最小延迟，所有结点之间的最大延迟称为网络的最大延迟；
折半宽度：对分网络成两个部分（它们的结点个数至多相差1）所必须去掉的边的网络带宽的总和；
总通信带宽：所有边的带宽之和；
拓扑结构的分类
按结点间连接的性质，拓扑结构可分为静态拓扑结构、动态拓扑结构和宽带互联网络三类。
静态拓扑结构：结点之间存在固定的物理联接方式，程序执行过程中，结点间的点对点联接关系不变。
动态拓扑结构：结点之间无固定的物理联接关系，而是在联接路径的交叉点处用电子开关、路由器或仲裁器等提供动态联接的特性，主要包含单一总线、多层总线、交叉开关、多级互联网络。
宽带互联网络：当前，除了专用MPP 系统采用静态的拓扑结构外，微机机群均采用宽带互联网络连接各个计算结点。
