NVIDIA 的 GPU 架构是围绕可扩展的多线程流多处理器阵列(SMs)构建的。当主机 CPU 上的 CUDA 程序调用内核网格时，网格的块被枚举并分配给具有可用执行能力的多处理器。线程块的线程在一个多处理器上并发执行，多个线程块可以在一个多处理器上并发执行。当线程块终止时，在空出的多处理器上启动新的块。
多处理器被设计成同时执行数百个线程。为了管理如此大量的线程，它使用了 SIMT 体系结构 中描述的独特的 SIMT 体系结构(单指令、多线程)。这些指令被流水线化，以便在单个线程中利用指令级并行，以及通过同时进行硬件多线程(详见硬件多线程)广泛地利用线程级并行。与 CPU 内核不同，它们是按顺序发布的，没有分支预测，也没有投机执行。