CUDA学习系列教程（三）

CUDA编程模型

CUDA最大的特点：对线程块将在何处、何时运作不作保证。
优点：

1. 硬件真正有效的运行，灵活
2. 无需要线程间互相等待
3. 可扩展性强
   后果：
4. 对于那个块哪个SM上运行无法进行任何假设
5. 无法获取块之间的明确通讯(hard to get communications between blocks)
   dead lock (并行死锁）
   线程退出

CUDA编程模型的原则

1. 所有在同一个线程块上的线程必然会在同一时间运行在同一个SM上
2. 同一个内核的所有线程块必然会全部完成了后，才会运行下一个内核
   

内存模型

内存速度比较

同步性synchronisation和屏障barrier

• 不同的线程在共享和全局内存中读写数据需要有先后的控制，所以引入了同步性的概念。
• 屏障的作用：用来控制多个线程的停止与等待，当所有线程都到达了屏障点，程序才继续进行。
  

CUDA编程模型

CUDA编程模型示意图

CUDA程序中CPU是主导地位，负责完成以下的事情：

1. 从CPU同步数据到GPU
2. 从GPU同步数据到CPU
3. (1,2使用cudaMemcpy)
4. 给GPU分配内存(cudaMalloc)
5. 加载Kernel到GPU上,launch kernel on GPU