nvidia-nccl 学习

1.ncclResult_t ncclGetUniqueId(ncclUniqueId* uniqueId)
创建一个被初始化函数(ncclCommInitRank)使用的Id。该函数只能被调用一次(在整个分布式计算中只能被一个地方调用),调用后产生的Id需要分发给分布式任务中其他所有的任务,然后在进行ncclCommInitRank初始化操作(该初始化操作需要使用全局统一Id)。

  • communicator 初始化
    创建通信组中每个应用的communicator。每个应用在通信过程中需要绑定自己的communicator。

2.ncclResult_t ncclCommInitRank(ncclComm_t* comm, int nranks, ncclUniqueId commId, int rank)
多进程/多线程中创建一个新的communicator。参数重的rank必须是0到nranks-1之间,并且是唯一的。每个rank应该对应一个已经设置的device。该函数会对每个rank做隐式同步。该函数必须被不同的进程、线程调用;或者在同一个线程中使用ncclGroupStart/ncclGroupEnd进行限制

3.ncclResult_t ncclCommInitAll(ncclComm_t* comm, int ndev, const int* devlist)
但进程中统一创建communicators,需要预先分配comm地址,并且传入device个数和device列表(该函数在单机通信中使用较方便,多机通信中不使用该函数)。

猜你喜欢

转载自blog.csdn.net/TH_NUM/article/details/81098642