版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/haluoluo211/article/details/82668358
本文主要分析caffe
中Blob
内存管理类SyncedMemory
,主要内容包括:
SyncedMemory
和Blob
的关系SyncedMemory
中的方法,如内存的分配、释放SyncedMemory
中内存的申请,是在数据访问时才分配而不是立马分配(通过enum SyncedHead
状态实现)
SyncedMemory
和Blob
的关系
Blob
中的主要数据成员如下,实际是在SyncedMemory
上做了一层包装:
template<typename Dtype>
class Blob{
protected:
shared_ptr<SyncedMemory> data_; //存储前向传递数据
shared_ptr<SyncedMemory> diff_; //存储反向传递梯度
vector<int> shape_; //参数维度
int count_; //Blob存储的元素个数(shape_所有元素乘积)
int capacity_;//当前Blob的元素个数(控制动态分配)
};
SyncedMemory
SyncedMemory 的主要数据成员如下:
class SyncedMemory {
private:
void* cpu_ptr_;//内存指针
void* gpu_ptr_;//显存指针
size_t size_; //数据大小
SyncedHead head_;//当前数据状态
bool own_cpu_data_;
bool cpu_malloc_use_cuda_;
bool own_gpu_data_;
int gpu_device_;
};
SyncedMemory
屏蔽了代码对不同硬件设备的内存分配的感知,同时隐藏了CPU和GPU之间的同步过程。SyncedMemory
采用“lazy”的模式,就是内存的实际申请时机是在第一次使用时进行的(通过枚举状态)。
首先看如下两个函数cpu_data, gpu_data获取cpu,gpu数据指针:
const void* SyncedMemory::cpu_data() {
to_cpu(); // 首先完成数据同步,第一次访问时会申请存储空间
return (const void*)cpu_ptr_;
}
const void* SyncedMemory::gpu_data() {
#ifndef CPU_ONLY
to_gpu();
return (const void*)gpu_ptr_;
#else
NO_GPU;
return NULL;
#endif
return nullptr;
}
以cpu_data为例, 如果数据尚未分配(通过如下枚举判断),则分配数据,如果已经分配则什么也不做:
enum SyncedHead { UNINITIALIZED, HEAD_AT_CPU, HEAD_AT_GPU, SYNCED };
inline void SyncedMemory::to_cpu() {
switch (head_) {
case UNINITIALIZED://数据尚未分配
CaffeMallocHost(&cpu_ptr_, size_, &cpu_malloc_use_cuda_);
caffe_memset(size_, 0, cpu_ptr_);
head_ = HEAD_AT_CPU;//更新枚举状态
own_cpu_data_ = true;
break;
case HEAD_AT_GPU:
#ifndef CPU_ONLY
// ........
;
#else
NO_GPU;
#endif
break;
case HEAD_AT_CPU:
case SYNCED:
break;
}
}
SyncedMemory有如下接口,获取cpu中的数据指针(gpu同理):
//获取CPU数据指针,不能改变数据内容
const void* cpu_data();
//获取CPU数据指针,可以改变数据内容
void* mutable_cpu_data();
Blob中调用:
// 调用SyncedMemory的数据访问函数cpu_data(),并返回内存指针
template <typename Dtype>
const Dtype* Blob<Dtype>::cpu_data() const {
CHECK(data_);
return (const Dtype*)data_->cpu_data();
}
template <typename Dtype>
Dtype* Blob<Dtype>::mutable_cpu_data() {
CHECK(data_);
return static_cast<Dtype*>(data_->mutable_cpu_data());
}
内存分配与释放
内存分配与释放由两个(不属于SyncedMemory类)的内联函数完成. 代码简单直观: 如果是CPU模式, 那么调用malloc和free来申请/释放内存, 否则调用CUDA的cudaMallocHost和cudaFreeHost来申请/释放显存.
inline void CaffeMallocHost(void** ptr, size_t size, bool* use_cuda) {
*ptr = malloc(size);
*use_cuda = false;
CHECK(*ptr) << "host allocation of size " << size << " failed";
}
inline void CaffeFreeHost(void* ptr, bool use_cuda) {
free(ptr);
}
参考:
https://www.jianshu.com/p/2e99bb0421c5
https://www.jianshu.com/p/b105578b214b