博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
caffe blob理解
阅读量:6514 次
发布时间:2019-06-24

本文共 3104 字,大约阅读时间需要 10 分钟。

  

blob数据结构是caffe中基本的数据存储单元,它主要存储的数据是网络中的中间数据变量,比如各层的输入和输出;代价函数关于网络各层参数的梯度。

blob中除了存储数据外,还有一些标记数据的参数,以下就是一些blob中的数据成员:

protected:    shared_ptr
data_; shared_ptr
diff_; shared_ptr
shape_data_; vector
shape_; int count_; int capacity_

data_:表示网络各层的输入和输出;

diff_:表示代价函数相对于各层参数的梯度;

shape_:是一个可变数组,shape_中主要存储4个变量:num表示一个batch中的样本数量,从这我们可以看出Blob的存储是以batch为基本单位的;channels表示对应层的通道,比如卷积层有20个卷积核,channels的值就是20;height和width就表示单个数据的尺寸,可能是一副图像的尺寸,也可能表示卷积核的尺寸,在每一层所代表的含义也不相同。

count_:表示这个Blob里已经存储的元素的个数;

capacity_:表示这个Blob的容量;

Blob同时保存了data_和diff_,其类型为SyncedMemory的指针,注意是指针。

Blob中除了数据成员之外,也有很多用于操作数据的函数成员,下面就说几个比较重要的:

    void Blob<Dtype>::Reshape():这个函数是在原来分配的内存不够的情况下重新分配内存。

    const Dtype* Blob<Dtype>::cpu_data():这个是获取Blob结构体中的data_数据的指针,同时限制不能对返回的指针指向的内容进行更改。

    const Dtype* Blob<Dtype>::cpu_diff():这个是获取Blob结构体中的diff_数据的指针,同时限制不能对返回的指针指向的内容进行更改。

    Dtype* Blob<Dtype>::mutable_cpu_data():获取Blob结构体中的data_数据的指针,同时可以对指针指向的内容更改。

    Dtype* Blob<Dtype>::mutable_cpu_diff():获取Blob结构体中的diff_数据的指针,同时可以对指针指向的内容更改。

    void Blob<Dtype>::ShareData(const Blob& other):让其他Blob的data_数据和当前Blob共享。

    void Blob<Dtype>::ShareDiff(const Blob& other):让其他Blob的diff_和当前的Blob共享。   

在blob.hpp中还有这样几个定义:

按照注释的意思,这几个函数和shape()是一样的作用。shape本身是一个vector,这个vector的size为4,第一个位置存储图片的个数,第二个存储channel的个数,以此类推。

 

逻辑上看,blob是一个四维数组。但实际上,因为数组的存储是在内存中开辟一块连续的、大小相同的的空间,所以blob的存储应该是一个一维的存储结构。只不过是利用四个参数来进行寻址(shape_里的四个参数)。并且blob是行优先的存储方式。

所以对于一个(n, k, h, w)的blob,他的维度就是n*k*h*w,在(n, k, h, w)位置的值物理位置为((n * K + k) * H + h) * W + w。

以Blob中二维矩阵为例(如全连接网络shape (N, D)),如图所示。同样的存储方式可以推广到多维。

 

 

动态多维数组:Blob 类可以动态改变数组的尺寸,当拓展数组导致原有内存空间不足以存放下数据时 (count > capacity),就会重新分配内存。Blob 提供了一组 Reshape 函数来完成这个功能。

void Reshape(const int num, const int channels, const int height, const int width); // Deprecated void Reshape(const vector
& shape); void Reshape(const BlobShape& shape); void ReshapeLike(const Blob& other);

 Blob 类在初始化时并没有分配内存,也是通过调用 Reshape 来分配内存的。

template 
void Blob
::Reshape(const vector
& shape) { CHECK_LE(shape.size(), kMaxBlobAxes); // 检查维数 count_ = 1; // 用于计算新的多维数组的大小 shape_.resize(shape.size()); // 更新维数 if (!shape_data_ || shape_data_->size() < shape.size() * sizeof(int)) { // shape_data_ 未初始化或者内存太小 shape_data_.reset(new SyncedMemory(shape.size() * sizeof(int))); } int* shape_data = static_cast
(shape_data_->mutable_cpu_data()); for (int i = 0; i < shape.size(); ++i) { CHECK_GE(shape[i], 0); CHECK_LE(shape[i], INT_MAX / count_) << "blob size exceeds INT_MAX"; count_ *= shape[i]; shape_[i] = shape[i]; shape_data[i] = shape[i]; } if (count_ > capacity_) { // 内存不够 capacity_ = count_; data_.reset(new SyncedMemory(capacity_ * sizeof(Dtype))); diff_.reset(new SyncedMemory(capacity_ * sizeof(Dtype))); }}

 

 

 

http://blog.csdn.net/qq_14975217/article/details/51524042

http://blog.csdn.net/mounty_fsc/article/details/51085654

http://blog.csdn.net/buyi_shizi/article/details/51506853

 http://blog.csdn.net/jyl1999xxxx/article/details/53981813

你可能感兴趣的文章
数字校园-云资源平台 2014.10.26-人人通共享空间
查看>>
使用IIS承载WCF服务
查看>>
在 CentOS 和 RHEL 上安装 Puppet 服务器和客户端
查看>>
Android性能优化Google课程翻译一:Render----OverDraw实战
查看>>
用Camshift算法对指定目标进行跟踪
查看>>
Tiny4412 开发板 编译环境搭建【转】
查看>>
为你的网站加上SSL,可以使用HTTPS进行访问
查看>>
软件project--谈项目开发
查看>>
Android studio及eclipse中的junit单元測试
查看>>
几个英文网站
查看>>
在Android中创建文件
查看>>
爬虫基础
查看>>
JS组件系列——再推荐一款好用的bootstrap-select组件,亲测还不错
查看>>
CNN网络--AlexNet
查看>>
getopt--parse command line options
查看>>
闭包和OC的block的本质
查看>>
每天一个linux命令(34):du 命令
查看>>
MySQL出现Waiting for table metadata lock的场景浅析
查看>>
C# 语言历史版本特性(C# 1.0到C# 7.1汇总更新)
查看>>
什么是数据埋点?
查看>>