从caffe中的lmdb数据库中读取编码图像数据
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了从caffe中的lmdb数据库中读取编码图像数据相关的知识,希望对你有一定的参考价值。
我对使用caffe相对较新,并且正在尝试创建我可以(稍后)调整的最小工作示例。使用带有MNIST数据的caffe示例没有任何困难。我下载了图像网数据(ILSVRC12)并使用caffe的工具将其转换为lmdb数据库,使用:
$CAFFE_ROOT/build/install/bin/convert_imageset -shuffle -encoded=true top_level_data_dir/ fileNames.txt lmdb_name
创建包含编码(jpeg)图像数据的lmdb。原因是编码,lmdb约为64GB而未编码约为240GB。
我描述网络的.prototxt文件是最小的(一对内部产品层,主要是从MNIST示例中借用 - 这里不准确,我只想要一些工作)。
name: "example"
layer {
name: "imagenet"
type: "Data"
top: "data"
top: "label"
include {
phase: TRAIN
}
transform_param {
scale: 0.00390625
}
data_param {
source: "train-lmdb"
batch_size: 100
backend: LMDB
}
}
layer {
name: "imagenet"
type: "Data"
top: "data"
top: "label"
include {
phase: TEST
}
transform_param {
scale: 0.00390625
}
data_param {
source: "test-lmdb"
batch_size: 100
backend: LMDB
}
}
layer {
name: "ip1"
type: "InnerProduct"
bottom: "data"
top: "ip1"
param {
lr_mult: 1
}
param {
lr_mult: 2
}
inner_product_param {
num_output: 1000
weight_filler {
type: "xavier"
}
bias_filler {
type: "constant"
}
}
}
layer {
name: "relu1"
type: "ReLU"
bottom: "ip1"
top: "ip1"
}
layer {
name: "ip2"
type: "InnerProduct"
bottom: "ip1"
top: "ip2"
param {
lr_mult: 1
}
param {
lr_mult: 2
}
inner_product_param {
num_output: 1000
weight_filler {
type: "xavier"
}
bias_filler {
type: "constant"
}
}
}
layer {
name: "accuracy"
type: "Accuracy"
bottom: "ip2"
bottom: "label"
top: "accuracy"
include {
phase: TEST
}
}
layer {
name: "loss"
type: "SoftmaxWithLoss"
bottom: "ip2"
bottom: "label"
top: "loss"
}
当train-lmdb未编码时,这个.prototxt文件工作正常(准确性很差,但caffe不会崩溃)。但是,如果train-lmdb被编码,那么我得到以下错误:
data_transformer.cpp:239] Check failed: channels == img_channels (3 vs. 1)
问题:我必须在.prototxt文件中设置一些“标志”,表明train-lmdb是编码图像吗? (可能必须为测试数据层test-lmdb提供相同的标志。)
一点研究:
与谷歌一起探索我发现了一个看似有希望的resolved issue。但是,将'force_encoded_color'
设置为true并不能解决我的问题。
我还发现this回答非常有助于创建lmdb(具体来说,有启用编码的方向),但是,没有提到应该做什么,以便caffe意识到图像是编码的。
您收到的错误消息:
data_transformer.cpp:239] Check failed: channels == img_channels (3 vs. 1)
意味着caffe数据变换器期望具有3个channels
(即彩色图像)的输入,但是获得仅具有1个img_channels
的图像(即,灰度图像)。
看看qazxsw poi看起来你应该在qazxsw poi设置参数:
caffe.proto
以上是关于从caffe中的lmdb数据库中读取编码图像数据的主要内容,如果未能解决你的问题,请参考以下文章
caffe学习笔记图像数据转换为db(leveldb/lmdb)文件
深度学习文章3:将自己的图像数据转换成caffe需要的db(leveldb/lmdb)文件
3:将自己的图像数据转换成caffe需要的db(leveldb/lmdb)文件