用Python学习Caffe1. 使用Caffe完成图像分类

Posted tostq

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了用Python学习Caffe1. 使用Caffe完成图像分类相关的知识,希望对你有一定的参考价值。

1. 使用Caffe完成图像分类

本节将以著名的图像分类深度学习网络AlexNet为例子,通过Python Caffe来进行图像分类。虽然不同的网络的结构是不样的,但其大体的过程都是一致的,因此大家可以通过这个例子,熟悉如何利用Caffe进行图像分类。

关于AlexNet的原理,可以参见其论文:Krizhevsky A, Sutskever I, Hinton G E. Imagenet classification with deep convolutional neural networks[C]. In Proc. Advances in Neural Information Processing Systems (NIPS). 2012: 1097-1105.

基于深度学习的图像分类网络,一般是将原始图像经过深度网络后,最后将得到一组向量,这组向量的长度等于分类种类的数目,向量中每个值对应于该图像在相应的分类种类下的概率。因此通常的情况将向量最大值对应的序号视为最可能的分类。

1.1 准备文件

  • deploy.prototxt: 网络结构配置文件
  • bvlc_alexnet.caffemodel: 网络权重文件
  • synset_words.txt: 分类名称
  • 测试图像

本文的AlexNet是在ilsvrc12下进行训练的,bvlc_alexnet.caffemodel是在该数据库下训练得到的权重文件,而synset_words.txt也是该数据库下的分类种类名称,该文件的每一行代表一种类,每一种类可能会有多个相似的名称,当然近似名称并不重要,但要知道每一行代表一类,行号则代表其在网络最终输出向量的序号,举个例子,比如说,如果最终输出向量的第50个值最大,则代表该图像的分类为synset_words.txt第50行表示的分类。

1.2 加载网络


    caffe_root = '../../'
    # 网络参数(权重)文件
    caffemodel = caffe_root + 'models/bvlc_alexnet/bvlc_alexnet.caffemodel'
    # 网络实施结构配置文件
    deploy = caffe_root + 'models/bvlc_alexnet/deploy.prototxt'
    net = caffe.Net(deploy,  # 定义模型结构
                    caffemodel,  # 包含了模型的训练权值
                    caffe.TEST)  # 使用测试模式(不执行dropout)

1.3 测试图像预处理

预处理主要包含两个部分:

  1. 减去均值
  2. 调整大小

    # 加载ImageNet图像均值 (随着Caffe一起发布的)
    mu = np.load(caffe_root + 'python/caffe/imagenet/ilsvrc_2012_mean.npy')
    mu = mu.mean(1).mean(1)  # 对所有像素值取平均以此获取BGR的均值像素值

    # 图像预处理
    transformer = caffe.io.Transformer('data': net.blobs['data'].data.shape)
    transformer.set_transpose('data', (2,0,1))
    transformer.set_mean('data', mu)
    transformer.set_raw_scale('data', 255)
    transformer.set_channel_swap('data', (2,1,0))

1.4 运行网络

  1. 导入输入数据
  2. 通过forward()运行结果

    # 加载图像
    im = caffe.io.load_image(img)
    # 导入输入图像
    net.blobs['data'].data[...] = transformer.preprocess('data', im)

    start = time.clock()
    # 执行测试
    net.forward()
    end = time.clock()
    print('classification time: %f s' % (end - start))

1.5 查看分类结果

用于图像分类的网络的最后一层一般是一个名为’prob’的SoftMax网络,这个名为’prob’层的输出即为反应该图像在各分类下的概率向量。而prob层的输出Blob也名为prob

    layer 
      name: "prob"
      type: "Softmax"
      bottom: "ip2"
      top: "prob" # 输出Blob
    

因此我们可以通过net.blobs['prob']确定最终的输出结果。找到该向量的最大值即可确定最可能的分类,当然对于图像可能存在多个目标的情况下,可以提取最大概率的多个分类。


    # 查看目标检测结果
    # 加载分类名称文件
    labels = np.loadtxt(synset_words, str, delimiter='\\t')
    # 得到分类网络的最终结果
    category = net.blobs['prob'].data[0].argmax() # 最大概率的分类
    # 得到分类名称
    class_str = labels[int(category)].split(',')
    class_name = class_str[0]
    # 在图像中标记分类名称
    cv2.putText(im, class_name, (0, im.shape[0]), cv2.cv.CV_FONT_HERSHEY_SIMPLEX, 1, (55, 255, 155), 2)

1.6 分类结果展示

1.7 具体代码下载

GitHub仓库Caffe-Python-Tutorial中的classification.py

以上是关于用Python学习Caffe1. 使用Caffe完成图像分类的主要内容,如果未能解决你的问题,请参考以下文章

21天学习caffe

安装caffe(opencv3+anaconda3)

caffe的python接口学习生成solver文件

Caffe上手教程

用Python学习Caffe2. 使用Caffe完成图像目标检测

caffe的学习和使用·一」--使用caffe训练自己的数据