tensorflow实现FCN完成训练自己标注的数据

一、先复现FCN

环境：Ubuntu18.04+tensorflow（我的）

1.下载代码：

        论文地址：https://arxiv.org/pdf/1605.06211v1.pdf

　　论文视频地址：http://techtalks.tv/talks/fully-convolutional-networks-for-semantic-segmentation/61606/

　　GitHub资源：https://github.com/shekkizh/FCN.tensorflow

代码的实现有四个python文件，分别是FCN.py、BatchDatasetReader.py、TensorFlowUtils.py、read_MITSceneParsingData.py，将这四个文件放在一个当前目录下。

2.然后下载VGG网络的权重参数，下载好后的文件路径为./Model_zoo/imagenet-vgg-verydeep-19.mat.

网址：http://www.vlfeat.org/matconvnet/models/beta16/imagenet-vgg-verydeep-19.mat

3.然后下载训练会用到的数据集，并解压到路径: ./Data_zoo/MIT_SceneParsing/ADEChallengeData2016。

网址：http://data.csail.mit.edu/places/ADEchallenge/ADEChallengeData2016.zip

4.训练时把FCN.py中的全局变量mode该为“train”，运行该文件。测试时改为“visualize”运行即可。

 这个很简单的。

 

下面解析一下部分FCN.py为主文件代码，

加载vgg参数：

def vgg_net(weights, image): layers = ( 'conv1_1', 'relu1_1', 'conv1_2', 'relu1_2', 'pool1', 'conv2_1', 'relu2_1', 'conv2_2', 'relu2_2', 'pool2', 'conv3_1', 'relu3_1', 'conv3_2', 'relu3_2', 'conv3_3', 'relu3_3', 'conv3_4', 'relu3_4', 'pool3', 'conv4_1', 'relu4_1', 'conv4_2', 'relu4_2', 'conv4_3', 'relu4_3', 'conv4_4', 'relu4_4', 'pool4', 'conv5_1', 'relu5_1', 'conv5_2', 'relu5_2', 'conv5_3', 'relu5_3', 'conv5_4', 'relu5_4' ) net = {} current = image for i, name in enumerate(layers): kind = name[:4] if kind == 'conv': kernels, bias = weights[i][0][0][0][0] # matconvnet: weights are [width, height, in_channels, out_channels] # tensorflow: weights are [height, width, in_channels, out_channels] kernels = utils.get_variable(np.transpose(kernels, (1, 0, 2, 3)), name=name + "_w") bias = utils.get_variable(bias.reshape(-1), name=name + "_b") current = utils.conv2d_basic(current, kernels, bias) elif kind == 'relu': current = tf.nn.relu(current, name=name) if FLAGS.debug: utils.add_activation_summary(current) elif kind == 'pool': current = utils.avg_pool_2x2(current) net[name] = current return net

主要是获取VGG模型预先训练好的模型系数文件。该文件为Mat格式，我们可以使用Python的scipy.io进行数据读取。

读取这块在TensorFlowUtils.py中有。该数据包含很多信息，而我们需要的信息是每层神经网络的kernels和bias。

kernels的获取方式是data['layers'][0][第i层][0][0][0][0][0]，形状为[width, height, in_channels, out_channels]，bias的获取方式是data['layers'][0][第i层][0][0][0][0][0]，形状为[1,out_channels]。

对于VGG-19的卷积，全部采用了3X3的filters，所以width为3，height为3。

注意，这里面的层数i，指的是包括conv、relu、pool、fc各种操作。因此，i=0为卷积核，i=1为relu，i=2为卷积核，i=3为relu，i=4为pool，i=5为卷积核，……，i=37为全连接层，以此类推。VGG-19的pooling采用了长宽为2X2的max-pooling。

生成FCN网络：

def inference(image, keep_prob): """ Semantic segmentation network definition :param image: input image. Should have values in range 0-255 :param keep_prob: :return: """ # 加载模型数据 print("setting up vgg initialized conv layers ...") model_data = utils.get_model_data(FLAGS.model_dir, MODEL_URL) mean = model_data['normalization'][0][0][0] mean_pixel = np.mean(mean, axis=(0, 1)) weights = np.squeeze(model_data['layers']) #把形状中为1的维度去掉 # 图像预处理 processed_image = utils.process_image(image, mean_pixel) with tf.variable_scope("inference"): image_net = vgg_net(weights, processed_image) conv_final_layer = image_net["conv5_3"] pool5 = utils.max_pool_2x2(conv_final_layer) W6 = utils.weight_variable([7, 7, 512, 4096], name="W6") b6 = utils.bias_variable([4096], name="b6") conv6 = utils.conv2d_basic(pool5, W6, b6) relu6 = tf.nn.relu(conv6, name="relu6") if FLAGS.debug: utils.add_activation_summary(relu6) relu_dropout6 = tf.nn.dropout(relu6, keep_prob=keep_prob) W7 = utils.weight_variable([1, 1, 4096, 4096], name="W7") b7 = utils.bias_variable([4096], name="b7") conv7 = utils.conv2d_basic(relu_dropout6, W7, b7) relu7 = tf.nn.relu(conv7, name="relu7") if FLAGS.debug: utils.add_activation_summary(relu7) relu_dropout7 = tf.nn.dropout(relu7, keep_prob=keep_prob) W8 = utils.weight_variable([1, 1, 4096, NUM_OF_CLASSESS], name="W8") b8 = utils.bias_variable([NUM_OF_CLASSESS], name="b8") conv8 = utils.conv2d_basic(relu_dropout7, W8, b8) # annotation_pred1 = tf.argmax(conv8, dimension=3, name="prediction1") # now to upscale to actual image size deconv_shape1 = image_net["pool4"].get_shape() W_t1 = utils.weight_variable([4, 4, deconv_shape1[3].value, NUM_OF_CLASSESS], name="W_t1") b_t1 = utils.bias_variable([deconv_shape1[3].value], name="b_t1") conv_t1 = utils.conv2d_transpose_strided(conv8, W_t1, b_t1, output_shape=tf.shape(image_net["pool4"])) fuse_1 = tf.add(conv_t1, image_net["pool4"], name="fuse_1") deconv_shape2 = image_net["pool3"].get_shape() W_t2 = utils.weight_variable([4, 4, deconv_shape2[3].value, deconv_shape1[3].value], name="W_t2") b_t2 = utils.bias_variable([deconv_shape2[3].value], name="b_t2") conv_t2 = utils.conv2d_transpose_strided(fuse_1, W_t2, b_t2, output_shape=tf.shape(image_net["pool3"])) fuse_2 = tf.add(conv_t2, image_net["pool3"], name="fuse_2") shape = tf.shape(image) deconv_shape3 = tf.stack([shape[0], shape[1], shape[2], NUM_OF_CLASSESS]) W_t3 = utils.weight_variable([16, 16, NUM_OF_CLASSESS, deconv_shape2[3].value], name="W_t3") b_t3 = utils.bias_variable([NUM_OF_CLASSESS], name="b_t3") conv_t3 = utils.conv2d_transpose_strided(fuse_2, W_t3, b_t3, output_shape=deconv_shape3, stride=8) annotation_pred = tf.argmax(conv_t3, dimension=3, name="prediction") return tf.expand_dims(annotation_pred, dim=3), conv_t3

VGG-19需要对输入图片进行一步预处理，把每个像素点的取值减去训练集算出来的RGB均值。

VGG-19的RGB均值可以通过np.mean(data['normalization'][0][0][0], axis=(0, 1)获得，其取值为[ 123.68 116.779 103.939]，不细解释了。

TensorFlowUtils.py主要定义了一些工具函数，如变量初始化、卷积反卷积操作、池化操作、批量归一化、图像预处理等，read_MITSceneParsingData.py主要是用于读取数据集的数据，BatchDatasetReader.py主要用于制作数据集batch块。

执行FCN.py这样就开始训练了。

二、制作自己的训练数据

1. 做标签安装

下载网址：https://github.com/wkentaro/labelme#ubuntu

我的环境ubuntu18+py36.

# Python3 sudo apt-get install python3-pyqt5 # PyQt5 sudo pip3 install labelme

2.标注：

运行labelme打开取名标注即可，点击Save后会生成改图片对应的json文件。

单张pnglabel图片生成：labelme_json_to_dataset 《文件名》.json

如：

有的 看起来是全黑的，然而读到像素中，是可以看到对相同类别的文件进行标注了。

而实际中我们希望能对文件夹下多个json文件进行批量处理。

代码：参考：https://blog.csdn.net/weixin_41831559/article/details/80835913

import argparse import json import os import os.path as osp import warnings import numpy as np import PIL.Image import yaml from labelme import utils def main(): parser = argparse.ArgumentParser() parser.add_argument('json_file') parser.add_argument('-o', '--out', default=None) args = parser.parse_args() json_file = args.json_file list = os.listdir(json_file) for i in range(0, len(list)): path = os.path.join(json_file, list[i]) if os.path.isfile(path): data = json.load(open(path)) img = utils.img_b64_to_arr(data['imageData']) lbl, lbl_names = utils.labelme_shapes_to_label(img.shape, data['shapes']) captions = ['%d: %s' % (l, name) for l, name in enumerate(lbl_names)] lbl_viz = utils.draw_label(lbl, img, captions) out_dir = osp.basename(list[i]).replace('.', '_') out_dir = osp.join(osp.dirname(list[i]), out_dir) if not osp.exists(out_dir): os.mkdir(out_dir) PIL.Image.fromarray(img).save(osp.join(out_dir, 'img.png')) PIL.Image.fromarray(lbl).save(osp.join(out_dir, 'label.png')) PIL.Image.fromarray(lbl_viz).save(osp.join(out_dir, 'label_viz.png')) with open(osp.join(out_dir, 'label_names.txt'), 'w') as f: for lbl_name in lbl_names: f.write(lbl_name + '\n') warnings.warn('info.yaml is being replaced by label_names.txt') info = dict(label_names=lbl_names) with open(osp.join(out_dir, 'info.yaml'), 'w') as f: yaml.safe_dump(info, f, default_flow_style=False) print('Saved to: %s' % out_dir) if __name__ == '__main__': main()

使用时：python3 此文件名  文件夹（你的json）

代码可以将json文件中的label存储为png图像文件。但是存在一个问题：对于多类分割任务，任意一张图可能不包含所有分类。因此整个文件夹下生成的所有label图像中，不同图像中的相同类别的目标在label.png中可能对应不同的灰度值，使标注的label不具备统一性，因而出错。即假如我总共有10个类别，但分割一张图片时，只有其中的3个类别，这样的话，我生成标签就是[0,1,2]，当我分割另外一张图像时，有其中的2个类别，那么对应的标签是[0,1]，而且这两张图中的1，并不是相同的类别。

例如：

针对一此情况，对代码进行了改进，使用时：

python3 batch_json_to_dataset.py json《json文件夹》 labels《转换的png图》

此时会在label文件下就会生成label图片，都是黑乎乎的，你如果要可视化的话，可以python3 batch_color_map.py labels out 5， 最后的5表示类别，我这个地方是四种类别（如下图的蓝色：curtain，红色：pool，绿色：closestool，黄色：window），加背景也作为一种像素，所以为5，生成的图象如下图所示。

上图最后一张图的原图：标注的太粗糙了~~

代码依赖包好几个，我压缩打包下载网址：

https://download.csdn.net/download/m0_37407756/10764018

好了数据集准备好了，就可以修改代码开始训练了。

我的类别是4类，加上背景则就是五类，所以NUM_OF_CLASSESS = 5 # 类的个数

我自己做的数据比较小，不到100张，迭代1000次，此博客仅入手篇。

当测试时，按照作者的代码，将train改为visualize即可。

后期有需要再补充，如有错误欢迎指出。