由于最近使用caffe训练一个网络，学习了如何使用训练过程中生成的log来绘制loss函数曲线，主要用于观察所训练的网络是否收敛。 前提：安装完caffe后已经对pycaffe和matcaffe编译过了。 接下来从训练过程如何生成训练状态的日志(log)说明，直到绘制出loss函数的曲线。 Step1.对网络训练的脚本文件train.sh进行修改，加上生成log的语句。 使用vim打开train.sh，在末尾加上 tee out.log。
$HOME/net/caffe/build/tools/caffe train -solver=solver.txt - snapshot=$HOME/raid/iter_107600.solverstate -gpu 2 2>&1 | tee out.log开始训练网络后，则在当前目录下生成了训练日志文件out.log。 *需要注意： ①以上的2>&1是Linux下的信息流输出控制语法，实验证明若去掉则会导致训练的loss等信息不记录。 ②out.log在生成之后需要使用caffe自带的python函数进行解析。
Step2.解析log文件，生成out.log.train和out.log.test文件。 这一步可以直接cd到caffe/tools/extra目录下调用parse_log.py函数进行解析，也可以把该目录下的parse_log.py，parse_log.sh， extract_seconds.py，plot_training_log.py.example这四个文件cp到当前目录之后进行解析。（去掉plot_training_log.py.example的.example） 解析语法：
python parse_log.py out.log ./解析完成后会在./目录也就是当前目录生成两个文件，out.log.train和out.log.test。由于我cp了out.log并命名为trainlog.log，所以在上面的截图中看到的是trainlog.log.train和trainlog.log.test。
Step3.执行绘图脚本，生成loss曲线图（还可以生成accuracy）。 在执行脚本之前，需要根据训练设置修改脚本，用vim打开plot_training_log.py，对field_index进行修改，由于我的网络设置，将2与3调换了。
vim plot_training_log.py对脚本进行修改，调换2和3后如下：
def create_field_index(): train_key = 'Train' test_key = 'Test' field_index = {train_key:{'Iters':0, 'Seconds':1, train_key + ' loss':3, train_key + ' learning rate':2}, test_key:{'Iters':0, 'Seconds':1, test_key + ' accuracy':2, test_key + ' loss':3}} fields = set() for data_file_type in field_index.keys(): fields = fields.union(set(field_index[data_file_type].keys())) fields = list(fields) fields.sort() return field_index, fields另外，由于生成的.train和.test的第一行为说明字符（如下图），需要进行处理。 可以在trainlog.log.train和trainlog.log.test中使用#注释掉第一行，或者对脚本进行以下修改（一劳永逸的方法）。 修改前后对比： #修改前
#修改后 def load_data(data_file, field_idx0, field_idx1): data = [[], []] with open(data_file, 'r') as f: fdata = [line.strip() for line in f] for new_line in fdata[1:]: if new_line[0] != '#': fields = new_line.split(',') data[0].append(float(fields[field_idx0].strip())) data[1].append(float(fields[field_idx1].strip())) return data使用以下语句执行绘图：
python plot_training_log.py 6 trainloss.png trainlog.log说明：6表示曲线类型（caffe还支持其他类型，如下所示），trainloss.png表示绘制的图片名称。
Notes: 1. Supporting multiple logs. 2. Log file name must end with the lower-cased ".log". Supported chart types: 0: Test accuracy vs. Iters 1: Test accuracy vs. Seconds 2: Test loss vs. Iters 3: Test loss vs. Seconds 4: Train learning rate vs. Iters 5: Train learning rate vs. Seconds 6: Train loss vs. Iters 7: Train loss vs. Seconds注：若使用putty连接工作站，则可以使用ftp服务（putty安装目录下的psftp.exe文件）进行上传下载生成的loss函数曲线图片。相关命令：cd改变远程目录、lcd改变本地目录、ls查看远程文件列表、put上传文件、get下载文件等命令。
