tensorflow的API既支持单机的，又支持分布式的。
tensorflow四个概念：graph->程序、session->进程、runtime->操作系统、device->设备。
Exec System结点通信是利用protobuf数据结构，通过grpc通信传输。protobuf是一种数据结构，可以类似XML/json理解，该格式压缩数据、节省空间，存文件可持久化(二进制形式存储)。定义一个protobuf后，对所有语言都可以用。grpc本质是一个rpc service，通过request<->response形式提供服务。
工业界真正训练NN模型的瓶颈是IO，计算速度GPU很快。model的IO是需要考虑的主要因素，充分利用GPU资源。
