目前，TensorFlow官方推荐使用Bazel编译源码和安装，但许多公司常用的构建工具是CMake。TensorFlow官方并没有提供CMake的编译示例，但提供了MakeFile文件，所以可以直接使用make进行编译安装。另一方面，模型训练成功后，官方提供了TensorFlow Servering进行预测的托管，但这个方案过于复杂。对于许多机器学习团队来说，一般都有自己的一套模型托管和预测服务，如果使用TensorFlow Servering对现存业务的侵入性太大，使用TensorFlow C++ API来导入模型并提供预测服务能方便的嵌入大部分已有业务方案，对这些团队来说比较合适。

本文以一个简单网络介绍从线下训练到线上预测的整个流程，主要包括以下几点：

• 使用Python接口训练模型
• 使用make编译TensorFlow源码，得到静态库
• 调用TensorFlow C++ API编写预测代码，使用CMake构建预测服务

这里用一个简单的网络来介绍，主要目的是保存网络结构和参数，用于后续的预测。

这个网络有两个输入，a和b，输出是c，最后一行用来保存模型到simple_model目录。运行后会在simple_model目录下生成一个graph.pb的protobuf二进制文件，这个文件保存了网络的结构，由于这个例子里没有模型参数，所以没有保存checkpoint文件。

官方详细介绍可以看这里源码编译TensorFlow。其实很简单，以maxOS为例，只要运行以下命令即可，其他操作系统也有相应的命令。编译过程大概需要半小时，成功后会在tensorflow/tensorflow/contrib/makefile/gen/lib下看到一个100多MB的libtensorflow-core.a库文件。maxOS需要使用，并且只能用clang，因为有第三方依赖编译时把clang写死了。

后续如果要依赖TensorFlow的头文件和静态库做开发，tensorflow/tensorflow/contrib/makefile目录下的几个目录需要注意：

• downloads 存放第三方依赖的一些头文件和静态库，比如nsync、Eigen等
• gen 存放TensorFlow生成的C++ PB头文件、TensorFlow的静态库、ProtoBuf的头文件和静态库等等

预测代码主要包括以下几个步骤：

• 创建Session
• 导入之前生成的模型
• 将模型设置到创建的Session里
• 设置模型输入输出，调用Session的Run做预测
• 关闭Session

模型的输入输出都是Tensor或Sparse Tensor。

完整的代码在，路径为。

这里主要的问题是头文件和静态库的路径要正确，包括TensorFlow以及第三方依赖。 以macOS为例，其他平台路径会不一样。

编译时需要这些静态库

构建完成后在bin路径下会看到一个simple_model可执行文件，运行即可看到输出。 需要注意的时，编译选项里一定要加这些，否则在编译和运行时会报错，原因可见dynamic_lookup和Error issues。