参考：https://tangshusen.me/Dive-into-DL-PyTorch/#/chapter08_computational-performance/8.1_hybridize
PyTorch：命令式编程
TensorFlow：符号式编程
与命令式编程不同，符号式编程通常在计算流程完全定义好后才被执行。多个深度学习框架，如Theano和TensorFlow，都使用了符号式编程。通常，符号式编程的程序需要下面3个步骤：
- 定义计算流程；
- 把计算流程编译成可执行的程序；
- 给定输入，调用编译好的程序执行。
对比这两种编程方式，我们可以看到以下两点。
-
命令式编程更方便。当我们在Python里使用命令式编程时，大部分代码编写起来都很直观。同时，命令式编程更容易调试。这是因为我们可以很方便地获取并打印所有的中间变量值，或者使用Python的调试工具。
-
符号式编程更高效并更容易移植。一方面，在编译的时候系统容易做更多优化；另一方面，符号式编程可以将程序变成一个与Python无关的格式，从而可以使程序在非Python环境下运行，以避开Python解释器的性能问题。