Python - 【转】命令式编程与符号编程

原文连接：https://zh.d2l.ai/chapter_computational-performance/hybridize.html
本文是对原文内容的摘取和扩展。

命令式编程（imperative style programs）

使用编程语句改变程序状态，明确输入变量，并根据程序逻辑逐步运算。

• 易于理解：在Python里使用命令式编程时，大部分代码编写起来都很直观。
• 容易调试：能够很方便地进行单步跟踪，获取并分析全部中间变量，或者使用Python的调试工具。

虽然使用命令式编程很方便，但它的运行可能很慢，会存在重复调用函数和长时间保存变量值等问题，耗费内存。

示例：

def sample_add(a, b): return a + b def sample_fancy_func(a, b, c, d): e = sample_add(a, b) f = sample_add(c, d) g = sample_add(e, f) return g print(sample_fancy_func(1, 2, 3, 4))

运行结果：10

符号式编程（symbolic style programs）

一般在计算流程彻底定义好后才被执行。

• 更高效：在编译的时候系统容易作更多优化。
• 更容易移植：符号式编程能够将程序变成一个与Python无关的格式，从而可使程序在非Python环境下运行，以避开Python解释器的性能问题。

通常来讲，符号式编程的程序须要下面3个步骤：

1. 定义计算流程；
2. 把计算流程编译成可执行的程序；
3. 给定输入，调用编译好的程序执行。

因为在编译时系统可以完整地获取整个程序，所以有更多空间优化计算,不只减小了函数调用，还节省了内存。
深度学习框架TensorFlow和Theano采用了符号式编程的方法。

示例：

def add_str(): """仅以字符串形式返回计算流程"""
    return ''' def add(a, b): return a + b '''


def fancy_func_str(): """仅以字符串形式返回计算流程"""
    return ''' def fancy_func(a, b, c, d): e = add(a, b) f = add(c, d) g = add(e, f) return g '''


def evoke_str(): """仅以字符串形式返回计算流程"""
    return add_str() + fancy_func_str() + ''' print(fancy_func(1, 2, 3, 4)) ''' prog = evoke_str() print(prog) x = compile(prog, '', 'exec')  # 经过compile函数编译完整的计算流程并运行
exec(x)

运行结果：

def add(a, b): return a + b def fancy_func(a, b, c, d): e = add(a, b) f = add(c, d) g = add(e, f) return g print(fancy_func(1, 2, 3, 4)) 10

计算图/符号图（computation graph/symbolic graph）

符号式编程将计算过程抽象为一张计算图(符号图)来描述整个计算过程。

• 易于描述计算过程，全部输入节点、运算节点、输出节点均符号化处理。
• 经过创建输入节点到输出节点的传递闭包，从输入节点出发，沿着传递闭包完成数值计算和数据流动，直到达到输出节点。
• 通过计算图优化，以数据（计算）流方式完成，节省内存空间使用，计算速度快，但不适合程序调试，一般不用于编程语言中。

大多数符号式程序都会显式地或是隐式地包含编译步骤，将计算图转换为能被调用的函数，在代码的最后一行才真正地进行运算。
也就是说，符号式程序清晰地将定义运算图的步骤与编译运算的步骤分割开来。

混合式编程

简而言之，命令式编程容易理解和调试，命令语句基本没有优化，按原有逻辑执行。符号式编程涉及较多的嵌入和优化，不容易理解和调试，但运行速度有同比提高。有没有可能既获得命令式编程的好处，又享受符号式编程的优点？开发者们认为，用户应该用纯命令式编程进行开发和调试；当须要产品级别的计算性能和部署时，用户能够将大部分命令式程序转换成符号式程序来运行。深度学习框架caffe和mxnet采用了两种编程模式混合的方法。