由浅入深：Python 中如何实现自动导入缺失的库？

在写 Python 项目的时候，咱们可能常常会遇到导入模块失败的错误：ImportError: No module named 'xxx' 或者 ModuleNotFoundError: No module named 'xxx' 。

导入失败问题，一般分为两种：一种是导入本身写的模块（即以 .py 为后缀的文件），另外一种是导入三方库。本文主要讨论第二种状况，从此有机会，咱们再详细讨论其它的相关话题。

解决导入 Python 库失败的问题，其实关键是在运行环境中装上缺失的库（注意是不是虚拟环境），或者使用恰当的替代方案。这个问题又分为三种状况：

1、单个模块中缺失的库

在编写代码的时候，若是咱们须要使用某个三方库（如 requests），但不肯定实际运行的环境是否装了它，那么能够这样写：

try:
    import requests
except ImportError:
    import os
    os.system('pip install requests')
    import requests

这样写的效果是，若是找不到 requests 库，就先安装，再导入。

在某些开源项目中，咱们可能还会看到以下的写法（以 json 为例）：

try:
    import simplejson as json
except ImportError:
    import json

这样写的效果是，优先导入三方库 simplejson，若是找不到，那就使用内置的标准库 json。

这种写法的好处是不须要导入额外的库，但它有个缺点，即须要保证那两个库在使用上是兼容的，若是在标准库中找不到替代的库，那就不可行了。

若是真找不到兼容的标准库，也能够本身写一个模块（如 my_json.py），实现想要的东西，而后在 except 语句中再导入它。

try:
    import simplejson as json
except ImportError:
    import my_json as json

2、整个项目中缺失的库

以上的思路是针对开发中的项目，可是它有几个不足：一、在代码中对每一个可能缺失的三方库都 pip install，并不可取；二、某个三方库没法被标准库或本身手写的库替代，该怎么办？三、已成型的项目，不容许作这些修改怎么办？

因此这里的问题是：有一个项目，想要部署到新的机器上，它涉及不少三方库，可是机器上都没有预装，该怎么办？

对于一个合规的项目，按照约定，一般它会包含一个“requirements.txt ”文件，记录了该项目的全部依赖库及其所需的版本号。这是在项目发布前，使用命令pip freeze > requirements.txt 生成的。

使用命令pip install -r requirements.txt （在该文件所在目录执行，或在命令中写全文件的路径），就能自动把全部的依赖库给装上。

可是，若是项目不合规，或者因为其它倒霉的缘由，咱们没有这样的文件，又该如何是好？

一个笨方法就是，把项目跑起来，等它出错，遇到一个导库失败，就手动装一个，而后再跑一遍项目，遇到导库失败就装一下，如此循环……（此处省略 1 万句脏话）……

3、自动导入任意缺失的库

有没有一种更好的能够自动导入缺失的库的方法呢？

在不修改原有的代码的状况下，在不须要“requirements.txt”文件的状况下，有没有办法自动导入所须要的库呢？

固然有！先看看效果：

咱们以 tornado 为例，第一步操做可看出，咱们没有装过 tornado，通过第二步操做后，再次导入 tornado 时，程序会帮咱们自动下载并安装好 tornado，因此再也不报错。

autoinstall 是咱们手写的模块，代码以下：

# 如下代码在 python 3.6.1 版本验证经过
import sys
import os
from importlib import import_module


class AutoInstall():
    _loaded = set()

    @classmethod
    def find_spec(cls, name, path, target=None):
            if path is None and name not in cls._loaded:
                cls._loaded.add(name)
                print("Installing", name)
                try:
                    result = os.system('pip install {}'.format(name))
                    if result == 0:
                        return import_module(name)
                except Exception as e:
                    print("Failed", e)
            return None

sys.meta_path.append(AutoInstall)

这段代码中使用了sys.meta_path ，咱们先打印一下，看看它是个什么东西？

Python 3 的 import 机制在查找过程当中，大体顺序以下：

• 在 sys.modules 中查找，它缓存了全部已导入的模块
• 在 sys.meta_path 中查找，它支持自定义的加载器
• 在 sys.path 中查找，它记录了一些库所在的目录名
• 若未找到，则抛出 ImportError 异常

其中要注意，sys.meta_path 在不一样的 Python 版本中有所差别，好比它在 Python 2 与 Python 3 中差别很大；在较新的 Python 3 版本（3.4+）中，自定义的加载器须要实现find_spec 方法，而早期的版本用的则是find_module 。

以上代码是一个自定义的类库加载器 AutoInstall，能够实现自动导入三方库的目的。须要说明一下，这种方法会“劫持”全部新导入的库，破坏原有的导入方式，所以也可能出现一些奇奇怪怪的问题，敬请留意。

sys.meta_path 属于 Python 探针的一种运用。探针，即import hook，是 Python 几乎不受人关注的机制，但它能够作不少事，例如加载网络上的库、在导入模块时对模块进行修改、自动安装缺失库、上传审计信息、延迟加载等等。

限于篇幅，咱们再也不详细展开了。最后小结一下：

• 能够用 try...except 方式，实现简单的三方库导入或者替换
• 已知所有缺失的依赖库时（如 requirements.txt），能够手动安装
• 利用 sys.meta_path，能够自动导入任意的缺失库

参考资料：

https://github.com/liuchang0812/slides/tree/master/pycon2015cn

http://blog.konghy.cn/2016/10/25/python-import-hook/

https://docs.python.org/3/library/sys.html#sys.meta_path

公众号【Python猫】， 本号连载优质的系列文章，有喵星哲学猫系列、Python进阶系列、好书推荐系列、技术写做、优质英文推荐与翻译等等，欢迎关注哦。