Python 动态从文件中导入类或函数的方法

假设模块文件名是data_used_to_test.py，放在tests文件夹下

文件夹结构如下：

project
    |-tests
        |-data_used_to_test.py

文件内包含一个test_class类：

class test_class():
    def test_func(arg):
        return "hello {}".format(arg)

代码全部基于 Python3.6.4

使用imp
1. 用imp.find_module查找模块
```
In [1]:file, pathname, description = imp.find_module('data_used_to_test', path=['tests/'])

In [2]: file
Out[2]: <_io.TextIOWrapper name='tests/data_used_to_test.py' mode='r' encoding='utf-8'>

In [3]: pathname
Out[3]: 'tests/data_used_to_test.py'

In [4]: description
Out[4]: ('.py', 'r', 1)
```
2. 用imp.load_module将找到的模块加载到sys.modules中
```
In [5]: mod = imp.load_module('test_load', file, pathname, description)
In [6]: mod
Out[6]: <module 'test_load' from 'tests/data_used_to_test.py'>
```
  这时候sys.modules里会多一条'test_load'的记录，值就是mod的值。
3. 这时候就可以直接通过mod访问包内的对象了
```
In [7]: mod.test_class().test_func('x')
Out[7]: 'hello x'
```
  这个方法的优点是
  1. 简单，容易实现。
  2. 不用对pyc文件做特殊处理
  缺点是可定制性太低。不适合框架使用
  1. 无法动态修改模块源代码, 开放的api必须要很稳定，不会经常变动。
  2. 可以访问的对象一开始就要制定成固定名称。无法动态注册访问。
4. 上面的问题2可以用getattr解决，让我们更进一步。
```
In [8]: tmp = getattr(mod, 'test_class')

In [9]: tmp
Out[9]: test_load.test_class
In [10]: tmp().test_func('l')
Out[10]: 'hello l'
```
  这样就可以通过事先在外部模块中调用准备好的注册函数,
  
  把外部模块中的类或函数注册到一个全局的单例变量中,
  
  实现动态的模块加载和对象访问。
  
  但仍然无法解决问题 1.
  
  所以就需要另一种模块加载方法。

显式的定义一个加载函数

import imp
import sys

def load_module(module_name, module_content):
    if fullname in sys.modules:
        return sys.modules[fullname]

    mod = sys.modules.setdefault(url, imp.new_module(module_name))
    mod.__file__ = module_name
    mod.__package__ = ''

    # if *.py
    code = compile(module_content, url, 'exec')
    # if *.pyc 有问题，我运行一直报错
    # code = marshal.loads(module_content[8:])

    exec(code, mod.__dict__)
    # 2的写法是 exec code in mod.__dict__
    # 其实就是让code在环境里运行一下，所以这里可能会有注入漏洞
    return mod

这个函数接受模块的名字和源码内容，并使用 compile() 将其编译到一个代码对象中，然后在一个新创建的模块对象的字典中来执行它。

下面是这个函数的使用方式：

In[1]: module_content = open('tests/data_used_to_test.py').read()

In[2]: mod = load_module('test_import', module_content)

后面就和 1.4 一样了。

这样可以同时解决 1.3 中提出的两个问题。

因为你是先将源码作为普通文件读进来的，也就可以做各种修改后再注册到sys.modules中。

Pocsuite使用的就是这种方法。虽然我觉得他们当时可能也没太弄明白。

当然这还是有不足的。

上面的两种方法都只支持简单的模块。并没有嵌入到通常的import语句中。并不支持更高级的结构比如包。
不够酷

自定义导入器

PythonCookbook上给了自定义导入器的两种方式
1. 创建一个元路径导入器
2. 编写一个钩子直接嵌入到 sys.path 变量中去
还没看明白，PEP302的文档太长了，大概知道是继承importlib.abc来做的。

Python 动态从文件中导入类或函数的方法

猜你喜欢