从tensorflow的LazyLoader谈python的importlib

╰+攻爆jí腚メ 2023-02-22 08:17 19阅读 0赞

### 从LayzerLoader 讲起 ###

python 的module 可以通过三种方式进行[importing][]，分别是import, importlib.import\_module(), \_\_import\_\_。

import 语句结合了两个操作：首先搜索指定的模块，然后将搜索结果绑定到当前的作用域。

**import**() 直接调用，将会执行模块的搜索以及在找到时进行模块的创建。  
例如：

module2 = __import__ ("data.api")
    
     print(module2.__dict__)
     """
        {'__name__': 'data', '__doc__': None, '__package__': 'data', '__loader__': <_frozen_importlib_external._NamespaceLoader object at 0x10c4c3588>, '__spec__': ModuleSpec(name='data', loader=<_frozen_importlib_external._NamespaceLoader object at 0x10c4c3588>, submodule_search_locations=_NamespacePath(['/Users/wuyongyu/PycharmProjects/untitled1/data', '/Users/wuyongyu/PycharmProjects/untitled1/data'])), '__file__': None, '__path__': _NamespacePath(['/Users/wuyongyu/PycharmProjects/untitled1/data', '/Users/wuyongyu/PycharmProjects/untitled1/data']), 'api': <module 'data.api' from '/Users/wuyongyu/PycharmProjects/untitled1/data/api.py'>}
    
     """
    # 将会报错：TypeError: 'module' object is not subscriptable
     api_instance = module2["api"].classA()
    
    # 执行正确
    api_instance = module2.api.classA()

importlib 模块提供了一个丰富的API来与导入系统进行交互。importlib.import\_module() 提供了比内置的\_\_import\_\_()更推荐的、更简单的API用来发起调用导入机制。

### tensorflow中定义了LazyerLoader ###

通过importlib 导入module，以及获取module的\_\_dict\_\_属性包含的内容。  
在真正使用module的方法或者类的时候，可以通过\_\_getattr\_\_获取加载相对应的方法或者类。

import unittest
    import types
    import importlib
    import sys
    
    class testModules(unittest.TestCase):
        # 1 使用 types.ModuleType
        def test_Test_subclass(self):
            # 之类通过 ModuleType 定义一个module
            m = types.ModuleType("m")
            class Hello(object):
                def hello(self):
                    pass
            def function1():
                print("this is function 1")
            # 向module 内部增加__dict__ 属性，包括class 和 fucntion
            m.test_class = Hello
            m.test_function = function1
    
            # 可以通过module getattr 进行调用
            a = m.test_class()
            a.hello()
            m.test_function()
    
        # ModuleType 定义的module 不能被直接 import
        # 可以将module 增加到 sys.module 进行调用
        def test_Test_import_ModuleType(self):
            m = types.ModuleType("m")
    
            class Hello(object):
                def hello(self):
                    pass
            def function1():
                print("this is function 1")
            m.test_class = Hello
            m.test_function = function1
            sys.modules["m"] = m
            import m as mm
            mm.test_function()
    
    
    # tensorflow LazyLoader
    class LazyLoader(types.ModuleType):
        """ Layz 加载Module ，可以让module进行转发"""
        def __init__(self, local_name, parent_module_globals, name):
            self._local_name = local_name
            self._parent_module_globals = parent_module_globals
            super(LazyLoader, self).__init__(name)
    
        def _load(self):
            """导入module， 并且放到 parent_module里面"""
            print("LazyLoader->_load")
            module = importlib.import_module(self.__name__)
            self._parent_module_globals[self._local_name] = module
            # 将module的属性更新到LazyLoader
            self.__dict__.update(module.__dict__)
            return module
    
        # 返回import_module 的module属性
        def __getattr__(self, item):
            print("LazyLoader->__getatrr__ item:", item)
            module = self._load()
            # print("type(module):", type(module))
            return getattr(module, item)
    
        def __dir__(self):
            module = self._load()
            return dir(module)
    
        def __reduce__(self):
            return __import__, (self.__name__,)
    
        def test(self):
            print("this is test attr")
    
    if __name__ == '__main__':
        # unittest.main()
        _module = LazyLoader("m", globals(), "data.api") # 将 api和_module 放入 globals()
        sys.modules.setdefault("hh", _module)       # 这里只是设置 hh 指向 _module
    
        # 尝试获取 LazyLoader的属性，如果没有，则通过__getattr__获取 module的属性
        getattr(globals()["_module"], "test")()
        w = getattr(globals()["_module"], "__name__")
    
        import hh      # 因为 sys.module.setdefault 所以可以 import,这里并没有实际执行_load
        hh.api()       # 通过 __getattr__ 执行 _load操作加载 api类

[importing]: https://docs.python.org/zh-cn/3/glossary.html#term-importing