mariadb不支持load data_不修改代码打包python机器学习工程

缺乏、安全感 2023-01-01 08:59 128阅读 0赞

注：本文主要是自己在做项目的过程中遇到的一些问题的解决经验，不一定完全符合python开发规范，如读者有更好的方案欢迎讨论

机器学习模型与一般的代码逻辑不同，其输出结果通常不是显式地以代码的形式存在，而是基于大量第三方框架的API表示的，例如scikit-learn、tensorflow。由于机器学习模型训练时间很长，更无法在需要使用的时候立即训练得到。所以需要将模型持久化方便二次开发或调用。

在模型持久化之前，最好先将当前的工程打包成python的package，并将模型暴露成唯一的借口。这可以避免将其他业务层的代码与模型代码混在一起，增强可读性。网上的教程比较混乱，这里是我整理的一种比较简便的形式。以下是一个示例项目的目录结构组织形式。该示例项目可以在我的github上查看。

![20d041271d0de08dd495bb9ba7481bc8.png][]

my\_package是机器学习工程的包，通过\_\_init\_\_.py标志该目录为package。在开发my\_package的时候包含了三个文件夹model/和src/，分别存放模型数据文件和主要代码。模型的类Foo2存放在foo2.py中。稍后讲如何在**不修改模型代码**的前提下将该工程封装成package并提供接口调用Foo2。我们先来看如果做好了这一步，会有多么方便。

foo1.py的代码如下，

class Foo1:
        def __init__(self, m=None, n=None):
            self.m = m
            self.n = n
            
        def add(self):
            return self.m + self.n
        
    if __name__ == '__main__':
        foo1 = Foo1(1,2)
        print(foo1.add())

foo2.py的代码如下，

import pandas as pd
    from foo1 import Foo1
    
    class Foo2(Foo1):
        def __init__(self, m=None, n=None):
            super(Foo2, self).__init__(m, n)
        
        def load_data(self, file='../model/test.txt'):
            df = pd.read_csv(file, sep = ',', header = None)
            self.m = df[0][0]
            self.n = df[1][0]
        
        def multiply(self):
            return self.m*self.n
        
    if __name__ == '__main__':
        #foo2 = Foo2(1,2)
        #print(foo2.multiply())
        
        foo2 = Foo2()
        foo2.load_data()
        print(foo2.multiply())

工程中各个模块之间的依赖关系通过foo1.py和foo2.py展示。可以看到foo2.py需要用到foo1.py中的类Foo1，因而需要from foo1 import Foo1。单独运行foo2.py会打印结果。然而作为一个package，这样写是不太合规范的，应当在foo2.py中使用from .foo1 import Foo1（多了一个点）。这样在my\_package/\_\_init\_\_.py 中就不需要添加工程的路径到sys.path中了（见下文）。但是坏处是使得foo2.py无法单独运行了，因为直接运行python foo2.py时，入口在foo2.py的目录，程序只能找到foo1却无法找到 .foo1。本着不修改原始代码的原则，这里采用较不规范的from foo1 import Foo1写法。

main.py的代码如下，

from my_package import Foo2
    
    if __name__ == '__main__':
        foo2 = Foo2()
        foo2.load_data(file='my_package/model/test.txt')
        print(foo2.multiply())

在main.py中，我们不用关心Foo2这个类存放在my\_package中哪个子目录的哪个文件中，只需要简单 from ... import ... 即可。否则需要通过 from my\_package.src.foo2 import Foo2，这就要求使用my\_package的人对各个类的位置十分熟悉。代码中提供了foo2.load\_data方法，该方法的输入是数据文件路径。这是因为我们可能需要测试新的数据，因而通常这样的操作会将文件输入路径作为变量暴露出来，而不持久化在代码中。

现在将如何将原始的工程封装成package。首先是在各个目录（my\_package/，model/和src/）下添加\_\_init\_\_.py文件，内容暂时为空。\_\_init\_\_.py文件的存在使得当前目录成为独立的package。然而作为一个整体的package，我们需要告诉程序各个包之间的关系。这就需要在\_\_init\_\_.py文件中添加必要的内容。需要说明的是，import的时候，\_\_init\_\_.py文件中的代码会先于目录中的代码文件运行，这有助于标识依赖关系。

my\_package/\_\_init\_\_.py 中的内容如下：

# import sys
    # sys.path.append('my_package/src')
    
    # import sys
    # from os.path import abspath, join, dirname
    # sys.path.insert(0, join(abspath(dirname(__file__)), 'src'))
    
    import sys
    from os.path import abspath, join, dirname
    my_path = join(abspath(dirname(__file__)), 'src')
    if my_path not in sys.path:
       sys.path.insert(0, my_path)
    
    from .src import Foo2
    #from .src import Foo1

model/\_\_init\_\_.py 中不需要添加代码。

src/\_\_init\_\_.py 中的内容如下：

from .foo2 import Foo2
    #from .foo1 import Foo1

刚才提到由于不修改原始代码中import的方式，现在需要在my\_package/\_\_init\_\_.py中修改sys.path。这里展示了三种做法，前两种注释掉了。第一种方法最简单。第二种方法的缺点是如果反复的运行main.py，会不断地将 'my\_package/src' 增加sys.path中。第三种方法避免了这个问题。

再来看如何将Foo2这个类一层层地暴露出来。src/\_\_init\_\_.py 中首先指明了Foo2在foo2.py这个模块中。当程序运行到这里时，Foo2就存在于src的命名空间中了。因而在my\_package/\_\_init\_\_.py 中就可以直接from .src import Foo2，进一步将Foo2放在my\_package的命名空间中。如此，在main.py中就可以直接from my\_package import Foo2。Foo1的暴露方法类似，不过我们这里不需要使用Foo1。

最后总结一下步骤：

1、在工程目录及各个子目录中增加\_\_init\_\_.py

2、my\_package/\_\_init\_\_.py 中增加修改sys.path的代码

3、按照目录关系，将需要暴露的类或函数由内至外逐级写在各目录的\_\_init\_\_.py中

4、在需要调用的时候直接from my\_package import ... 即可

[20d041271d0de08dd495bb9ba7481bc8.png]: /images/20221120/f4647c6efbaa479ca765df876e03085b.png