TensorFlow——加载和使用多个模型解决方案

逃离我推掉我的手 2023-01-11 13:07 286阅读 0赞

# 解决方案 #

在Tensorflow中，所有操作对象都包装到相应的Session中的，所以想要使用不同的模型就需要将这些模型加载到不同的Session中并在使用的时候申明是哪个Session，从而避免由于Session和想使用的模型不匹配导致的错误。

而使用多个graph，就需要为每个graph使用不同的Session，但是每个graph也可以在多个Session中使用，这个时候就需要在每个Session使用的时候明确申明使用的graph。

g1 = tf.Graph() # 加载到Session 1的graph
    g2 = tf.Graph() # 加载到Session 2的graph
    
    sess1 = tf.Session(graph=g1) # Session1
    sess2 = tf.Session(graph=g2) # Session2
    
    # 加载第一个模型
    with sess1.as_default(): 
        with g1.as_default():
            tf.global_variables_initializer().run()
            model_saver = tf.train.Saver(tf.global_variables())
            model_ckpt = tf.train.get_checkpoint_state(“model1/save/path”)
            model_saver.restore(sess, model_ckpt.model_checkpoint_path)
    # 加载第二个模型
    with sess2.as_default():  # 1
        with g2.as_default():  
            tf.global_variables_initializer().run()
            model_saver = tf.train.Saver(tf.global_variables())
            model_ckpt = tf.train.get_checkpoint_state(“model2/save/path”)
            model_saver.restore(sess, model_ckpt.model_checkpoint_path)
    
    ...
    
    # 使用的时候
    with sess1.as_default():
        with sess1.graph.as_default():  # 2
            ...
    
    with sess2.as_default():
        with sess2.graph.as_default():
            ...
    
    # 关闭sess
    sess1.close()
    sess2.close()

> **注：**
> 
> 1、在1处使用as\_default使session在离开的时候并不关闭，在后面可以继续使用知道手动关闭；
> 
> 2、由于有多个graph，所以sess.graph与tf.get\_default\_value的值是不相等的，因此在进入sess的时候必须sess.graph.as\_default()明确申明sess.graph为当前默认graph，否则就会报错。
> 
> 3、不同框架的模型（tf， caffe， torch等）在加载的很有可能导致底层的cuDNN分配出现问题从而报错，这种一般可以尝试通过模型的加载顺序来解决。

# 参考文章 #

[https://www.tensorflow.org/api\_docs/python/tf/Session][https_www.tensorflow.org_api_docs_python_tf_Session]

[https://stackoverflow.com/questions/41607144/loading-two-models-from-saver-in-the-same-tensorflow-session][https_stackoverflow.com_questions_41607144_loading-two-models-from-saver-in-the-same-tensorflow-session]

[https://stackoverflow.com/questions/39175945/run-multiple-pre-trained-tensorflow-nets-at-the-same-time][https_stackoverflow.com_questions_39175945_run-multiple-pre-trained-tensorflow-nets-at-the-same-time]

[Tensorflow同时加载使用多个模型][Tensorflow]

[https_www.tensorflow.org_api_docs_python_tf_Session]: https://www.tensorflow.org/api_docs/python/tf/Session
[https_stackoverflow.com_questions_41607144_loading-two-models-from-saver-in-the-same-tensorflow-session]: https://stackoverflow.com/questions/41607144/loading-two-models-from-saver-in-the-same-tensorflow-session
[https_stackoverflow.com_questions_39175945_run-multiple-pre-trained-tensorflow-nets-at-the-same-time]: https://stackoverflow.com/questions/39175945/run-multiple-pre-trained-tensorflow-nets-at-the-same-time
[Tensorflow]: https://www.cnblogs.com/arkenstone/p/7016481.html