python line_profiler 代码性能分析、 memory_profiler 代码内存消耗分析

喜欢ヅ旅行 2023-03-12 07:17 14阅读 0赞

#  line\_profiler  #

## 作用 ##

按行分析代码性能消耗，主要是时间

## 安装 ##

pip install line_profiler
    pip install wrapt

## 使用 ##

写一个单独的装饰器，代码如下：

import wrapt
    from line_profiler import LineProfiler
    lp = LineProfiler()
    
    
    def lineprofile_wrapper():
        @wrapt.decorator
        def wrapper(func,instance,args,kwargs):
            global lp
            lp_wrapper = lp(func)
            res = lp_wrapper(*args,**kwargs)
            lp.print_stats()
            return res
        return wrapper

写一个测试demo

@lineprofile_wrapper()
    def test():
        print ('vvtest')
        a = sum([1, 2, 3])
        b = sum([1, 2, 3])
        return sum([a,b])
    
    if __name__ == '__main__':
        test();

执行结果：

Timer unit: 1e-06 s
    
    Total time: 2e-05 s
    File: /vv/line_profiler/demo.py
    Function: test at line 5
    
    Line #      Hits         Time  Per Hit   % Time  Line Contents
    ==============================================================
         5                                           @lineprofile_wrapper()
         6                                           def test():
         7         1         16.0     16.0     80.0      print ('vvtest')
         8         1          3.0      3.0     15.0      a = sum([1, 2, 3])
         9         1          1.0      1.0      5.0      b = sum([1, 2, 3])
        10         1          0.0      0.0      0.0      return sum([a,b])

可以看到每一行，**只要被执行**，就会有消耗的时间与占比。没有被执行的会为空

*  Line：文件中的行号。
 *  Hits：性能分析时代码执行的次数。
 *  Time：一段代码执行的总时间，由计数器决定。（时间单位在【执行结果】里的Timer unit）
 *  Per Hit：执行一段代码平均消耗时间。（时间单位在【执行结果】里的Timer unit）
 *  % Time：执行一段代码时间消耗比例。

# memory\_profiler  #

## 作用 ##

监控代码每一行的内存消耗。

## 安装  ##

pip install memory_profiler

## 使用 ##

from memory_profiler import profile
    
    @profile
    def func():
        print "vvtest"

使用注意：

使用装饰器@profile的时候，就不能与line\_profiler同时使用。

原因是line\_profiler里也有同名装饰器@profile

使用memory\_profiler时候可以结合matplotlib使用，可以以图形化的方式直观的查看内存的使用情况（本人在cetntos上没有跑成功过），我觉得这个大佬写得挺好的，转链[https://zhuanlan.zhihu.com/p/121003986][https_zhuanlan.zhihu.com_p_121003986]

pip install matplotlib
    mprof plot
    mprof plot mprofile_xxxxx.dat

使用的时候有可能会报\_tkinter不存在，那我只能说你需要**重装python的解释器或重新编译一次解释器。重装python解释器之前安装好的依赖包需要重装，成本挺高的。**

**解决方案可以参考：**

[https://blog.csdn.net/qq\_24036403/article/details/86535401][https_blog.csdn.net_qq_24036403_article_details_86535401]

[https://blog.csdn.net/ydyang1126/article/details/77247654][https_blog.csdn.net_ydyang1126_article_details_77247654]

[https_zhuanlan.zhihu.com_p_121003986]: https://zhuanlan.zhihu.com/p/121003986
[https_blog.csdn.net_qq_24036403_article_details_86535401]: https://blog.csdn.net/qq_24036403/article/details/86535401
[https_blog.csdn.net_ydyang1126_article_details_77247654]: https://blog.csdn.net/ydyang1126/article/details/77247654