常用激活函数

迷南。 2022-10-12 05:54 330阅读 0赞

# 常用激活函数 #

import matplotlib.pyplot as plt
    import numpy as np
    x = np.linspace(-10, 10)
    fig = plt.figure()

## 1. sigmoid ##

y_sigmoid = 1/(1+np.exp(-x))
    
    ax = fig.add_subplot(221)
    
    plt.xlim(-11, 11)
    plt.ylim(0, 1)
    
    ax = plt.gca()  # 获得当前axis坐标轴对象
    ax.spines['right'].set_color('none')  # 去除右边界线
    ax.spines['top'].set_color('none')  # 去除上边界线
    
    # 指定data 设置的bottom（也就是指定的x轴）绑定到y轴的0这个点上
    ax.spines['bottom'].set_position(('data', 0))
    ax.spines['left'].set_position(('data', 0))  # 指定y轴绑定到x轴的0这个点上
    ax.set_title('Sigmoid')
    
    plt.plot(x, y_sigmoid, label='sigmoid', linestyle='-', color='darkviolet')
    plt.legend(['sigmoid'])
    plt.savefig('figs/sigmoid.png')

![png][]

## 2.tanh ##

y_tanh = (np.exp(x)-np.exp(-x))/(np.exp(x)+np.exp(-x))
    
    ax = fig.add_subplot(222)
    
    plt.xlim(-11, 11)
    plt.ylim(-1, 1)
    
    ax = plt.gca()  # 获得当前axis坐标轴对象
    ax.spines['right'].set_color('none')  # 去除右边界线
    ax.spines['top'].set_color('none')  # 去除上边界线
    
    # 指定data 设置的bottom（也就是指定的x轴）绑定到y轴的0这个点上
    ax.spines['bottom'].set_position(('data', 0))
    ax.spines['left'].set_position(('data', 0))  # 指定y轴绑定到x轴的0这个点上
    ax.set_title('tanh')
    
    plt.plot(x, y_tanh, label='tanh', linestyle='-', color='darkviolet')
    plt.legend(['tanh'])
    plt.savefig('figs/tanh.png')

![png][png 1]

## 3.ReLU ##

y_relu = np.array([0*item if item < 0 else item for item in x])
    
    ax = fig.add_subplot(223)
    
    plt.xlim(-11, 11)
    plt.ylim(0, 10)
    
    ax = plt.gca()  # 获得当前axis坐标轴对象
    ax.spines['right'].set_color('none')  # 去除右边界线
    ax.spines['top'].set_color('none')  # 去除上边界线
    
    # 指定data 设置的bottom（也就是指定的x轴）绑定到y轴的0这个点上
    ax.spines['bottom'].set_position(('data', 0))
    ax.spines['left'].set_position(('data', 0))  # 指定y轴绑定到x轴的0这个点上
    ax.set_title('ReLU')
    
    plt.plot(x, y_relu, label='ReLU', linestyle='-', color='darkviolet')
    plt.legend(['ReLU'])
    plt.savefig('figs/ReLU.png')

![png][png 2]

## 4. LeakyReLU ##

y_leakyrelu = np.array([0.2*item if item < 0 else item for item in x])
    
    ax = fig.add_subplot(224)
    
    plt.xlim(-11,11)
    plt.ylim(-2,10)
    
    ax = plt.gca() # 获得当前axis坐标轴对象
    ax.spines['right'].set_color('none') # 去除右边界线
    ax.spines['top'].set_color('none') # 去除上边界线
    
    ax.spines['bottom'].set_position(('data',0)) # 指定data 设置的bottom（也就是指定的x轴）绑定到y轴的0这个点上
    ax.spines['left'].set_position(('data',0))  # 指定y轴绑定到x轴的0这个点上
    ax.set_title('LeakyReLU')
    
    plt.plot(x,y_leakyrelu,label = 'LeakyReLU',linestyle='-',color='darkviolet')
    plt.legend(['LeakyReLU'])
    plt.savefig('figs/LeakyReLU.png')

![png][png 3]

[png]: /images/20221005/613f9449abb2423cad40c604eb312986.png
[png 1]: /images/20221005/a65608a3af78448d8a4982fa383f02b8.png
[png 2]: /images/20221005/076e2b04d8eb40489f99c196b270a4d8.png
[png 3]: /images/20221005/d301364b49b94bc3abb99051ce2dde83.png