深度学习模型中的参数数量（备忘）

电玩女神 2023-06-27 06:11 28阅读 0赞

原文地址：**huay’ blog**/[模型中的参数数量（备忘）][Link 1]

记录模型参数数量的计算方法

最早使用 tensorflow 的时候没怎么注意这个问题；  
后面高级 API 用的多了，有点忘记怎么计算模型的参数数量了；  
特此记录以作备忘

## 参数来源 ##

模型的参数数量 = 每一层的参数数量之和

每一层的参数数量需要由**该层的规模（`n_units`）**和**上一层的输出（`n_features`）**共同决定

## 全连接层 ##

input\_shape: `[batch_size, n_features]`

output\_shape: `[batch_size, n_units]`

参数数量 = `n_features * n_units`

参数数量 = `n_features * n_units + n_units` （使用偏置）

## 卷积层 ##

### Conv1D ###

input\_shape: \[batch\_size, max\_steps, n\_features\]

output\_shape: \[batch\_size, new\_steps, n\_filters\]

kernel\_size = \[kernel\_w\]

kernel\_shape = \[kernel\_w, n\_features, n\_filters\]

参数数量 = kernel\_w \* n\_features \* n\_filters

参数数量 = kernel\_w \* n\_features \* n\_filters + n\_filters （使用偏置）

### Conv2D ###

input\_shape: \[batch\_size, in\_height, in\_width, in\_channels\]

output\_shape: \[batch\_size, new\_height, new\_width, out\_channels\]

kernel\_size = \[kernel\_h, kernel\_w\]

kernel\_shape = \[kernel\_h, kernel\_w, n\_features, n\_filters\]

参数数量 = kernel\_h \* kernel\_w \* n\_features \* n\_filters

参数数量 = kernel\_h \* kernel\_w \* n\_features \* n\_filters + n\_filters （使用偏置）

### Conv3D ###

类似 Conv1D/Conv2D，略

## RNN 层 ##

具体有哪几部分参数不是非常理解  
从参数数量回看，大概了解了 RNN 的参数情况：

先看基础 RNN 的计算公式：

![20200104144902127.png][]

可以看到参数有 3 个：![U, W, b][U_ W_ b]

下面是公式中每个字母的 shape：

U: `[n_units, n_features]`
    x: `[n_features, 1]`
    W: `[n_units, n_units]`
    h: `[n_units, 1]`
    b: `[n_units, 1]`

> 这里 hh 没有考虑 batch\_size，实际上应该是 \[batch\_size, n\_units\]；
> 
> 如果你喜欢手写 rnn，而不是直接使用 dynamic\_rnn，那你肯定写过这句 initial\_state = cell.zero\_state(batch\_size, dtype=tf.float32)，这就是公式中的 hh，但是这不算参数，而属于输出部分
> 
> （其实也可以看做是参数，只是不通过反向传播更新）

有了以上的基础，LSTM 和 GRU 的参数有哪些，具体看它们的模型图就能知道了

下面是使用 TF 的测试代码：

# 参数
    batch_size = 16
    max_steps = 5
    n_features = 32
    n_units = 64
    
    # 测试
    inputs = tf.placeholder(tf.float32, [batch_size, max_steps, n_features])
    
    cell = cell_fn(n_units)
    
    outputs, state = tf.nn.dynamic_rnn(cell, inputs, dtype=tf.float32)
    
    tf.get_collection(tf.GraphKeys.TRAINABLE_VARIABLES)

### 基础 RNN ###

cell\_fn = tf.nn.rnn\_cell.BasicRNNCell

测试结果：

> \[<tf.Variable 'rnn/basic\_rnn\_cell/kernel:0' shape=(96, 64) dtype=float32\_ref>,  
>  <tf.Variable 'rnn/basic\_rnn\_cell/bias:0' shape=(64,) dtype=float32\_ref>\]

参数数量 = `(n_features + n_units) * n_units + n_units`

U: `[n_units, n_features]`
        x: `[n_features, 1]`
        W: `[n_units, n_units]`
        h: `[n_units, 1]`
        b: `[n_units, 1]`

### LSTM ###

> `cell_fn = tf.nn.rnn_cell.BasicLSTMCell`  
> `cell_fn = tf.nn.rnn_cell.LSTMCell`

测试结果：

[<tf.Variable 'rnn/basic_lstm_cell/kernel:0' shape=(96, 256) dtype=float32_ref>,
     <tf.Variable 'rnn/basic_lstm_cell/bias:0' shape=(256,) dtype=float32_ref>]

参数数量 = `(n_features + n_units) * (n_units * 4) + (n_units * 4)`

### GRU ###

cell\_fn = tf.nn.rnn\_cell.GRUCell

测试结果：

[<tf.Variable 'rnn/gru_cell/gates/kernel:0' shape=(96, 128) dtype=float32_ref>,
     <tf.Variable 'rnn/gru_cell/gates/bias:0' shape=(128,) dtype=float32_ref>,
     <tf.Variable 'rnn/gru_cell/candidate/kernel:0' shape=(96, 64) dtype=float32_ref>,
     <tf.Variable 'rnn/gru_cell/candidate/bias:0' shape=(64,) dtype=float32_ref>]

参数数量 = ***`(n_features + n_units) * (n_units * 3) + (n_units * 3)`***

> GRU 比 LSTM 少了一个门（将遗忘门和输入门合成了一个单一的更新门），与结果一致

## 双向 rnn/lstm/gru ##

参数数量再乘 2 （当 cell\_fw == cell\_bw 时）

测试代码:

# 参数
    batch_size = 16
    max_steps = 5
    n_features = 32
    n_units = 64
    
    # 测试
    inputs = tf.placeholder(tf.float32, [batch_size, max_steps, n_features])
    
    cell_fw = cell_fn(n_units)
    cell_bw = cell_fn(n_units)
    
    outputs, state = tf.nn.bidirectional_dynamic_rnn(cell_fw, cell_bw, inputs, dtype=tf.float32)
    
    tf.get_collection(tf.GraphKeys.TRAINABLE_VARIABLES)

[Link 1]: https://imhuay.github.io/2018/05/09/DL-%E6%A8%A1%E5%9E%8B%E4%B8%AD%E7%9A%84%E5%8F%82%E6%95%B0%E6%95%B0%E9%87%8F/
[20200104144902127.png]: https://img-blog.csdnimg.cn/20200104144902127.png
[U_ W_ b]: https://private.codecogs.com/gif.latex?U%2C%20W%2C%20b